বিটা বিতরণ এবং লজিস্টিক রিগ্রেশন মডেলের মধ্যে কী সম্পর্ক?

Question

আমার প্রশ্নটি হল: বিটা বিতরণ এবং লজিস্টিক রিগ্রেশন মডেলের সহগগুলির মধ্যে গাণিতিক সম্পর্ক কী ?

উদাহরণস্বরূপ: লজিস্টিক (সিগময়েড) ফাংশন দ্বারা সরবরাহ করা হয়েছে

$$f(x) = \frac{1}{1+\exp(-x)}$$

এবং এটি লজিস্টিক রিগ্রেশন মডেলটিতে সম্ভাব্যতা মডেল করতে ব্যবহৃত হয়। যাক $A$ একটি dichotomous হতে $(0,1)$ রান ফলাফল এবং $X$ একটি নকশা ম্যাট্রিক্স। লজিস্টিক রিগ্রেশন মডেল দ্বারা দেওয়া হয়

$$P(A=1|X) = f(X \beta).$$

দ্রষ্টব্য $X$ ধ্রুবক (ইন্টারসেপ্ট) এর প্রথম কলাম রয়েছে এবং β রিগ্রেশন সহগের একটি কলাম ভেক্টর। উদাহরণস্বরূপ, যখন আমাদের কাছে একটি (স্ট্যান্ডার্ড-নরমাল) রেজিস্ট্রার এক্স থাকে এবং β 0 = 1 (ইন্টারসেপ্ট) এবং β 1 = 1 চয়ন করেন , আমরা ফলস্বরূপ 'সম্ভাবনার বন্টন' অনুকরণ করতে পারি।$1$$\beta$$x$$\beta_0=1$$\beta_1=1$

এই প্লটটি বিটা বিতরণের স্মরণ করিয়ে দেয় (যেমন অন্যান্য পছন্দগুলির জন্য প্লটগুলিও ) যার ঘনত্ব দ্বারা প্রদত্ত$\beta$

$$g(y;p,q) = \frac{\Gamma(p)\Gamma(q)}{\Gamma(p+q)} y^{(p-1)} (1-y)^{(q-1)}.$$

সর্বোচ্চ সম্ভাবনা বা মুহুর্তের পদ্ধতি ব্যবহার করে এর বিতরণ থেকে এবং কিউ অনুমান করা সম্ভব$p$$q$এর। সুতরাং, আমার প্রশ্নটি নেমে এসেছে: β এবং পি এবং কিউয়ের পছন্দগুলির মধ্যে সম্পর্ক কী? এটি দিয়ে প্রথমে উপরে বর্ণিত বাইভারিট কেসটি অ্যাড্রেস করে।$P(A=1|X)$$\beta$$p$$q$

Comments

আমি এই মাত্র 3 ঘন্টা আগে আমার বায়েশিয়ান পরিসংখ্যান শ্রেণিতে ভাবছিলাম

— আলকেমিস্ট

Answer 1

বিটা হ'ল মানগুলির বিতরণ তাই প্রায় জন্য, পরিসর এটি আকৃতি খুব নমনীয়কোনোমানগুলির unimodal গবেষণামূলক বন্টন ( 0 , 1 ) আপনি সহজেই পরিষেবাগুলি যেমন বিটা বিতরণ করেন যে, "বর্ণনার অনুরূপ" আকৃতি প্যারামিটার জানতে পারেন বিতরণ।$(0,1)$$(0,1)$

লক্ষ্য করুন যে লজিস্টিক রিগ্রেশন আপনাকে শর্তযুক্ত সম্ভাবনা সরবরাহ করে , যখন আপনার প্লটটিতে আপনি আমাদেরপূর্বাভাসের সম্ভাবনারপ্রান্তিক বিতরণউপস্থাপন করেন। সেগুলি সম্পর্কে কথা বলতে দুটি ভিন্ন জিনিস।$\Pr(Y=1\mid X)$

লজিস্টিক রিগ্রেশন মডেল থেকে পূর্বাভাস বিতরণ দেখার সময় লজিস্টিক রিগ্রেশন প্যারামিটার এবং বিটা বিতরণের পরামিতিগুলির মধ্যে সরাসরি সম্পর্ক নেই। নীচে আপনি লজিস্টিক ফাংশন ব্যবহার করে রুপান্তরিত সাধারণ, সূচকীয় এবং অভিন্ন বিতরণ ব্যবহার করে সিমুলেটেড ডেটা দেখতে পারেন। লজিস্টিক রিগ্রেশনের ঠিক একই প্যারামিটারগুলি ব্যবহার করার পাশাপাশি (যেমন ), পূর্বাভাসযুক্ত সম্ভাবনার বিতরণগুলি খুব আলাদা। সুতরাং পূর্বাভাসযুক্ত সম্ভাবনার বন্টন কেবলমাত্র লজিস্টিক রিগ্রেশন প্যারামিটারের উপর নির্ভর করে না, তবে এক্স এরবিতরণেও নির্ভর করেএবং এর মধ্যে কোনও সহজ সম্পর্ক নেই।$\beta_0 = 0, \beta_1 = 1$$X$

যেহেতু বিটা হ'ল মানগুলির বিতরণ , সুতরাং এটি লজিস্টিক রিগ্রেশন যেমন বাইনারি ডেটা মডেল করতে ব্যবহার করা যায় না। এটিসম্ভাব্যতাগুলিরমডেল হিসাবে ব্যবহার করা যেতে পারে, এইভাবে আমরাবিটা রিগ্রেশনব্যবহার করি(এখানেএবংএখানেও দেখুন)। সুতরাং যদি আপনি সম্ভাবনাগুলি (র্যান্ডম ভেরিয়েবল হিসাবে বোঝা) হিসাবে আগ্রহী হন তবে আপনি এই জাতীয় উদ্দেশ্যে বিটা রিগ্রেশন ব্যবহার করতে পারেন।$(0,1)$

Comments

সুতরাং বিটা যদি এ জাতীয় কোনও বিতরণ আনুমানিক করতে পারে তবে এর পরামিতি এবং এর মধ্যে কোনও সম্পর্ক থাকা উচিত নয় ? $\beta$

— তোমাকা

@ টোমকা তবে বিতরণটি আপনার ডেটা এবং প্যারামিটারের বিতরণের উপর নির্ভর করে , সুতরাং এরকম সম্পর্ক বিদ্যমান এটি খুব জটিল। স্পষ্টতই রিগ্রেশন প্যারামিটার এবং বিটা বিতরণের প্যারামিটারগুলির মধ্যে সরাসরি সম্পর্ক নেই। এক্সের জন্য বিভিন্ন বিতরণ ব্যবহার করে একই পরামিতিগুলির অধীনে লজিস্টিক রিগ্রেশন পূর্বাভাস অনুকরণ করার চেষ্টা করুন , প্রান্তিক বিতরণ প্রতিটি ক্ষেত্রে পৃথক হবে। $X$

— টিম

বিটা বিতরণটি নমনীয় নয় - এটি মাল্টিমোডাল বিতরণগুলির অনুমান করতে পারে না।

— মার্কাস পিএস

@ মার্কাসপিএস আমি এটি আরও পরিষ্কার করে দিয়েছি।

— টিম

@ মার্কাসপিএস 0 এবং 1 এর মোডগুলি সহ মাল্টিমোডাল বিতরণের বিশেষ ক্ষেত্রে ব্যতীত ...

— বেন বলকার

Answer 2

লজিস্টিক রিগ্রেশন একটি জেনারেলাইজড লিনিয়ার মডেল (জিএলএম) এর একটি বিশেষ কেস। বাইনারি ডেটাগুলির এই বিশেষ ক্ষেত্রে, লজিস্টিক ফাংশনটি হ'ল ক্যানোনিকাল লিঙ্ক ফাংশন যা হাতের নন-লিনিয়ার রিগ্রেশন সমস্যাটিকে রৈখিক সমস্যায় রূপান্তর করে। জিএলএমগুলি কিছুটা বিশেষ, এই অর্থে যে তারা কেবল তাত্পর্যপূর্ণ পরিবারে বিতরণে প্রয়োগ করে (যেমন দ্বিপদী বিতরণ)।

বায়সিয়ান অনুমান অনুসারে, বিটা বিতরণ দ্বিপদী বিতরণের পূর্বে সম্মিলিত, যার অর্থ দ্বিপদী পর্যবেক্ষণ সহ একটি বেইসিয়ান পূর্বে একটি বিটাতে আপডেট হবে, ফলে বিটা উত্তরোত্তর হবে। সুতরাং আপনার যদি বাইনারি ডেটা পর্যবেক্ষণের জন্য গণনা করা হয় তবে আপনি একটি বিটা আগে ব্যবহার করে দ্বিপদী বিতরণের পরামিতিগুলির বিশ্লেষণযোগ্য বয়েসিয়ান অনুমান পেতে পারেন।

সুতরাং, অন্যেরা যা বলেছে তার পংক্তি বরাবর, আমি মনে করি না যে এর সাথে প্রত্যক্ষ সম্পর্ক রয়েছে, তবে বিটা বিতরণ এবং লজিস্টিক রিগ্রেশন উভয়েরই দ্বিপদী বিতরণ অনুসরণকারী কোনও কিছুর পরামিতি অনুমানের সাথে ঘনিষ্ঠ সম্পর্ক রয়েছে।

Comments

আমি বয়েসীয় দৃষ্টিভঙ্গির উল্লেখ করার জন্য ইতিমধ্যে +1 করেছি, তবে লক্ষ্য করুন যে রিগ্রেশন মডেলের ক্ষেত্রে আমরা বিটা-বাইনোমিয়াল মডেল ব্যবহার করি না এবং সাধারণভাবে বিটা বিতরণকে পরামিতিগুলির জন্য পূর্ব হিসাবে ব্যবহার করা হয় না - কমপক্ষে সাধারণ বায়েশিয়ান লজিস্টিকের ক্ষেত্রে রিগ্রেশন । সুতরাং এটি সরাসরি বিটা-বাইনোমিয়াল মডেলটিতে অনুবাদ করে না।

— টিম

Answer 3

সরাসরি কোনও সংযোগ নেই? এর বিতরণ ( এ = 1 | এক্স ) আপনার এক্স এর সিমুলেশনটির উপর নির্ভর করে । আপনি কৃত্রিম তাহলে এক্স সঙ্গে এন ( 0 , 1 ) , মেপুঃ ( - এক্স β ) থাকবে লগ-স্বাভাবিক সঙ্গে বন্টন μ = - 1 প্রদত্ত β 0 = β 1 = 1 । পি এর বিতরণ ( এ = 1 |$P(A=1|X)$$X$$X$$N(0,1)$$\exp(-X\beta)$$\mu=-1$$\beta_0=\beta_1=1$ এরপরে স্পষ্টভাবে পাওয়া যাবে: সিডিএফ এফ ( এক্স ) = 1 - Φ [ এলএন ( $P(A=1|X)$বিপরীত সিডিএফকিউ(এক্স)=

$$F(x)=1-\Phi\left[\ln\left(\frac{1}{x}-1\right)+1\right],$$ এবং পিডিএফএফ(এক্স)= $$Q(x)=\frac{1}{1+\exp(\Phi^{-1}(1-x)-1)},$$ যা বিটা বিতরণের মতো নয়। $$f(x)=\frac{1}{x(1 - x)\sqrt{2\pi}}\exp\left(-\frac{(\ln(1/x-1)+1)^2}{2}\right),$$

আপনি আর এ বর্ণিত ফলাফলগুলি যাচাই করতে পারবেন :

n = 100000

X = cbind(rep(1, n), rnorm(n)) # simulate design matrix
Y = 1 / (exp(-X %*% c(1,1)) + 1) # P(A=1|X)

Z1 = 1 / (rlnorm(n, -1, 1) + 1) # simulate from lognormal directly
Z2 = 1 / (1 + exp(qnorm(runif(n)) - 1)) # simulate with inverse CDF

# Kolmogorov–Smirnov test
ks.test(Y, Z1)
ks.test(Y, Z2)

# plot fitted density
new.pdf = function(x) {
  1 / (x * (1 - x) * sqrt(2 * pi)) * exp(-0.5 * (log(1 / x - 1) + 1)^2)
}
hist(Y, breaks = "FD", probability = T)
curve(new.pdf, col = 4, add = T)

Comments

$x$$f(x)$$[-\inf, \inf]$$P(A|X)$$[0,1]$$f(x)$$P(A|X)$

$1/x-1>0$$x\in(0,1)$$f$

$X$

@ শুভ: দেখে মনে হচ্ছে যে আমি কোনও ভুল করেছি, আমি সেই অংশটি সরিয়েছি।

— ফ্রান্সিস