লজিস্টিক রিগ্রেশন জন্য সর্বাধিক সম্ভাবনা অনুমানের বায়াস

লজিস্টিক রিগ্রেশনগুলির জন্য আমি সর্বাধিক সম্ভাবনা অনুমানের (এমএলই) উপর কয়েকটি ঘটনা বুঝতে চাই।

এটি কি সত্য যে, সাধারণভাবে, লজিস্টিক রিগ্রেশনের জন্য এমএলই পক্ষপাতদুষ্ট? আমি "হ্যাঁ" বলতাম। আমি জানি, উদাহরণস্বরূপ, সেই নমুনা মাত্রা MLEs এর asympotic পক্ষপাতের সাথে সম্পর্কিত।

আপনি কি এই ঘটনার কোনও প্রাথমিক উদাহরণ জানেন?
যদি এমএলই পক্ষপাতদুষ্ট হয় তবে এটি কি সত্য যে এমএলইসের কোভারিয়েন্স ম্যাট্রিক্স সর্বাধিক সম্ভাবনা ফাংশনের হেসিয়ান বিপরীত হয়?

সম্পাদনা : আমি এই সূত্রটি প্রায়শই এবং কোন প্রমাণ ছাড়াই পূরণ করেছি; এটি আমার কাছে বেশ স্বেচ্ছাসেবী পছন্দ বলে মনে হচ্ছে।

— Avitus
সূত্র

বাইনারি নির্ভরশীল পরিবর্তনশীল এবং কেবল একটি ধ্রুবক এবং একটি বাইনারি রেজিস্ট্রার সহ সাধারণ বাইনারি লজিস্টিক রিগ্রেশন মডেলটি বিবেচনা করুন । যেখানে হ'ল লজিস্টিক সিডিএফ, । $T$

pr ({ওয়াই}_{আমি} = 1 | {টি}_{আমি} = 1) = Λ (α + + β {টি}_{আমি})

$\Pr(Y_i=1\mid T_i=1) = \Lambda (\alpha + \beta T_i)$

Λ

$\Lambda$

Λ (u) = {[1 + \exp {- u}]}^{- 1}

$\Lambda(u) = \left[1+\exp\{-u\}\right]^{-1}$

লজিট আকারে আমাদের

Ln (\frac{pr ({ওয়াই}_{আমি} = 1 | {টি}_{আমি} = 1)}{1 - pr ({ওয়াই}_{আমি} = 1 | {টি}_{আমি} = 1)}) = α + + β {টি}_{আমি}

$\ln \left(\frac{\Pr(Y_i=1\mid T_i=1)}{1-\Pr(Y_i=1\mid T_i=1)}\right) = \alpha + \beta T_i$

আপনি আকারের একটি নমুনা আছে । বোঝাতে পর্যবেক্ষণ যেখানে সংখ্যা এবং ঐ যেখানে , এবং । নিম্নলিখিত আনুমানিক শর্তাধীন সম্ভাবনা বিবেচনা করুন: $n$ $n_1$ $T_i=1$ $n_0$ $T_i=0$ $n_1+n_0=n$

\hat{pr} (ওয়াই = 1 | টি = 1) \equiv {\hat{পি}}_{1 | 1} = \frac{1}{{এন}_{1}} \underset{{টি}_{আমি} = 1}{Σ} Y_{আমি}

$\hat \Pr(Y=1\mid T=1)\equiv \hat P_{1|1} = \frac 1{n_1}\sum_{T_i=1}y_i$

\hat{pr} (ওয়াই = 1 | টি = 0) \equiv {\hat{পি}}_{1 | 0} = \frac{1}{{এন}_{0}} \underset{{টি}_{আমি} = 0}{Σ} Y_{আমি}

$\hat \Pr(Y=1\mid T=0)\equiv \hat P_{1|0} = \frac 1{n_0}\sum_{T_i=0}y_i$

তারপরে এই অতি প্রাথমিক মডেলটি এমএল অনুমানের জন্য বদ্ধ ফর্ম সমাধান সরবরাহ করে:

\hat{α} = Ln (\frac{{\hat{পি}}_{1 | 0}}{1 - {\hat{পি}}_{1 | 0}}), \hat{β} = Ln (\frac{{\hat{পি}}_{1 | 1}}{1 - {\hat{পি}}_{1 | 1}}) - Ln (\frac{{\hat{পি}}_{1 | 0}}{1 - {\hat{পি}}_{1 | 0}})

$\hat \alpha = \ln\left(\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right),\qquad \hat \beta = \ln\left(\frac{\hat P_{1|1}}{1-\hat P_{1|1}}\right)-\ln\left(\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right)$

পক্ষপাত

যদিও এবং the সম্পর্কিত সম্ভাবনার পক্ষপাতদুষ্ট অনুমানকারী, এমএলইগুলি পক্ষপাতদুষ্ট, যেহেতু অ-রৈখিক লোগারিথমিক ফাংশনটি পথে আসে-কল্পনা করুন আরও জটিল মডেলের ক্ষেত্রে কী ঘটে? উচ্চতর ডিগ্রিহীন-লিনিয়ারিটি সহ। $\hat P_{1|1}$ $\hat P_{1|0}$

তবে অ্যাসিপোটোটিকভাবে, পক্ষপাতটি অদৃশ্য হয়ে যায় কারণ সম্ভাবনার অনুমানটি সামঞ্জস্যপূর্ণ। প্রত্যাশিত মান এবং লগারিদমের ভিতরে সরাসরি অপারেটরটি সন্নিবেশ করানো হচ্ছে , আমাদের কাছে $\lim$

\underset{এন \to \infty}{লিম} ই [\hat{α}] = ই [Ln (\underset{এন \to \infty}{লিম} \frac{{\hat{পি}}_{1 | 0}}{1 - {\hat{পি}}_{1 | 0}})] = ই [Ln (\frac{{পি}_{1 | 0}}{1 - {পি}_{1 | 0}})] = α

$\lim_{n\rightarrow \infty}E[\hat \alpha] = E\left[\ln\left(\lim_{n\rightarrow \infty}\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right)\right] = E\left[\ln\left(\frac{P_{1|0}}{1-P_{1|0}}\right)\right] =\alpha$

এবং তেমনিভাবে । $\beta$

এমএলএর পরিবর্তিতকরণ-সংস্করণ ম্যাট্রিক্স
উপরোক্ত সাধারণ ক্ষেত্রে যে অনুমানকারীটির জন্য ক্লোজড-ফর্ম এক্সপ্রেশন সরবরাহ করে, একজন অন্তত নীতিগতভাবে তার সঠিক সীমাবদ্ধ-নমুনা বিতরণ করতে পারে এবং তার সঠিক সুনির্দিষ্ট নমুনা ভেরিয়েন্স-কোভারিয়েন্স ম্যাট্রিক্স গণনা করতে পারে । তবে সাধারণভাবে, এমএলইর কোনও বন্ধ ফর্ম সমাধান নেই। তারপরে আমরা অ্যাসিম্পটোটিক ভেরিয়েন্স-কোভারিয়েন্স ম্যাট্রিক্সের একটি ধারাবাহিক অনুমান অবলম্বন করি , যা এমএলইতে মূল্যায়ন করা নমুনার লগ-সম্ভাবনা ফাংশনের হেসিয়ান এর বিপরীত (প্রকৃত ofণাত্মক)। এবং এখানে মোটেও কোনও "স্বেচ্ছাসেবক পছন্দ" নেই, তবে এটি এসেম্পটোটিক তত্ত্ব এবং এমএলই (অবিচ্ছিন্নতা এবং বৈশিষ্ট্য থেকে প্রাপ্ত, যা আমাদের বলে যে , $\theta_0 = (\alpha, \beta)$

\sqrt{এন} (\hat{θ} - θ_{0}) \to_{ঘ} এন (0, - (ই [এইচ])^{- 1})

${\sqrt n}(\hat \theta-\theta_0)\rightarrow_d N\left(0, -(E[H])^{-1}\right)$

যেখানে হেসিয়ান। প্রায় এবং (বৃহত্তর) সীমাবদ্ধ নমুনার জন্য, এটি আমাদের দিকে নিয়ে যায় $H$

var (\hat{θ}) \approx - \frac{1}{এন} (ই [এইচ])^{- 1} \approx - \frac{1}{এন} {(\frac{1}{এন} \hat{এইচ})}^{- 1} = - {\hat{এইচ}}^{- 1}

$\operatorname{Var}(\hat \theta) \approx -\frac 1n(E[H])^{-1}\approx -\frac 1n\left(\frac 1n\hat H\right)^{-1}=-\hat H^{-1}$

— আলেকোস পাপাদোপল্লোস
সূত্র