লজিস্টিক রিগ্রেশন-এ বাম বাদে সাধারণ চলমান স্কোয়্যার রিগ্রেশন-এ বাদ দেওয়া পরিবর্তনশীল পক্ষপাত নির্বিঘ্নে mitted

লজিস্টিক এবং লিনিয়ার রিগ্রেশন-এ বাদ দেওয়া পরিবর্তনশীল পক্ষপাত সম্পর্কে আমার একটি প্রশ্ন রয়েছে।

বলুন আমি লিনিয়ার রিগ্রেশন মডেল থেকে কিছু ভেরিয়েবল বাদ দিই। ভান করুন যে এই বাদ দেওয়া ভেরিয়েবলগুলি আমি আমার মডেলটিতে অন্তর্ভুক্ত ভেরিয়েবলগুলির সাথে সম্পর্কযুক্ত are এই বাদ দেওয়া ভেরিয়েবলগুলি আমার মডেলের সহগগুলিকে পক্ষপাতিত্ব করে না।

তবে লজিস্টিক রিগ্রেশন-এ, আমি কেবল শিখেছি যে এটি সত্য নয়। বাদ দেওয়া ভেরিয়েবলগুলি অন্তর্ভুক্ত ভেরিয়েবলগুলির সাথে সংযুক্ত না থাকলেও অন্তর্ভুক্ত ভেরিয়েবলের সহগের পক্ষপাতিত্ব করবে। আমি এই বিষয়ে একটি কাগজ পেয়েছি, তবে আমি এর মাথা বা লেজ তৈরি করতে পারি না।

এখানে কাগজ এবং কিছু পাওয়ার পয়েন্ট স্লাইড।

পক্ষপাত, স্পষ্টতই, সর্বদা শূন্যের দিকে থাকে। কেউ কীভাবে এটি কাজ করে তা ব্যাখ্যা করতে পারেন?

— ConfusedEconometricsUndergrad
সূত্র

লজিস্টিক রিগ্রেশন মডেলটি অন্তর্নিহিত "সুপ্ত-পরিবর্তনশীল" লিনিয়ার রিগ্রেশন মডেল থেকে কীভাবে উত্থিত হয় তার সাথে আপনি কি পরিচিত?

— অ্যালেকোস পাপাদোপল্লো

@ আলেকোসপ্যাডাপোলোস আমি একজনের জন্য নেই। থালা কী?

— অ্যালেক্সিস

এটি সম্পর্কিত অন্যান্য নিবন্ধ রয়েছে, তবে আপনি যেটির সাথে লিঙ্ক করেছেন সেটি হ'ল আমি জানি। সুতরাং আমি মনে করি না যে আমি এটিতে উন্নতি করতে পারি।

— মার্টেন

প্রিয় মিঃ পাপাদোপল্লো: আমি সুপ্ত-পরিবর্তনশীল ধারণাটি পড়েছি। কেন জিজ্ঞাসা করছ?

— কনফিউজড

@ অ্যালেক্সিস দেখুন উদাহরণস্বরূপ এই পোস্টটি, stats.stackexchange.com/questions/80611/… , এবং উইকিপিডিয়া নিবন্ধ, en.wikedia.org/wiki/… । এই পদ্ধতির সাথে এটিও স্পষ্ট হয়েছে যে অন্তর্নিহিত মডেলের ত্রুটি শর্তের বিষয়ে আমরা যে অনুমান করি তা হ'ল যা সম্ভাব্যতা স্তরে আমরা কী মডেলটি গ্রহণ করব তা নির্ধারণ করে। অন্য একটি উদাহরণের জন্য, যদি আমরা ধরে নিই যে অন্তর্নিহিত ত্রুটিটি একটি ইউনিফর্মের অনুসরণ করে, আমরা লিনিয়ার সম্ভাব্যতা মডেলটি পাই, দেখুন, stats.stackexchange.com/questions/81789

— অ্যালেকোস পাপাদোপল্লোস

"প্রবণতা" মডেলটি পরীক্ষা করলে "ফলস্বরূপ পক্ষপাত" এর ক্ষেত্রে আরও স্পষ্টভাবে উপস্থাপন করা যেতে পারে - তবে ফলাফলটি লজিস্টিক রিগ্রেশনকেও বহন করে।

শর্তসাপেক্ষ সম্ভাব্যতা মডেলগুলির নীচে (লজিস্টিক (লজিট), "প্রবিট" এবং "লিনিয়ার সম্ভাবনা" মডেল) আমরা একটি সুপ্ত (অবিচ্ছিন্ন) লিনিয়ার রিগ্রেশন মডেল পোস্ট করতে পারি:

y^{*} = X β + u

$y^* = X\beta + u$

যেখানে একটি ক্রমাগত unobservable পরিবর্তনশীল (এবং regressor ম্যাট্রিক্স যায়)। ত্রুটি শর্তটি রেজিস্ট্রারদের কাছ থেকে স্বতন্ত্র বলে ধরে নেওয়া হয় এবং শূন্যের কাছাকাছি ঘনত্বের প্রতিসাম্যযুক্ত এমন একটি বিতরণ অনুসরণ করা হয় এবং আমাদের ক্ষেত্রে, স্ট্যান্ডার্ড স্বাভাবিক বিতরণ । $y^*$ $X$ $F_U(u)= \Phi(u)$

আমরা ধরে নিই যে আমরা কি পালন করা, অর্থাত বাইনারি পরিবর্তনশীল , unobservable তার একটি সূচক ফাংশন : $y$ $y^*$

y = 1 if y^{*} > 0, y = 0 if y^{*} \leq 0

$y = 1 \;\;\text{if} \;\;y^*>0,\qquad y = 0 \;\;\text{if}\;\; y^*\le 0$

এরপর আমরা জিজ্ঞেস "কি সম্ভাব্যতা যে মান নিতে হবে regressors দেওয়া?" (অর্থাত্ আমরা শর্তযুক্ত সম্ভাবনার দিকে নজর দিচ্ছি)। এই $y$ $1$

P (y = 1 ∣ X) = P (y^{*} > 0 ∣ X) = P (X β + u > 0 ∣ X) = P (u > - X β ∣ X) = 1 - Φ (- Χ β) = Φ (X β)

$P(y =1\mid X ) = P(y^*>0\mid X) = P(X\beta + u>0\mid X) = P(u> - X\beta\mid X) \\= 1- \Phi (-Χ\beta) = \Phi (X\beta)$

স্ট্যান্ডার্ড ক্রমবর্ধমান বিতরণ ফাংশনের "প্রতিবিম্বিত" বৈশিষ্ট্যের কারণে শেষ সমতা, যা শূন্যের কাছাকাছি ঘনত্বের কার্যকারিতার প্রতিসাম্য থেকে আসে। লক্ষ্য করুন, যদিও আমরা অধিকৃত যে স্বাধীন , উপর কন্ডিশনার আদেশ পরিমাণ চিকিত্সা প্রয়োজন হয় অ-র্যান্ডম। $u$ $X$ $X$ $X\beta$

যদি আমরা ধরে নিই যে , তবে আমরা তাত্ত্বিক মডেলটি পাই $X\beta = b_0+b_1X_1 + b_2X_2$

\begin{matrix} (1) & P (y = 1 ∣ X) = Φ (b_{0} + b_{1} X_{1} + b_{2} X_{2}) \end{matrix}

$P(y =1\mid X ) = \Phi (b_0+b_1X_1 + b_2X_2) \tag{1}$

যাক এখন হতে স্বাধীন এবং ভুল অন্তর্নিহিত রিগ্রেশন এর স্পেসিফিকেশন থেকে বাদ। সুতরাং আমরা নির্দিষ্ট $X_2$ $X_1$

আরও ধরে নিন যে হ'ল একটি সাধারণ এলোমেলো পরিবর্তনশীল । তবে এর অর্থ

y^{*} = b_{0} + b_{1} X_{1} + ϵ

$y^* = b_0+b_1X_1 + \epsilon$

X_{2}

$X_2$

X_{2} \sim N (μ_{2}, σ_{2}^{2})

$X_2 \sim N(\mu_2,\sigma_2^2)$

ϵ = u + b_{2} X_{2} \sim N (b_{2} μ_{2}, 1 + b_{2}^{2} σ_{2}^{2})

$\epsilon = u + b_2X_2 \sim N(b_2\mu_2, 1+b_2^2\sigma_2^2)$

সাধারণ বিতরণের ক্লোজার-আন্ডার-সংযোজনের কারণে (এবং স্বাধীনতার অনুমান)। আগের মতো একই যুক্তি প্রয়োগ করা, এখানে আমাদের রয়েছে

P (y = 1 ∣ X_{1}) = P (y^{*} > 0 ∣ X_{1}) = P (b_{0} + b_{1} X_{1} + ϵ > 0 ∣ X_{1}) = P (ϵ > - b_{0} - b_{1} X_{1} ∣ X_{1})

$P(y =1\mid X_1 ) = P(y^*>0\mid X_1) = P(b_0+b_1X_1 + \epsilon>0\mid X_1) = P(\epsilon> - b_0-b_1X_1\mid X_1)$

$\epsilon$

P (y = 1 ∣ X_{1}) = 1 - P (\frac{ϵ - b_{2} μ_{2}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} \leq - \frac{(b_{0} + b_{2} μ_{2})}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} - \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} X_{1} ∣ X_{1})

$P(y =1\mid X_1 )= 1- P\left(\frac{\epsilon-b_2\mu_2}{\sqrt {1+b_2^2\sigma_2^2}}\leq - \frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}- \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\mid X_1\right)$

\begin{matrix} (2) & \Rightarrow P (y = 1 ∣ X_{1}) = Φ (\frac{(b_{0} + b_{2} μ_{2})}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} + \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} X_{1}) \end{matrix}

$\Rightarrow P(y =1\mid X_1) = \Phi\left(\frac {(b_0 + b_2\mu_2)}{\sqrt {1+b_2^2\sigma_2^2}}+ \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}}X_1\right) \tag{2}$

and one can compare models $(1)$ and $(2)$ .

The above theoretical expression, tells us where our maximum likelihood estimator of $b_1$ is going to converge, since it remains a consistent estimator, in the sense that it will converge to the theoretical quantity that really exists in the model (and of course, not in the sense that it will find the "truth" in any case):

{\hat{b}}_{1} \overset{p}{\to} \frac{b_{1}}{\sqrt{1 + b_{2}^{2} σ_{2}^{2}}} ⟹ | {\hat{b}}_{1} | < | b_{1} |

$\hat b_1 \xrightarrow{p} \frac {b_1}{\sqrt {1+b_2^2\sigma_2^2}} \implies |\hat b_1|< |b_1|$

which is the "bias towards zero" result.

We used the probit model, and not the logit (logistic regression), because only under normality can we derive the distribution of $\epsilon$ . The logistic distribution is not closed under addition. This means that if we omit a relevant variable in logistic regression, we also create distributional misspecification, because the error term (that now includes the omitted variable) no longer follows a logistic distribution. But this does not change the bias result (see footnote 6 in the paper linked to by the OP).

— Alecos Papadopoulos
সূত্র