শর্তাধীন মানে স্বতন্ত্রতা ওএলএসের অনুমানকারকের পক্ষপাতহীনতা এবং ধারাবাহিকতা বোঝায়

নিম্নলিখিত একাধিক রিগ্রেশন মডেলটি বিবেচনা করুন:

\begin{matrix} (1) & Y = X β + Z δ + U . \end{matrix}

$Y=X\beta+Z\delta+U.\tag{1}$

এখানে হ'ল একটি কলাম ভেক্টর; এ ম্যাট্রিক্স; এ কলাম ভেক্টর; এ ম্যাট্রিক্স; একটি কলাম ভেক্টর; এবং , ত্রুটি শর্ত, একটি কলাম ভেক্টর। $Y$ $n\times 1$ $X$ $n\times (k+1)$ $\beta$ $(k+1)\times 1$ $Z$ $n\times l$ $\delta$ $l\times 1$ $U$ $n\times1$

প্রশ্ন

আমার প্রভাষক, একনোমেট্রিক্সের পাঠ্যপুস্তক পরিচিতি, তৃতীয় সংস্করণ। জেমস এইচ। স্টক এবং মার্ক ডব্লু ওয়াটসন, পি। ২৮১ এবং একনোমেট্রিক্স: অনার পরীক্ষার পুনর্বিবেচনা অধিবেশন (পিডিএফ) , পি। 7, আমাকে নিম্নলিখিত প্রকাশ করেছেন।

যদি আমরা ধরে নিই শর্তসাপেক্ষ বলে যার অর্থ স্বাধীনতা , যার সংজ্ঞা অনুসারে এর অর্থ হ'ল $\begin{matrix} (2) & E (U | X, Z) = E (U | Z), \end{matrix}$ $E(U|X,Z)=E(U|Z),\tag{2}$
শর্তাধীন গড় শূন্য অনুমান (তাই আমরা ) ব্যতীত যদি সর্বনিম্ন বর্গ অনুমানটি সন্তুষ্ট হয় তবে (দেখুন 1 -3 নীচে), $E(U|X,Z)=0$ $E(U|X,Z)=E(U|Z) \neq 0$
তারপর, OLS ঔজ্জ্বল্যের প্রেক্ষাপটে মূল্নির্ধারক এর মধ্যে পক্ষপাতিত্বহীন অবশেষ এবং সামঞ্জস্যপূর্ণ, অনুমানের এই দুর্বল সেট করেন। $\hat{\beta}$ $\beta$ $(1)$

আমি এই প্রস্তাবটি কীভাবে প্রমাণ করব? অর্থাৎ উপরের 1 এবং 2 এর দ্বারা বোঝা যায় যে S এর ওএলএস অনুমান আমাদের জন্য একটি পক্ষপাতহীন এবং ধারাবাহিক অনুমানকারী দেয় ? এই প্রস্তাব প্রমাণ করে কোন গবেষণা নিবন্ধ আছে? $\beta$ $\beta$

মন্তব্য

সরলতম ক্ষেত্রে রৈখিক রিগ্রেশনের মডেল বিবেচনা করে দেওয়া হয় এবং প্রমাণ করা যে OLS ঔজ্জ্বল্যের প্রেক্ষাপটে অনুমান এর পক্ষপাতিত্বহীন যদি প্রত্যেকের জন্য ।

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + u_{i}, i = 1, 2, \dots, n,

$Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i,\quad i=1,2,\ldots,n,$

{\hat{β}}_{1}

$\hat{\beta}_1$

β_{1}

$\beta_1$

E (u_{i} | X_{i}, Z_{i}) = E (u_{i} | Z_{i})

$E(u_i|X_i,Z_i)=E(u_i|Z_i)$

i

$i$

UNBIASEDNESS প্রমাণ Assuming যে এবং যৌথভাবে স্বাভাবিকভাবে বিতরণ করা হয় $U_i$ $Z_i$

নির্ধারণ , তারপর এবংসুতরাং দ্বারা এটি আবার as হিসাবে লিখিত হতে পারে এখন, যেহেতু এবং যৌথভাবে স্বাভাবিকভাবে বিতরণ করা হয়, স্বাভাবিক ডিস্ট্রিবিউশন তত্ত্ব, cf. একটি মাল্টিভারিয়েট স্বাভাবিক বিতরণের শর্তসাপেক্ষ বিতরণগুলি উদ্ধার করে বলে যে (প্রকৃতপক্ষে আমাদের যৌথ স্বাভাবিকতা গ্রহণ করার প্রয়োজন নেই তবে কেবল এই পরিচয়) কিছু বাই ভেক্টরের জন্য $V=U-E(U|X,Z)$ $U=V+E(U|X,Z)$

\begin{matrix} (*) & E (V | X, Z) = 0 . \end{matrix}

$E(V|X,Z)=0\tag{*}.$

(1)

$(1)$

\begin{matrix} (3) & Y = X β + Z δ + E (U | X, Z) + V . \end{matrix}

$Y=X\beta+Z\delta+E(U|X,Z)+V.\tag{3}$

(2)

$(2)$

\begin{matrix} (4) & Y = X β + Z δ + E (U | Z) + V . \end{matrix}

$Y=X\beta+Z\delta+E(U|Z)+V.\tag{4}$

U_{i}

$U_i$

Z_{i}

$Z_i$

\begin{matrix} (**) & E (U | Z) = Z γ \end{matrix}

$E(U|Z)=Z\gamma\tag{**}$

l

$l$

1

$1$

γ \neq 0

$\gamma\neq\textbf{0}$ ।

এখন হয়ে মডেল জন্য সব লিস্ট স্কোয়ার ধৃষ্টতা সন্তুষ্ট হলে, ত্রুটি শব্দটি যেমন সন্তুষ্ট শর্তসাপেক্ষ এর ধৃষ্টতা শূন্য মানে। এর অর্থ হলো OLS ঔজ্জ্বল্যের প্রেক্ষাপটে অনুমান এর পক্ষপাতিত্বহীন হতে হবে, যদি আমরা দিন জন্য , এবং দিন হতে দ্বারা এবং ম্যাট্রিক্স , তারপরে ইন এর ওএলএস অনুমানটি নিম্নলিখিত বিবেচনা করে দেওয়া হয়েছে: $(4)$

\begin{matrix} (5) & Y = X β + Z (δ + γ) + V . \end{matrix}

$Y=X\beta+Z(\delta+\gamma)+V.\tag{5}$

(5)

$(5)$

V

$V$

\hat{β}

$\hat{\beta}$

β

$\beta$

ρ = δ + γ

$\rho=\delta+\gamma$

W = (X, Z)

$W=(X,Z)$

n

$n$

(k + 1) + l

$(k+1)+l$

X

$X$

Z

$Z$

β

$\beta$

(5)

$(5)$

\begin{aligned} ({\hat{β}}^{T}, {\hat{ρ}}^{T})^{T} & = (W^{T} W)^{- 1} W^{T} Y \\ = (W^{T} W)^{- 1} W^{T} (W (β^{T}, ρ^{T})^{T} + V) \\ = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W^{T} V \end{aligned}

$\begin{align}(\hat{\beta}^T,\hat{\rho}^T)^T &=(W^TW)^{-1}W^TY\\ &=(W^TW)^{-1}W^T(W(\beta^T,\rho^T)^T+V)\\ &=(\beta^T,\rho^T)^T+(W^TW)^{-1}W^TV\end{align}$

এবং এইভাবে line যেখানে দ্বিতীয় লাইন অনুসরণ করবে । এভাবে একটি শর্তসাপেক্ষে পক্ষপাতিত্বহীন অনুমান যেহেতু OLS ঔজ্জ্বল্যের প্রেক্ষাপটে মডেল জন্য দেওয়া প্রাককলন মডেল জন্য দেওয়া যে সঙ্গে coinicides । এখন, মোট প্রত্যাশার আইন অনুসারে এবং এইভাবে একটি পক্ষপাতিত্বহীন মূল্নির্ধারক হয় ।

\begin{aligned} E (({\hat{β}}^{T}, {\hat{ρ}}^{T})^{T} | W) & = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W s^{T} E (V | W) \\ = (β^{T}, ρ^{T})^{T} + (W^{T} W)^{- 1} W^{T} 0 \\ = (β^{T}, ρ^{T})^{T}, \end{aligned}

$\begin{align}E((\hat{\beta}^T,\hat{\rho}^T)^T|W)&=(\beta^T,\rho^T)^T+(W^TW)^{-1}Ws^TE(V|W)\\&=(\beta^T,\rho^T)^T+(W^TW)^{-1}W^T\textbf{0}\\&=(\beta^T,\rho^T)^T,\end{align}$

(*)

$(*)$

\hat{β}

$\hat{\beta}$

β

$\beta$

(1)

$(1)$

(5)

$(5)$

\begin{aligned} E (\hat{β}) & = E (E (\hat{β} | W)) \\ = E (β) \\ = β, \end{aligned}

$\begin{align}E(\hat{\beta})&=E(E(\hat{\beta}|W))\\ &=E(\beta)\\ &=\beta,\end{align}$

\hat{β}

$\hat{\beta}$

β

$\beta$

(যে কেউ খেয়াল করতে পারেন যে , যাতে পক্ষপাতদুষ্ট না হয়)) $E(\hat{\rho})=\rho=\delta+\gamma\neq\delta$ $Z$

যাইহোক, বিশেষ ক্ষেত্রে উপরে ধরে নেয় যে এবং যৌথভাবে স্বাভাবিকভাবে বিতরণ করা হয়, কিভাবে আমি এই ধৃষ্টতা ছাড়া প্রতিজ্ঞা প্রমাণ করব? $U_i$ $Z_i$

ধরে নিই যে অবশ্যই সর্বদা যথেষ্ট (সিএফ। ), তবে আমি শর্তসাপেক্ষ শূন্য ধারণাটি বাদ দিয়ে এবং সর্বনিম্ন স্কোয়ার অনুমান ফলাফল ব্যবহার করে ফলাফলটি অনুধাবন করব বলে মনে করা হচ্ছে নিচে দেখ). $E(U|Z)=Z\gamma$ $(**)$ $(2)$

সম্মতি সম্পর্কিত

আমি মনে করি এক তাও দেখতে পারেন যে অনুমান জন্য সামঞ্জস্যপূর্ণ ঠাহর যে রিগ্রেশন মডেল দ্বারা সব লিস্ট স্কোয়ার ধৃষ্টতা সন্তুষ্ট হয় ধৃষ্টতা সহ, যে (নতুন) ত্রুটি মেয়াদ সন্তুষ্ট শর্তাধীন মানে জিরো অনুমান (সিএফ। এবং নীচে দেখুন)। $\hat{\beta}$ $\beta$ $(5)$ $V$ $(*)$

পরে আমি ধারাবাহিকতার প্রমাণ যুক্ত করতে পারি যা পরে ইকোনোমেট্রিক্সের পরিচিতিতে ধারাবাহিক অনুশীলনের উপর ভিত্তি করে , তৃতীয় সংস্করণ। জেমস এইচ। স্টক এবং মার্ক ডব্লু ওয়াটসন, সিএইচ। 18. তবে, এই প্রমাণটি বেশ দীর্ঘ। তবে এখানে বক্তব্যটি হ'ল অনুশীলনে প্রদত্ত প্রমাণটি ধরে নেওয়া , সুতরাং আমি এখনও ভাবছি যে অনুমানটি সত্যই যথেষ্ট কিনা । $(**)$ $(2)$

সাবকিউরি ১

ইন ভূমিকা অর্থনীতি, 3 য় ইডি করতে। জেমস এইচ স্টক এবং মার্ক ডব্লু ওয়াটসনের দ্বারা, বলা হয়, পি। 300, যে অনুমান ননলাইনার রিগ্রেশন তত্ত্ব ব্যবহার করে "শিথিল" হতে পারে। তারা এর অর্থ কী বা বলতে পারে? $(**)$

সর্বনিম্ন স্কোয়ারস এসসাম্পশনস

এখানে আমি শর্তসাপেক্ষ মানে শূন্য ধারণাটি বাদ দিই না যে যেহেতু আমরা এখানে যে প্রস্তাবটি প্রমাণ করার চেষ্টা করি তা ক্ষেত্রে মঞ্জুরি দেয় । এগুলি উদাহরণস্বরূপ যখন সাথে সম্পর্কিত হয় । Cf. একনোমেট্রিক্স: অনার পরীক্ষার পর্যালোচনা সেশন (পিডিএফ) , পি। 7। $E(U|X,Z)=0$ $E(U|X,Z)\neq 0$ $Z$ $U$

নিম্নতম স্কোয়ার অনুমানটি নীচে রয়েছে।

যুগ্ম ডিস্ট্রিবিউশন , IID হয়, যেখানে হয় : এ ম উপাদান এবং যেখানে এবং হয় ম সারি ভেক্টর: এবং । $(Y_i,X_i,Z_i)$ $i=1,2,\ldots,n,$ $Y_i$ $i$ $Y$ $X_i$ $Z_i$ $i$ $X$ $Z$
লার্জ outliers, সম্ভাবনা কম অর্থাত, প্রত্যেকের জন্য , এবং , সসীম চতুর্থ মুহূর্ত আছে যেখানে হয় : এ ম উপাদান । $i$ $X_i, Z_i$ $U_i$ $U_i$ $i$ $U$
$(X,Z)$ এর পূর্ণ কলামের র‌্যাঙ্ক রয়েছে (অর্থাত্, কোনও নিখুঁত বহুবিধ লাইন নেই; এটি টিডব্লু এর নিবিড়তা নিশ্চিত করে )। $W^TW$
( প্রসারিত সর্বনিম্ন স্কোয়ার অনুমানগুলি : যদিও আমি এটি প্রয়োজনীয় বলে মনে করি না (এবং এটি আমাকে বলা হয় যে এটি নয়) তবে আমরা সমকামিতাও গ্রহণ করতে পারি, যেমন প্রত্যেকের জন্য , এবং শর্তাধীন বিতরণ যে দেওয়া স্বাভাবিক প্রতিটি জন্য (অর্থাত, আমরা স্বাভাবিক ত্রুটি আছে।)) $\text{Var}(U_i|X_i,Z_i)=\sigma^2_U$ $i$ $U_i$ $(X_i,Z_i)$ $i$

টার্মিনোলজি নোট

ইন , শর্তসাপেক্ষ মিন জিরো ধৃষ্টতা ধৃষ্টতা যে । কন্ডিশনাল মিন ইন্ডিপেন্ডেন্স অনুমান, তবে, এই ধারণাটি হ'ল । $(1)$ $E(U|X,Z)=0$ $E(U|X,Z)=E(U|Z)$

এই পরিভাষাটি ব্যবহৃত হয় যেমন ইকোনোমেট্রিক্সের পরিচিতি, তৃতীয় সংস্করণ। জেমস এইচ। স্টক এবং মার্ক ডব্লু ওয়াটসন, পি। 281; এবং ক্রস বিভাগ এবং প্যানেল ডেটার একনোমেট্রিক বিশ্লেষণ, প্রথম সংস্করণ। জেফ্রি এম ওয়াল্ড্রিজ, পি। 607. শর্তসাপেক্ষে স্বাধীনতার সীমাবদ্ধতাগুলিও দেখুন: অনুরূপ আলোচনার জন্য পরীক্ষা ও অনুমান ।

অতিরিক্ত চিন্তাভাবনা এবং সাবজেক্টি 2

আমি জেমস এইচ স্টক এবং মার্ক ডব্লু ওয়াটসনের বিপরীতে মনে করি যে শর্তসাপেক্ষে স্বাধীনতা একটি নিরপেক্ষ ওএলএস অনুমান নিশ্চিত করে না । এর কারণ মত অরৈখিক ফর্ম নিতে পারে যেখানে একটি বহুপদী হয় , অথবা যেখানে কিছু প্যারামিটার হিসাবে এখনও অনুমান করা যায় নি (এখানে আমি ম্যাট্রিক্স এক্সপেনসিয়াল ব্যবহার করছি ), এবং তারপরে আমার ধারণা, ননলাইনার রিগ্রেশন প্রয়োগ করতে হবে, যা সাধারণত আমাদের পক্ষপাতদুষ্ট অনুমানের সাথে ফেলে দেয়। এছাড়াও, OLS ঔজ্জ্বল্যের প্রেক্ষাপটে (1) এর মধ্যে অনুমান এমনকি OLS ঔজ্জ্বল্যের প্রেক্ষাপটে সঙ্গে কাকতালীয়ভাবে এর অনুমান নাও হতে পারে $\beta$ $E(U|Z)$ $E(U|Z)=p(Z)$ $p(Z)$ $Z$ $E(U|Z)=\exp( Z\gamma)$ $\gamma$ $\beta$ $\beta$ ইন যদি নির্দিষ্ট অলৈখিক রূপ গ্রহণ করে। (মনস্তাত্ত্বিকভাবে আমিও অনুভব করি যে স্টক অ্যান্ড ওয়াটসনের বইটিতে দেওয়া বিবৃতিটি সত্য হতে পারে না)) $(4)$ $E(U|Z)$

সুতরাং, একটি অতিরিক্ত প্রশ্ন হ'ল যদি প্রস্তাবটির কিছু প্রতিবিম্ব থাকে যে শর্তাধীন মানে স্বাধীনতা একটি পক্ষপাতহীন ওএলএস অনুমানের দিকে পরিচালিত করে?

সাবকিউরি 3

ইন প্রায় নিরীহ অর্থনীতি Angrist & Pischke উপধারা 3.3, পি এ যুক্তি। - 68-91৯, শর্তসাপেক্ষে স্বাধীনতার (সিআই) অধীনে, প্রদত্ত থেকে স্বতন্ত্র হওয়া (যা একটি শক্তিশালী শর্ত, আমার ধারণা, উপরে বর্ণিত শর্তাধীন স্বাধীনতা অনুমানের তুলনায়) এর মিলের অনুমানের মধ্যে একটি শক্ত সংযোগ রয়েছে প্রভাব উপর এবং এর কোফিসিয়েন্টস রিগ্রেশনে উপর এবং যা অনুপ্রাণিত করে যে সি আই অধীনে OLS ঔজ্জ্বল্যের প্রেক্ষাপটে সহগের উপর অনুমান মধ্যে $Y$ $X$ $W$ $X$ $Y$ $X$ $Y$ $X$ $W$ $X$ $(1)$ সিআই না রাখার চেয়ে কম পক্ষপাতদুষ্ট (সমস্ত সমান)।

এখন, এই ধারণাটি এখানে কোনওভাবে আমার মূল প্রশ্নের উত্তর দেওয়ার জন্য ব্যবহার করা যেতে পারে?

— ইলিয়াস
সূত্র

@ শি'য়ান আপনার মানে কী? এটা আমার পাঠ্যপুস্তক দেওয়া শর্তসাপেক্ষ গড় স্বাধীনতার সংজ্ঞা হল: যদি আমরা রৈখিক রিগ্রেশনে আছে , তাহলে আমরা বলতে আমাদের শর্তসাপেক্ষে স্বাধীনতা আছে। আমি ভেবেছিলাম আমার লেখার পদ্ধতিটি আরও সাধারণ।

Y_{i} = β_{0} + β_{1} X_{i} + β_{2} Z_{i} + u_{i}

$Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i$

E (u_{i} | X_{i}, Z_{i}) = E (u_{i} | Z_{i})

$E(u_i|X_i,Z_i)=E(u_i|Z_i)$

— ইলিয়াস

@ শি'য়ান এই ক্ষেত্রে আপনি কীভাবে "শর্তসাপেক্ষে স্বাধীনতা" নির্ধারণ করবেন? আমি যেমন এটি মনে করি, "শর্তাধীন স্বাধীনতা" একটি ধারণা "শর্তসাপেক্ষ মানে স্বাধীনতা" থেকে পৃথক। এগুলি ধারণাগতভাবে সংযুক্ত থাকতে পারে বা নাও থাকতে পারে।

— ইলিয়াস

@ শি'য়ান এইভাবেই আমি ধারণাগুলি বুঝতে পারি: শর্তাধীন স্বাধীনতা কেবল , তবে শর্তাধীন মানে স্বাধীনতা হ'ল ।

P (A \cap B | C) = P (A | C) P (B | C)

$P(A\cap B|C)=P(A|C)P(B|C)$

E (A | B, C) = E (A | C)

$E(A|B,C)=E(A|C)$

— ইলিয়াস

সিয়ান মন্তব্য কোথায়?

— মাইকেল আর চেরনিক

@ মিশেল চের্নিক তার মন্তব্যটি প্রথম ছিল। আমার ধারণা তিনি অবশ্যই এটি মুছে ফেলেছেন। যেমনটি আমার মনে আছে, তিনি বলেছিলেন যে শর্তযুক্ত স্বাধীনতা বোঝায় না এবং আমি জবাব দিয়েছি।

E (U | X, Z) = E (U | Z)

$E(U|X,Z)=E(U|Z)$

— ইলিয়াস

উত্তর:

এটি মিথ্যা. আপনি পর্যবেক্ষণ হিসাবে, আপনি স্টক এবং ওয়াটসন কাছাকাছি পড়েন, তারা আসলে দাবী সমর্থন করে না যে শর্তাধীন মানে স্বাধীনতার অধীনে S জন্য ওএলএস পক্ষপাতহীন । তারা অনেক দুর্বল বলে যে দাবি করা OLS ঔজ্জ্বল্যের প্রেক্ষাপটে জন্য নিরপেক্ষ হয় অনুমোদন যদি । তারপরে, তারা অ-রৈখিক ন্যূনতম স্কোয়ারগুলি সম্পর্কে অস্পষ্ট কিছু বলে। $\beta$ $\beta$ $E(u|x,z)=z\gamma$

আপনার সমীকরণ (4) -তে আপনাকে দাবিটি মিথ্যা কিনা তা দেখার দরকার রয়েছে। ভেরিয়েবল বাদ দেওয়ার সময় ওএলএস দ্বারা সমীকরণ (4) অনুমান করা বাদ দেওয়া ভেরিয়েবল বায়াসে নিয়ে যায়। আপনার সম্ভবত মনে আছে, বাদ দেওয়া ভেরিয়েবলগুলি থেকে পক্ষপাতের শব্দটি (যখন বাদ দেওয়া ভেরিয়েবলের 1 এর সহগ থাকে) নিম্নলিখিত সহায়ক রিগ্রেশন থেকে দ্বারা নিয়ন্ত্রিত হয়: জন্য মূল রিগ্রেশনে পক্ষপাত হয় এই রিগ্রেশনের থেকে, এবং পক্ষপাত হয় । তাহলে সঙ্গে সম্পর্কিত , নিয়ন্ত্রণ পর সুসংগত জন্য $E(u|x,z)$

\begin{aligned} E (u | z) = x α_{1} + z α_{2} + ν \end{aligned}

$\begin{align} E(u|z) = x\alpha_1 + z\alpha_2 + \nu \end{align}$

β

$\beta$

α_{1}

$\alpha_1$

γ

$\gamma$

α_{2}

$\alpha_2$

x

$x$

E (u | z)

$E(u|z)$

z

$z$ , তারপরে অ-শূন্য এবং পক্ষপাতদুষ্ট হবে।

α_{1}

$\alpha_1$

এখানে বিন্দুটি প্রমাণ করার জন্য একটি উদাহরণ রয়েছে:

\begin{aligned} ξ & \sim F (), ζ \sim G (), ν \sim H () all independent \\ z & = ξ \\ x & = z^{2} + ζ \\ u & = z + z^{2} - E (z + z^{2}) + ν \end{aligned}

$\begin{align} \xi &\sim F(), \; \zeta \sim G(), \; \nu \sim H()\quad \text{all independent}\\ z &=\xi\\ x &= z^2 + \zeta\\ u &= z+z^2-E(z+z^2)+\nu \end{align}$

জন্য সূত্র এ খুঁজছি , এটা স্পষ্ট যে অক্জিলিয়ারী রিগ্রেশন এ খুঁজছি, এটা স্পষ্ট যে ( এর কিছু ধরণের পছন্দ অনুপস্থিত ) শূন্য হবে না। $u$ $E(u|x,z)=E(u|z)=z+z^2-E(z+z^2)$ $F,G,H$ $\alpha_1$

এখানে একটি খুব সাধারণ উদাহরণ Rযা দৃষ্টান্ত প্রদর্শন করে:

set.seed(12344321)
z <- runif(n=100000,min=0,max=10)
x <- z^2 + runif(n=100000,min=0,max=20)
u <- z + z^2 - mean(z+z^2) + rnorm(n=100000,mean=0,sd=20)
y <- x + z + u

summary(lm(y~x+z))

# auxiliary regression
summary(lm(z+z^2~x+z))

লক্ষ্য করুন যে প্রথম রিগ্রেশন আপনাকে উপর একটি সহগ দেয় যা 0.63 দ্বারা পক্ষপাতদুষ্ট, এটি মতো "এর মধ্যে কিছু has রয়েছে" প্রতিফলিত করে । আরও লক্ষ করুন যে সহায়িকা নিরোধন আপনাকে প্রায় 0.63 এর পক্ষপাত অনুমান দেয়। $x$ $x$ $z^2$ $E(u|z)$

সুতরাং, স্টক এবং ওয়াটসন (এবং আপনার প্রভাষক) কী সম্পর্কে কথা বলছেন? আসুন আপনার সমীকরণে ফিরে যান (4):

\begin{aligned} y = x β + z γ + E (u | z) + v \end{aligned}

$\begin{align} y = x\beta + z\gamma + E(u|z) + v \end{align}$

এটি একটি গুরুত্বপূর্ণ সত্য যে বাদ দেওয়া ভেরিয়েবল কেবল একটি ফাংশন । এটা তোলে যদি আমরা কন্ট্রোল পারে মত মনে হয় সত্যিই ভাল, যে রিগ্রেশনের থেকে পক্ষপাত অভিযোগমোচন যথেষ্ট হবে, যদিও সঙ্গে সম্পর্কিত করা যেতে পারে । $z$ $z$ $x$ $u$

ধরুন আমরা নীচের সমীকরণটি ফাংশনটি অনুমান করার জন্য কোনও প্যারাম্যাট্রিক পদ্ধতি ব্যবহার করে বা সঠিক ফাংশনাল ফর্ম ব্যবহার করে অনুমান করেছি । যদি আমরা সঠিক কার্যকরী ফর্মটি ব্যবহার করছিলাম তবে আমরা এটি অ-লিনিয়ার সর্বনিম্ন স্কোয়ার (এনএলএস সম্পর্কে ক্রিপ্টিক মন্তব্য ব্যাখ্যা করে) দ্বারা অনুমান করব: এটি আমাদেরকে জন্য একটি ধারাবাহিক অনুমানকারী দেয় কারণ কোনও বাদ পড়া ভেরিয়েবল সমস্যা আর নেই। $f()$ $f(z)=z\gamma+E(u|z)$

\begin{aligned} y = x β + f (z) + v \end{aligned}

$\begin{align} y = x\beta + f(z) + v \end{align}$

β

$\beta$

বিকল্পভাবে, আমাদের কাছে পর্যাপ্ত ডেটা থাকলে, আমরা জন্য নিয়ন্ত্রণ করতে `` সমস্ত উপায়ে '' যেতে পারতাম । আমরা ডেটা একটি উপসেট যেখানে তাকান পারে , এবং শুধুমাত্র রিগ্রেশন সঞ্চালন করুন: এই জন্য নিরপেক্ষ, সামঞ্জস্যপূর্ণ estimators দিতে হবে ছাড়া ইন্টারসেপ্ট, অবশ্যই, যা দ্বারা দূষিত হবে । স্পষ্টতই, আপনি কেবল সেই ডিগ্রি পয়েন্টের জন্য জন্য সেই রিগ্রেশন চালিয়ে একটি (পৃথক) সামঞ্জস্যপূর্ণ, নিরপেক্ষ অনুমানকও পেতে পারেন । এবং পয়েন্টের জন্য অন্য একটি যেখানে । ইত্যাদি। তারপর আপনার কাছে খুব ভাল অনুমানক রয়েছে যা থেকে আপনি দুর্দান্ত এক অনুমানক তৈরি করতে পারেন, বলুন, সমস্ত কিছু একসাথে গড়িয়ে গড়ে তোলেন। $z$ $z=1$

\begin{aligned} y = x β + v \end{aligned}

$\begin{align} y = x\beta + v \end{align}$

β

$\beta$

f (1)

$f(1)$

z = 2

$z=2$

z = 3

$z=3$

এই উত্তরোত্তর অনুমানকারীদের মিলের অনুপ্রেরণা। যেহেতু সাধারণত জন্য অক্ষরে অক্ষরে চালানোর জন্য সাধারণত পর্যাপ্ত ডেটা থাকে না বা একরকম পয়েন্টের জোড়গুলির জন্য, আমরা পরিবর্তে পয়েন্টগুলির জন্য রেগ্রেশনটি চালাই যেখানে enough যথেষ্ট পরিমাণে '' অভিন্ন হওয়ার জন্য to $z=1$ $z$ $z$

— বিল
সূত্র

আপনি এই ফলাফলটি প্রমাণ করতে পারবেন না কারণ এটি এর সাধারণ বিবৃতিতে সত্য নয়। আপনার এককের মডেলটি দিয়ে শুরু করুন। $(4)$

Y = X β + Z δ + (E (U | Z) + V)

$Y=X\beta+Z\delta+\Big(E(U|Z)+V\Big)$

যেখানে বড় বন্ধনী প্রকৃত ত্রুটি শব্দটিকে বোঝায় (শর্তসাপেক্ষ প্রত্যাশায় এখনও কোনও অনুমান নেই)। অবশিষ্ট-নির্মাতা বা অ্যানিহিলেটর ম্যাট্রিক্স সংজ্ঞায়িত করুন , যা প্রতিসম, এবং আমাদের । $M_Z = I - Z(Z'Z)^{-1}Z'$ $M_ZZ = \mathbf 0$

"পার্টিশনড রিগ্রেশন রেজাল্টস" দ্বারা আমাদের তা আছে

{\hat{β}}_{O L S} - β = (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} Z δ + (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} E (U ∣ Z) + (X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} V

$\hat \beta_{OLS} - \beta = (X'M_ZX)^{-1}X'M_ZZ\delta + (X'M_ZX)^{-1}X'M_ZE(U\mid Z) + (X'M_ZX)^{-1}X'M_ZV$

ডানদিকে প্রথম শব্দটি ইতিমধ্যে শূন্য। প্রত্যাশিত মানটি জুড়ে নিয়ে যাওয়া, এবং তারপরে শর্তাধীন প্রত্যাশার জন্য টাওয়ারের সম্পত্তি প্রয়োগ করা, তৃতীয় শব্দটিও শূন্য হবে (শর্তসাপেক্ষ মানে স্বতন্ত্র স্বরূপকে তার দুর্বল আকারে ব্যবহার করে)। তবে এটি এখন পর্যন্ত এই দুর্বল ধারণাটি আমাদের নিয়ে যায়, কারণ আমাদের সাথেই থাকবে

E ({\hat{β}}_{O L S}) - β = E [(X^{'} M_{Z} X)^{- 1} X^{'} M_{Z} E (U ∣ Z)]

$E\Big(\hat \beta_{OLS} \Big)- \beta = E\Big[(X'M_ZX)^{-1}X'M_ZE(U\mid Z) \Big]$

জন্য unbiasedness আমরা ডান দিকে শূন্য হতে চাই। এটা ধর যদি একটি রৈখিক ফাংশন (যেমন আপনার কাছে পাওয়া যায়), কারণ আমরা আবার শূন্য সংগ্রহ করবে । তবে অন্যথায় এটি সম্পূর্ণ প্রত্যাশিত মানটি শূন্য বলে ধরে নেওয়া সম্পূর্ণ নির্বিচারে। আমাদের যৌথ উত্তরসূচী ধরে নিতে হবে না, তবে আমাদের এই শর্তসাপেক্ষ প্রত্যাশার লিনিয়ারিটি ধরে নিতে হবে (অন্যান্য বিতরণেও এই সম্পত্তি রয়েছে)। সুতরাং নিরপেক্ষতার জন্য প্রয়োজনীয় অনুমান হ'ল $E(U\mid Z)$ $Z$ $M_ZZ$
$\beta$

E (U ∣ X, Z) = E (U ∣ Z) = Z γ

$E(U\mid X, Z)=E(U\mid Z)=Z\gamma$

এবং আমি বলতে পারি না যে এটি সত্যই "দুর্বল" কিনা তা সমস্ত রেজিস্ট্রারদের কঠোর অযৌক্তিকতার তুলনায় (যেহেতু কঠোর অযৌক্তিকতা সমস্ত বণ্টন অনুমানের জন্য স্বাধীন স্বাধীনতার শর্তে বর্ণিত হয়েছে, যখন এখানে আমাদের বিতরণের শ্রেণিগুলি সীমাবদ্ধ করতে হবে যে এবং অনুসরণ করুন)। $U$ $Z$

এই লিনিয়ারিটি অনুমানের অধীনে এছাড়াও সামঞ্জস্যপূর্ণ হবে তা দেখানো কঠিন নয় । $\hat \beta_{OLS}$

— আলেকোস পাপাদোপল্লোস
সূত্র

চমৎকার উত্তর! আমি এটি অনেক আগে পড়েছি এবং ভেবেছিলাম যে এটি সম্পর্কে পরে চিন্তা করব। আমার কিছু প্রশ্ন আছে: আপনি কীভাবে আপনার বিভাজনিত রিগ্রেশন ফলাফলগুলি প্রমাণ করতে পারেন? আমি কমপক্ষে একটি রেফারেন্স প্রশংসা করব। এছাড়াও, এবং মধ্যে পার্থক্য ?

M_{Z}

$M_Z$

M_{z}

$M_z$

— ইলিয়াস

@ মনির এবং কেবল একটি টাইপো - স্থির। পার্টিশনযুক্ত রিগ্রেশন ফলাফলের জন্য (যা খুব পুরানো এবং মানসম্পন্ন), উদাহরণস্বরূপ গ্রিনের একনোমেট্রিক্স পাঠ্যপুস্তকটি দেখুন, যে অধ্যায়ে এটি সর্বনিম্ন-স্কোয়ারের অনুমানের বীজগণিতিক দিকটি নিয়ে আলোচনা করেছে। এটি প্রমাণ অন্তর্ভুক্ত।

Z

$Z$

z

$z$

— অ্যালেকোস পাপাদোপল্লোস