রিগ্রেশন সহগের অনুমানগুলি কি সম্পর্কহীন?

একটি সাধারণ রিগ্রেশন বিবেচনা করুন (স্বাভাবিকতা ধরে নেওয়া হয় না): যেখানে গড় এবং স্ট্যান্ডার্ড বিচ্যুতি । এবং এর ন্যূনতম স্কোয়ার অনুমানগুলি কি সম্পর্কহীন?

Y_{i} = a + b X_{i} + e_{i},

$Y_i = a + b X_i + e_i,$

e_{i}

$e_i$

0

$0$

σ

$\sigma$

a

$a$

b

$b$

regression correlation estimation

— অর্ণব
সূত্র

আপনি কি মনে করেন? en.wikedia.org/wiki/Ordinary_least_squares , বিভাগ "সীমাবদ্ধ নমুনার বৈশিষ্ট্য"। এই সাইটে এই প্রশ্নের বহুবার উত্তর দেওয়া হয়েছিল।

— এমপিক্টাস

এটি পরীক্ষা-নিরীক্ষার নকশা করার ক্ষেত্রে একটি গুরুত্বপূর্ণ বিবেচনা, যেখানে এবং অনুমানের মধ্যে কোনও (বা খুব সামান্য) পারস্পরিক সম্পর্ক থাকা বাঞ্ছনীয় । মানগুলি নিয়ন্ত্রণ করে এই জাতীয় সম্পর্কের অভাব অর্জন করা যেতে পারে । $\hat a$ $\hat b$ $X_i$

অনুমানের উপর এর প্রভাব বিশ্লেষণ করতে , মানগুলি (যা দৈর্ঘ্য এর সারি ভেক্টর ) একটি ম্যাট্রিক্স , নকশার ম্যাট্রিক্সে উল্লম্বভাবে একত্রিত হয় ডাটা রয়েছে তত পরিমাণে সারি রয়েছে এবং (স্পষ্টতই) ) দুটি কলাম। সংশ্লিষ্ট এক দীর্ঘ (কলাম) ভেক্টর একত্রিত হয় । এই পদগুলিতে, একত্রিত সহগের জন্য , মডেলটি হ'ল $X_i$ $(1,X_i)$ $2$ $X$ $Y_i$ $y$ $\beta = (a,b)^\prime$

E (Y) = X \cdot β

$\mathbb{E}(Y) = X \cdot \beta$

হয় (সাধারণত) স্বাধীন র্যান্ডম ভেরিয়েবল যার ভেরিয়ানস একটি ধ্রুবক হয় গণ্য করা কিছু অজানা জন্য । নির্ভরশীল পর্যবেক্ষণ ভেক্টর-মূল্যবান দৈব চলক এক উপলব্ধি হতে নেয়া হয় । $Y_i$ $\sigma^2$ $\sigma \gt 0$ $y$ $Y$

ওএলএস সমাধানটি হ'ল

\hat{β} = {(X^{'} X)}^{- 1} X^{'} y,

$\hat\beta = \left(X^\prime X\right)^{-1} X^\prime y,$

এই ম্যাট্রিক্স বিপরীতমুখী হিসাবে ধরে নেওয়া। সুতরাং, ম্যাট্রিক্সের গুণ এবং কোভারিয়েন্সের মৌলিক বৈশিষ্ট্যগুলি ব্যবহার করে,

Cov (\hat{β}) = Cov ({(X^{'} X)}^{- 1} X^{'} Y) = ({(X^{'} X)}^{- 1} X^{'} σ^{2} X {(X^{'} X)}^{- 1'}) = σ^{2} {(X^{'} X)}^{- 1} .

$\text{Cov}(\hat\beta) = \text{Cov}\left(\left(X^\prime X\right)^{-1} X^\prime Y\right) = \left(\left(X^\prime X\right)^{-1} X^\prime\sigma^2 X \left( X^\prime X \right)^{-1\prime} \right) = \sigma^2 \left(X^\prime X\right)^{-1}.$

ম্যাট্রিক্স এর মাত্র দুটি সারি এবং দুটি কলাম রয়েছে, যা মডেল প্যারামিটারগুলির সাথে সামঞ্জস্য করে । এর পারস্পরিক সম্পর্ক সঙ্গে এর অফ-তির্যক উপাদানের সমানুপাতিক যার দ্বারা Cramer শাসন দুই কলামের ডট পণ্য সমানুপাতিক হয় । যেহেতু কলামগুলির মধ্যে একটি সমস্ত টি, অন্য কলামের সাথে ডট পণ্য ( ) তাদের যোগফল, তাই আমরা খুঁজে পাই $\left(X^\prime X\right)^{-1}$ $(a,b)$ $\hat a$ $\hat b$ $(X^\prime X)^{-1},$ $X$ $1$ $X_i$

$\hat a$ এবং যদি আনকোরিলেটেড এবং শুধুমাত্র এর সমষ্টি (অথবা equivalently মিন) শূন্য। $\hat b$ $X_i$

এই orthogonality শর্ত ঘন ঘন করে এটা করা যায় recentering (প্রতিটি থেকে তাদের গড় যতবার)। যদিও এই আনুমানিক ঢাল পরিবর্তন করা হবে না অনুমান পথিমধ্যে পরিবর্তন করেন । এটি গুরুত্বপূর্ণ কি না তা নির্ভর করে আবেদনের উপর। $X_i$ $\hat b$ $\hat a$

এই বিশ্লেষণটি একাধিক রিগ্রেশনের ক্ষেত্রে প্রযোজ্য: ডিজাইনের ম্যাট্রিক্সে স্বতন্ত্র ভেরিয়েবলগুলির জন্য কলাম থাকবে (একটি অতিরিক্ত কলাম টি সমন্বিত) এবং দৈর্ঘ্যের ভেক্টর হবে , তবে অন্যথায় সমস্ত কিছুই পূর্বের মতো চলে। $p+1$ $p$ $1$ $\beta$ $p+1$

প্রচলিত ভাষায়, দুটি কলামকে সংক্ষিপ্ত বলা হয় যখন তাদের বিন্দুর পণ্যটি শূন্য হয়। যখন একটি কলাম (কলাম বলে ) সব অন্যান্য কলামকে লম্ব হয়, এটি একটি সহজে প্রদর্শিত বীজগাণিতিক সত্য যে সারিতে সমস্ত বন্ধ তির্যক এন্ট্রি এবং কলাম এর শূন্য হয় (এটি হ'ল সমস্ত শূন্যের জন্য এবং উপাদানগুলি )। অতএব, $X$ $X$ $i$ $i$ $i$ $(X^\prime X)^{-1}$ $ij$ $ji$ $j\ne i$

ডিজাইনের ম্যাট্রিক্সের সংশ্লিষ্ট কলামগুলির (বা উভয়) অন্য সমস্ত কলামের সাথে যখন orthogonal হয় তখন দুটি এবং হয়। $\hat\beta_i$ $\hat\beta_j$

অনেকগুলি স্ট্যান্ডার্ড পরীক্ষামূলক ডিজাইনে কলামগুলি পারস্পরিক অর্থেগোনাল করতে স্বাধীন ভেরিয়েবলের মান নির্বাচন করে। এটি গ্যারান্টি দিয়ে ফলাফলগুলি পৃথক করে "- কোনও তথ্য সংগ্রহের আগে! - যে অনুমানগুলি অসংলগ্ন হবে। (যখন প্রতিক্রিয়াগুলিতে সাধারণ বিতরণ থাকে তখন এ থেকে বোঝা যায় যে অনুমানগুলি স্বাধীন হবে, যা তাদের ব্যাখ্যাটি ব্যাপকভাবে সরল করে))

— whuber
সূত্র

উত্তরে বলা হয়েছে "[...] অফ-ডায়াগোনাল উপাদানগুলি, যা এক্স এর দুটি কলামের ডট পণ্য মাত্র products" এটি জন্য সত্য , তবে নয় ?

X^{'} X

$X'X$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

— হাইজেনবার্গ

@ হাইজেনবার্গ এটি একটি ভাল পয়েন্ট। আমি এই সম্পর্কে অস্পষ্ট ছিল। দুটি কলামের ক্ষেত্রে কোনও অস্পষ্টতা নেই, তবে আরও কলামগুলির ক্ষেত্রে উপস্থাপনাটি কীভাবে উন্নত করা যায় তা চিন্তা করা দরকার।

— হোয়বার

@ হাইজেনবার্গ আপনার অনুধাবনযোগ্য পর্যবেক্ষণের জন্য আমি কৃতজ্ঞ: এটি একাধিক রিগ্রেশন মামলার আলোচনায় যথেষ্ট ত্রুটি সংশোধন করতে আমাকে সক্ষম করে।

— শুক্র