এটি প্রকৃতপক্ষে একটি দুর্দান্ত প্রশ্ন যা আপনার প্রতিরোধের প্রাথমিক ধারণাটি চ্যালেঞ্জ করে।
প্রথমে স্বরলিপি সম্পর্কে কোনও প্রাথমিক বিভ্রান্তি প্রকাশ করুন। আমরা নিগ্রহের দিকে তাকিয়ে আছি:
y=b0+b1x+u^
যেখানে b0 এবং b1 সত্য estimators হয় β0 এবং β1 , এবং তোমার দর্শন লগ করা রিগ্রেশন এর অবশিষ্টাংশ হয়। মনে রাখবেন যে অন্তর্নিহিত সত্য এবং অব্যবহৃত রিগ্রেশনকে এভাবে চিহ্নিত করা হয়েছে:u^
y=β0+β1x+u
E[u]=0 এবং বৈকল্পিক E[u2]=σ2 এর প্রত্যাশা সহ । কিছু বই বোঝাতে b যেমন β এবং আমরা এখানে এই সম্মেলন খাপ খাওয়ানো। আমরা ম্যাট্রিক্স স্বরলিপি, যেখানে ব্যবহার করা খ 2x1 ভেক্টর যে estimators ঝুলিতে β = [ β 0 , β 1 ] ' , যথা খ = [ খ 0 , বো 1 ] 'β^β=[β0,β1]′b=[b0,b1]′। (এছাড়াও স্পষ্টতার খাতিরে আমি X কে নিম্নলিখিত গণনায় স্থির করে রেখেছি))
এখন আপনার প্রশ্ন। Ovক্যবদ্ধতার জন্য আপনার সূত্রটি সত্যই সঠিক, তা হ'ল:
σ(b0,b1)=E(b0b1)−E(b0)E(b1)=E(b0b1)−β0β1
আমি মনে করি আপনি জানতে চান কীভাবে আমাদের এই সূত্রটিতে সত্য সংরক্ষণযোগ্য সহগ β0,β1 রয়েছে? সূত্রটি প্রসারিত করে যদি আমরা এটিকে আরও একধাপ এগিয়ে নিয়ে যাই তবে এগুলি আসলে বাতিল হয়ে যায় । এটি দেখতে, নোট করুন যে অনুমানেরটির জনসংখ্যার বৈকল্পিক নীচে দেওয়া হয়েছে:
Var(β^)=σ2(X′X)−1
এই ম্যাট্রিক্সটি তির্যক উপাদানগুলির মধ্যে বৈকল্পিক এবং অফ-তির্যক উপাদানগুলির সমবায়িকাকে ধারণ করে।
উপরের সূত্রে পৌঁছতে, আসুন ম্যাট্রিক্স স্বরলিপি ব্যবহার করে আপনার দাবিটিকে সাধারণীকরণ করুন। আমাদের সাথে তাই বোঝাতে ভ্যারিয়েন্স যাক Var[⋅] এবং প্রত্যাশা E[⋅] ।
Var[b]=E[b2]−E[b]E[b′]
মূলত আমাদের কাছে সাধারণ বৈকল্পিক সূত্র রয়েছে, কেবলমাত্র ম্যাট্রিক্স স্বরলিপি ব্যবহার করে। সমীকরণ সমাধান করা যখন মূল্নির্ধারক জন্য আদর্শ এক্সপ্রেশনে বদলে b=(X′X)−1X′y । এছাড়াও অনুমান E[b]=β একটি পক্ষপাতিত্বহীন মূল্নির্ধারক হচ্ছে। সুতরাং, আমরা প্রাপ্ত:
E[((X′X)−1X′y)2]−β22×2
নোট করুন যে আমাদের ডানদিকে রয়েছে β2 - 2x2 ম্যাট্রিক্স, নাম bb′ , তবে আপনি এই মুহুর্তে ইতিমধ্যে অনুমান করতে পারেন যে এই শব্দটির সাথে খুব শীঘ্রই কী ঘটবে।
উপরের সত্যিকারের অন্তর্নিহিত ডেটা উত্পন্ন প্রক্রিয়াটির জন্য আমাদের এক্সপ্রেশনটির সাথে y প্রতিস্থাপন করা আমাদের কাছে রয়েছে:
E[((X′X)−1X′y)2]−β2=E[((X′X)−1X′(Xβ+u))2]−β2=E[((X′X)−1X′X=Iβ+(X′X)−1X′u)2]−β2=E[(β+(X′X)−1X′u)2]−β2=β2+E[(X′X)−1X′u)2]−β2
since E[u]=0. Furthermore, the quadratic β2 term cancels out as anticipated.
Thus we have:
Var[b]=((X′X)−1X′)2E[u2]
By linearity of expectations. Note that by assumption E[u2]=σ2 and ((X′X)−1X′)2=(X′X)−1X′X(X′X)′−1=(X′X)−1 since X′X is a K×K symetric matrix and thus the same as its transpose. Finally we arrive at
Var[b]=σ2(X′X)−1
Now that we got rid of all β terms. Intuitively, the variance of the estimator is independent of the value of true underlying coefficient, as this is not a random variable per se. The result is valid for all individual elements in the variance covariance matrix as shown in the book thus also valid for the off diagonal elements as well with β0β1 to cancel out respectively. The only problem was that you had applied the general formula for the variance which does not reflect this cancellation at first.
Ultimately, the variance of the coefficients reduces to σ2(X′X)−1 and independent of β. But what does this mean? (I believe you asked also for a more general understanding of the general covariance matrix)
Look at the formula in the book. It simply asserts that the variance of the estimator increases for when the true underlying error term is more noisy (σ2 increases), but decreases for when the spread of X increases. Because having more observations spread around the true value, lets you in general build an estimator that is more accurate and thus closer to the true β. On the other hand, the covariance terms on the off-diagonal become practically relevant in hypothesis testing of joint hypotheses such as b0=b1=0. Other than that they are a bit of a fudge, really. Hope this clarifies all questions.
