লিনিয়ার রিগ্রেশন-এ ত্রুটির ভেরিয়েন্স-কোভারিয়েন্স ম্যাট্রিক্স

12

বাস্তবে পরিসংখ্যান বিশ্লেষণ প্যাকেজগুলি দ্বারা কীভাবে var / cov ত্রুটি ম্যাট্রিক্স গণনা করা হয়?

এই ধারণাটি তাত্ত্বিকভাবে আমার কাছে স্পষ্ট। বাস্তবে নয়। আমি বলতে চাইছি, যদি আমার কাছে র্যান্ডম ভেরিয়েবলস ভেক্টর থাকে তবে আমি বুঝতে পারি যে বৈকল্পিক / কোভারিয়েন্স ম্যাট্রিক্স বিচ্যুতি-থেকে-গড় ভেক্টরগুলির বাহ্যিক পণ্য দেওয়া হবে: । $\textbf{X}=(X_{1}, X_{2}, \ldots, X_{n})^\top$ $\Sigma$ $\Sigma=\mathrm{E}\left[(\textbf{X}-\mathrm{E}(\textbf{X}))(\textbf{X}-\mathrm{E}(\textbf{X}))^\top\right]$

তবে যখন আমার কাছে একটি নমুনা রয়েছে, আমার পর্যবেক্ষণগুলির ত্রুটিগুলি এলোমেলো পরিবর্তনশীল নয়। বা আরও ভাল, তারা হয় তবে আমি যদি একই জনসংখ্যার থেকে অনেকগুলি অভিন্ন নমুনা নিই। অন্যথায়, তারা দেওয়া হয়েছে। সুতরাং, আবার আমার প্রশ্ন: কীভাবে একটি পরিসংখ্যান প্যাকেজ গবেষক দ্বারা সরবরাহিত পর্যবেক্ষণের তালিকা (যেমন একটি নমুনা) থেকে শুরু করে কোনও ভার / কোভ ম্যাট্রিক্স তৈরি করতে পারে?

— Riccardo
সূত্র

আপনার পর্যবেক্ষণগুলির ত্রুটিগুলি একটি এলোমেলো ভেরিয়েবল (y এর) এর ফাংশন এবং তাই তারা নিজেরাই এলোমেলো। একা এক্সের শর্তাধীন, তাদের দেওয়া হয় না।

— ব্যবহারকারীর 603

1

হ্যাঁ, আমি এতে পুরোপুরি একমত তবে আপনি যা বলেন তা তত্ত্বের সাথে কাজ করে। যদি আমি একই জনসংখ্যার থেকে অভিন্ন আকারের 100 টি এলোমেলো নমুনা আঁকি, তবে প্রতিটি পর্যবেক্ষণের ত্রুটি (0, সিগমা ^ 2) সহ এলোমেলো পরিবর্তনশীল হবে। পরিবর্তে, আমি কেবল একটি নমুনা আঁকবো কী? সেক্ষেত্রে প্রতিটি পর্যবেক্ষণের ত্রুটির কারণটি ত্রুটি নিজেই। আমি কী বলছি তা কি পরিষ্কার? সুতরাং, আমি যা বোঝার চেষ্টা করছি তা হল, স্টাটার মতো প্যাকেজ কীভাবে জনসংখ্যা থেকে আঁকা একটি মাত্র নমুনা ব্যবহার করে ভেরিয়েন্স-কোভারিয়েন্স ম্যাট্রিক্স গণনা করে?

— রিকার্ডো

7

ধরণের মডেলের জন্য কোভারিয়েন্স ম্যাট্রিক্সটি সাধারণত হিসাবে গণনা করা হয় যেখানে হয় বর্গের অবশিষ্টাংশ, এবং হ'ল স্বাধীনতার ডিগ্রি (সাধারণত পর্যবেক্ষণের সংখ্যা পরামিতিগুলির সংখ্যা বিয়োগ করে)। $y = X\beta + \epsilon$

(X^{t} X)^{- 1} \frac{σ^{2}}{d}

$(X^t X)^{-1}\frac{\sigma^2}{d}$

σ^{2}

$\sigma^2$

σ^{2} = \sum_{i} (y_{i} - X_{i} \hat{β})^{2}

$\sigma^2=\sum_i (y_i - X_i\hat\beta)^2$

d

$d$

দৃust় এবং বা ক্লাস্টার্ড স্ট্যান্ডার্ড ত্রুটির জন্য, পণ্য কিছুটা সংশোধিত হয়েছে। কোভারিয়েন্স ম্যাট্রিক্স গণনা করার অন্যান্য উপায়ও থাকতে পারে, যেমন বাইরের পণ্যগুলির প্রত্যাশার দ্বারা প্রস্তাবিত। $X^t X$

— সিমেন গৌর
সূত্র

3

OLS ঔজ্জ্বল্যের প্রেক্ষাপটে প্রাক্কলন এর ত্রুটি ভ্যারিয়েন্স , : $\sigma^2$

s^{2} = \frac{{\hat{ε}}^{⊤} \hat{ε}}{n - p}

$s^2=\frac{\hat \varepsilon^\top\hat \varepsilon}{n-p}$

এটি জুলিয়ান জে ফারাওয়ে, পৃষ্ঠা 21 দ্বারা আর্টিক্যাল রিগ্রেশন এবং আনোভা ব্যবহার করে অন্তর্ভুক্ত ।

আর তার হিসাব, মাইল প্রতি পয়সের পাঁচ সের একাধিক গাড়ী মডেল চশমা মধ্যে অন্তর্ভুক্ত উপর regressed রৈখিক মডেলের উপর ভিত্তি করে উদাহরণ mtcarsডাটাবেসের: ols = lm(mpg ~ disp + drat + wt, mtcars)। এগুলি হ'ল ম্যানুয়াল গণনা এবং lm()ফাংশনের আউটপুট :

> rdf = nrow(X) - ncol(X)                    # Residual degrees of freedom
> s.sq = as.vector((t(ols$residuals) %*% ols$residuals) / rdf) 
>                                            # s square (OLS estimate of sigma square)
> (sigma = sqrt(s.sq))                       # Residual standar error
[1] 2.950507
> summary(ols)

Call:
lm(formula = mpg ~ disp + drat + wt, data = mtcars)
...
Residual standard error: 2.951 on 28 degrees of freedom

ভ্যারিয়েন্স - আনুমানিক কোফিসিয়েন্টস কোভ্যারিয়েন্স ম্যাট্রিক্স , : $\hat \beta$

V a r [\hat{β} ∣ X] = σ^{2} {(X^{⊤} X)}^{- 1}

$\mathrm{Var}\left[\hat \beta \mid X \right] =\sigma^2 \left(X^\top X\right)^{-1}$

এই অনলাইন দস্তাবেজে পৃষ্ঠার 8 হিসাবে অনুমান করা যেমন

\hat{V a r} [\hat{β} ∣ X] = s^{2} {(X^{⊤} X)}^{- 1}

$\hat{\mathrm{Var}}\left[\hat \beta \mid X \right] =s^2 \left(X^\top X\right)^{-1}$

> X = model.matrix(ols)                             # Model matrix X
> XtX = t(X) %*% X                                  # X transpose X
> Sigma = solve(XtX) * s.sq                         # Variance - covariance matrix
> all.equal(Sigma, vcov(ols))                       # Same as built-in formula
[1] TRUE
> sqrt(diag(Sigma))                                 # Calculated Std. Errors of coef's
(Intercept)        disp        drat          wt 
7.099791769 0.009578313 1.455050731 1.217156605 
> summary(ols)[[4]][,2]                             # Output of lm() function
(Intercept)        disp        drat          wt 
7.099791769 0.009578313 1.455050731 1.217156605

— আন্তোনি পরেল্লদা
সূত্র

2

$Y = \beta*X +\varepsilon$ $Y$ $X$ $\beta$ $X$ $Y$

— রাজীব সম্ববাসন
সূত্র

হাই রাজীব, সংশোধনের জন্য আপনাকে ধন্যবাদ। সুতরাং, আপনি কী ব্যাখ্যা করতে পারবেন যে ওয়াই (এবং অ্যাপসিলন) থেকে শুরু করে স্টাটা (বা অন্য কোনও পরিসংখ্যান প্যাকেজ) কীভাবে বৈকল্পিক-কোভারিয়েন্স ম্যাট্রিক্স সিগমা অর্জন করতে পরিচালিত করে?

— রিকার্ডো

\hat{e} {\hat{e}}^{'}

$\hat{e}\hat{e}'$

603 ব্যবহারকারীর সাথে সম্মত হন। অনুগ্রহ করে cran.r-project.org/doc/contrib/Faraway-PRA.pdf এর 21 পৃষ্ঠা দেখুন । এটি আর এর উপর ভিত্তি করে তবে লিনিয়ার রিগ্রেশন এর পিছনে তত্ত্বের একটি ভাল আলোচনা অন্তর্ভুক্ত।

— রাজীব সামবাসিভান

হাই উভয়, আপনাকে ধন্যবাদ, সবার আগে। আমিও 6060 ব্যবহারকারীর সাথে আপনার সাথে একমত এবং আমি এই উত্তরটি আশা করছিলাম ing তবে যদি ভেরি / কোভ ম্যাট্রিক্স ত্রুটি ভেক্টরগুলির বাহ্যিক পণ্য গণনা করে গণনা করা হয় তবে এর অর্থ হ'ল বেশিরভাগ ক্ষেত্রে ত্রুটির উপাদানগুলির মধ্যে কোভটি স্বাধীনতার অনুমান হিসাবে বোঝা যায় না zero রাইট? এটাই আমার সন্দেহ ঘুরপাক খায়। রাজীব, আপনার প্রস্তাবিত ভাল গাইডটি আমি দেখেছিলাম কিন্তু উত্তর খুঁজে পেল না। ভবিষ্যতের যে কোনও জবাবের জন্য আগাম ধন্যবাদ Thank

— রিকার্ডো