পটভূমি

ধরা যাক, আমাদের কাছে একটি সাধারণ সর্বনিম্ন স্কোয়ার্স মডেল রয়েছে যেখানে আমাদের রিগ্রেশন মডেলটিতে $k$

Y = এক্স β + + ε

$\mathbf{y}=\mathbf{X}\mathbf{\beta} + \mathbf{\epsilon}$

যেখানে একটি হল কোফিসিয়েন্টস এর ভেক্টর, হয় নকশা ম্যাট্রিক্স দ্বারা সংজ্ঞায়িত $\mathbf{\beta}$ $(k\times1)$ $\mathbf{X}$

X = (\begin{matrix} 1 & x_{11} & x_{12} & \dots & x_{1 (k - 1)} \\ 1 & x_{21} & \dots & ⋮ \\ ⋮ & ⋱ & ⋮ \\ 1 & x_{n 1} & \dots & \dots & x_{n (k - 1)} \end{matrix})

$\mathbf{X} = \begin{pmatrix} 1 & x_{11} & x_{12} & \dots & x_{1\;(k-1)} \\ 1 & x_{21} & \dots & & \vdots \\ \vdots & & \ddots & & \vdots \\ 1 & x_{n1} & \dots & \dots & x_{n\;(k-1)} \end{pmatrix}$ the এবং ত্রুটিগুলি আইআইডি হয় স্বাভাবিক,

ϵ \sim N (0, σ^{2} I) .

$\mathbf{\epsilon} \sim \mathcal{N}\left(\mathbf{0},\sigma^2 \mathbf{I}\right) \;.$

আমরা আমাদের অনুমান সেটিং দ্বারা সমষ্টি অফ ছক-ত্রুটি কমান হতে $\mathbf{\beta}$

\hat{β} = (X^{T} X)^{- 1} X^{T} y .

$\mathbf{\hat{\beta}}= (\mathbf{X^T X})^{-1}\mathbf{X}^T \mathbf{y}\;.$

এর নিরপেক্ষ অনুমানকটি হ'ল যেখানে ( রেফ )। $\sigma^2$

s^{2} = \frac{{‖ y - \hat{y} ‖}^{2}}{n - p}

$s^2 = \frac{\left\Vert \mathbf{y}-\mathbf{\hat{y}}\right\Vert ^2}{n-p}$

\hat{y} \equiv X \hat{β}

$\mathbf{\hat{y}} \equiv \mathbf{X} \mathbf{\hat{\beta}}$

The এর ar $\mathbf{\hat{\beta}}$ দ্বারা দেওয়া হয়েছে

Cov (\hat{β}) = σ^{2} C

$\operatorname{Cov}\left(\mathbf{\hat{\beta}}\right) = \sigma^2 \mathbf{C}$ যেখানে

C \equiv (X^{T} X)^{- 1}

$\mathbf{C}\equiv(\mathbf{X}^T\mathbf{X})^{-1}$ ( রেফ )।

প্রশ্ন

আমি কীভাবে প্রমাণ করতে পারি যে $\hat\beta_i$ ,

\frac{{\hat{β}}_{i} - β_{i}}{s_{{\hat{β}}_{i}}} \sim t_{n - k}

$\frac{\hat{\beta}_i - \beta_i} {s_{\hat{\beta}_i}} \sim t_{n-k}$ যেখানে

t_{n - k}

$t_{n-k}$ একটি সঙ্গে টি-ডিস্ট্রিবিউশান

(n - k)

$(n-k)$ স্বাধীন ডিগ্রীগুলির, এবং মান ত্রুটি

{\hat{β}}_{i}

$\hat{\beta}_i$ দ্বারা অনুমান করা হয়

s_{{\hat{β}}_{i}} = s \sqrt{c_{i i}}

$s_{\hat{\beta}_i} = s\sqrt{c_{ii}}$ ।

আমার চেষ্টা

আমি জানি যে জন্য র্যান্ডম ভেরিয়েবল থেকে নমুনা , আপনাকে দেখাতে পারেন যে the এলএইচএসকে হিসাবে লিখে এবং বুঝতে পেরেছে যে সংখ্যার একটি সাধারণ স্বাভাবিক বন্টন, এবং ডিনোমেনেটর একটি চি-বর্গ বিতরণের বর্গমূল যা ডিএফ = (এন-1) দিয়ে বিভক্ত হয় (n- 1) ( রেফ ) এবং তাই এটি df = (n-1) ( রেফ ) সহ একটি টি-বিতরণ অনুসরণ করে । $n$ $x\sim\mathcal{N}\left(\mu, \sigma^2\right)$

\frac{\bar{x} - μ}{s / \sqrt{n}} \sim t_{n - 1}

$\frac{\bar{x}-\mu}{s/\sqrt{n}} \sim t_{n-1}$

\frac{(\frac{\bar{x} - μ}{σ / \sqrt{n}})}{\sqrt{s^{2} / σ^{2}}}

$\frac{ \left(\frac{\bar x - \mu}{\sigma/\sqrt{n}}\right) } {\sqrt{s^2/\sigma^2}}$

আমি আমার প্রশ্নের এই প্রমাণটি প্রসারিত করতে পারিনি ...

কোন ধারনা? আমি এই প্রশ্নটি সম্পর্কে অবহিত , তবে তারা এটিকে স্পষ্টভাবে প্রমাণ করে না, তারা কেবল থাম্বের একটি বিধি দেয়, "প্রতিটি ভবিষ্যদ্বাণীকারী আপনাকে এক ডিগ্রি স্বাধীনতার জন্য খরচ করে"।

— গ্যারেট
সূত্র

কারণ যৌথভাবে সাধারন ভেরিয়েবল একটি রৈখিক সমন্বয়, এটা একটি সাধারণ বন্টনের হয়েছে। সুতরাং আপনাকে যা করতে হবে তা (1) 1 ; (২) দেখান যে হ'ল একটি নিরপেক্ষ অনুমানকারী ; এবং (3) স্বাধীনতা ডিগ্রী প্রদর্শন হয় । পরবর্তীটি এই সাইটে বেশ কয়েকটি জায়গায় প্রমাণিত হয়েছে, যেমন stats.stackexchange.com/a/16931 । আমি সন্দেহ করি যে আপনি ইতিমধ্যে (1) এবং (2) কীভাবে করবেন তা জানেন।

{\hat{β}}_{i}

$\hat\beta_i$

E ({\hat{β}}_{i}) = β_{i}

$\mathbb{E}(\hat\beta_i)=\beta_i$

s_{{\hat{β}}_{i}}^{2}

$s_{\hat\beta_i}^2$

Var ({\hat{β}}_{i})

$\text{Var}(\hat\beta_i)$

s_{{\hat{β}}_{i}}

$s_{\hat\beta_i}$

n - k

$n-k$

— হুবুহু

যেহেতু আমরা জানি যে এবং এইভাবে আমরা জানি যে প্রতিটি উপাদানের জন্য এর , যেখানে হয় তির্যক উপাদান । সুতরাং, আমরা জানি যে

\begin{aligned} \hat{β} & = (X^{T} X)^{- 1} X^{T} Y \\ = (X^{T} X)^{- 1} X^{T} (X β + ε) \\ = β + (X^{T} X)^{- 1} X^{T} ε \end{aligned}

$\begin{align*} \hat\beta &= (X^TX)^{-1}X^TY \\ &= (X^TX)^{-1}X^T(X\beta + \varepsilon) \\ &= \beta + (X^TX)^{-1}X^T\varepsilon \end{align*}$

\hat{β} - β \sim N (0, σ^{2} (X^{T} X)^{- 1})

$\hat\beta-\beta \sim \mathcal{N}(0,\sigma^2 (X^TX)^{-1})$

k

$k$

\hat{β}

$\hat\beta$

{\hat{β}}_{k} - β_{k} \sim N (0, σ^{2} S_{k k})

$\hat\beta_k -\beta_k \sim \mathcal{N}(0, \sigma^2 S_{kk})$

S_{k k}

$S_{kk}$

k^{th}

$k^\text{th}$

(X^{T} X)^{- 1}

$(X^TX)^{-1}$

z_{k} = \frac{{\hat{β}}_{k} - β_{k}}{\sqrt{σ^{2} S_{k k}}} \sim N (0, 1) .

$z_k = \frac{\hat\beta_k -\beta_k}{\sqrt{\sigma^2 S_{kk}}} \sim \mathcal{N}(0,1).$

আদর্শ স্ট্যান্ডার্ড নরমাল ভেক্টরে আইডেম্পোটেন্ট কোয়াড্র্যাটিক ফর্ম বিতরণের জন্য উপপাদ্যের বক্তব্যটি নোট করুন ( গ্রিনে উপপাদ্য B.8 ):

তাহলে এবং প্রতিসম এবং idempotent হয়, তাহলে বিতরণ করা হয় যেখানে পদে হয় । $x\sim\mathcal{N}(0,I)$ $A$ $x^TAx$ $\chi^2_{\nu}$ $\nu$ $A$

যাক রিগ্রেশন রেসিডুয়াল ভেক্টরকে বোঝান এবং যা অবশিষ্টাংশ প্রস্তুতকারক ম্যাট্রিক্স (যেমন ) । সিমেট্রিক এবং আদর্শবান ot এটি যাচাই করা সহজ । $\hat\varepsilon$

M = I_{n} - X (X^{T} X)^{- 1} X^{T},

$M=I_n - X(X^TX)^{-1}X^T \text{,}$

M y = \hat{ε}

$My=\hat\varepsilon$ $M$

আসুন একটি মূল্নির্ধারক হতে ।

s^{2} = \frac{{\hat{ε}}^{T} \hat{ε}}{n - p}

$s^2 = \frac{\hat\varepsilon^T \hat\varepsilon}{n-p}$

σ^{2}

$\sigma^2$

আমাদের তখন কিছু লিনিয়ার বীজগণিত করা দরকার। এই তিনটি লিনিয়ার বীজগণিত বৈশিষ্ট্য নোট করুন:

আইডেম্পোটেন্ট ম্যাট্রিক্সের র‌্যাঙ্কটি এর ট্রেস।
$\operatorname{Tr}(A_1+A_2) = \operatorname{Tr}(A_1) + \operatorname{Tr}(A_2)$
$\operatorname{Tr}(A_1A_2) = \operatorname{Tr}(A_2A_1)$ যদি হয় এবং হয় ( এই সম্পত্তি কাজ করার জন্য নিচের জন্য সমালোচনামূলক ) $A_1$ $n_1 \times n_2$ $A_2$ $n_2 \times n_1$

সুতরাং

\begin{aligned} rank (M) = Tr (M) & = Tr (I_{n} - X (X^{T} X)^{- 1} X^{T}) \\ = Tr (I_{n}) - Tr (X (X^{T} X)^{- 1} X^{T})) \\ = Tr (I_{n}) - Tr ((X^{T} X)^{- 1} X^{T} X)) \\ = Tr (I_{n}) - Tr (I_{p}) \\ = n - p \end{aligned}

$\begin{align*} \operatorname{rank}(M) = \operatorname{Tr}(M) &= \operatorname{Tr}(I_n - X(X^TX)^{-1}X^T) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}\left( X(X^TX)^{-1}X^T) \right) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}\left( (X^TX)^{-1}X^TX) \right) \\ &= \operatorname{Tr}(I_n) - \operatorname{Tr}(I_p) \\ &=n-p \end{align*}$

তারপরে

\begin{aligned} V = \frac{(n - p) s^{2}}{σ^{2}} = \frac{{\hat{ε}}^{T} \hat{ε}}{σ^{2}} = {(\frac{ε}{σ})}^{T} M (\frac{ε}{σ}) . \end{aligned}

$\begin{align*} V = \frac{(n-p)s^2}{\sigma^2} = \frac{\hat\varepsilon^T\hat\varepsilon}{\sigma^2} = \left(\frac{\varepsilon}{\sigma}\right)^T M \left(\frac{\varepsilon}{\sigma}\right). \end{align*}$

একটি স্ট্যান্ডার্ড সাধারন ভেক্টর (উপরে বর্ণিত) একটি Idempotent দ্বিঘাত ফর্ম বিতরণ জন্য উপপাদ্য প্রয়োগ করা হচ্ছে, আমরা যে জানি । $V \sim \chi^2_{n-p}$

যেহেতু আপনি ধরে যে সাধারণত বিতরণ করা হয়, তাই থেকে স্বতন্ত্র , এবং যেহেতু একটি ফাংশন , সুতরাং থেকেও স্বতন্ত্র । সুতরাং, এবং একে অপরের থেকে স্বতন্ত্র। $\varepsilon$ $\hat\beta$ $\hat\varepsilon$ $s^2$ $\hat\varepsilon$ $s^2$ $\hat\beta$ $z_k$ $V$

তারপরে, একটি চি-স্কোয়ার ডিস্ট্রিবিউশনের বর্গমূলের সাথে একটি আদর্শ সাধারণ বিতরণের অনুপাত স্বাধীনতার একই ডিগ্রি সহ (যেমন ), যা বিতরণের বৈশিষ্ট্য । অতএব, পরিসংখ্যাত টি দিয়ে বন্টন স্বাধীন ডিগ্রীগুলির।

\begin{aligned} t_{k} = \frac{z_{k}}{\sqrt{V / (n - p)}} \end{aligned}

$\begin{align*} t_k = \frac{z_k}{\sqrt{V/(n-p)}} \end{align*}$

n - p

$n-p$

t

$t$ $t_k$ $t$ $n-p$

এরপরে এটি বীজগণিতভাবে আরও পরিচিত আকারে ম্যানিপুলেট করা যেতে পারে।

\begin{aligned} t_{k} & = \frac{\frac{{\hat{β}}_{k} - β_{k}}{\sqrt{σ^{2} S_{k k}}}}{\sqrt{\frac{(n - p) s^{2}}{σ^{2}} / (n - p)}} \\ = \frac{\frac{{\hat{β}}_{k} - β_{k}}{\sqrt{S_{k k}}}}{\sqrt{s^{2}}} = \frac{{\hat{β}}_{k} - β_{k}}{\sqrt{s^{2} S_{k k}}} \\ = \frac{{\hat{β}}_{k} - β_{k}}{se ({\hat{β}}_{k})} \end{aligned}

$\begin{align*} t_k &= \frac{\frac{\hat\beta_k -\beta_k}{\sqrt{\sigma^2 S_{kk}}}}{\sqrt{\frac{(n-p)s^2}{\sigma^2}/(n-p)}} \\ &= \frac{\frac{\hat\beta_k -\beta_k}{\sqrt{S_{kk}}}}{\sqrt{s^2}} = \frac{\hat\beta_k -\beta_k}{\sqrt{s^2 S_{kk}}} \\ &= \frac{\hat\beta_k -\beta_k}{\operatorname{se}\left(\hat\beta_k \right)} \end{align*}$

— ব্লু মার্কার
সূত্র

এছাড়াও একটি পার্শ্ব প্রশ্ন: জন্য Theorem for the Distribution of an Idempotent Quadratic Form in a Standard Normal Vector, আমরা প্রয়োজন হবে না প্রতিসম হওয়া যায়? দুর্ভাগ্যক্রমে, আমার গ্রীন নেই, তাই আমি প্রমাণটি দেখতে পাচ্ছি না যদিও আমি দেখেছি যে উইকিপিডিয়ায় আপনার মতো ফর্ম রয়েছে । তবে, একটি পাল্টা উদাহরণ হ'ল আদর্শবানী ম্যাট্রিক্স যা বাড়ে যা চি-স্কোয়ারের নয় কারণ এটি নেতিবাচক মান গ্রহণ করতে পারে। ..

A

$A$

A = (\begin{matrix} 1 & 1 \\ 0 & 0 \end{matrix})

$A=\begin{pmatrix}1&1\\0&0\end{pmatrix}$

x_{1}^{2} + x_{1} x_{2}

$x_1^2+x_1 x_2$

— গ্যারেট 9

@ গ্যারেট আমার ক্ষমাপ্রার্থী, দুটি প্রতিসম ও আদর্শবান হওয়া উচিত। এই নথিতে থিওরেম 3 হিসাবে একটি প্রমাণ সরবরাহ করা হয়েছে: www2.econ.iastate.edu/classes/econ671/hallam/documents/… ভাগ্যক্রমে, প্রতিসম পাশাপাশি তেমনি আদর্শবানও।

A

$A$

M

$M$

— ব্লু মার্কার 13

A

$A$ নিছক হয় একটি একটি দ্বিঘাত ফর্ম ম্যাট্রিক্স উপস্থাপনা। প্রতিটি দ্বিঘাত ফর্ম একটি প্রতিসম উপস্থাপনা আছে, তাই এর প্রতিসাম্য প্রয়োজন উপপাদ্য বিবৃতিতে অন্তর্নিহিত হয়। (লোকেরা চতুর্ভুজ ফর্ম উপস্থাপনের জন্য অসমমিত ম্যাট্রিক ব্যবহার করে না)) সুতরাং চতুর্ভুজ ফর্ম ম্যাট্রিক্স দ্বারা স্বতন্ত্রভাবে উপস্থাপিত হয় যা নয় ।

A

$A$

(x_{1}, x_{2}) \to x_{1}^{2} + x_{1} x_{2}

$(x_1,x_2)\to x_1^2+x_1x_2$

A = (\begin{matrix} 1 & 1 / 2 \\ 1 / 2 & 0 \end{matrix})

$A=\begin{pmatrix}1&1/2\\1/2&0\end{pmatrix}$

— হোবার

কেন পরোক্ষভাবে স্বাধীন ? সেখানে বেশিরভাগ অনুসরণ করছেন না।

ϵ \sim N (0, σ^{2})

$\epsilon\sim N(0,\sigma^2)$

\hat{β}

$\hat{\beta}$

\hat{ϵ}

$\hat{\epsilon}$

— গ্লাসাওয়েদ

@ গ্লাসজাওয়েড যেহেতু এবং are ওয়ারপসিলন both দু'টিই সাধারণত বিতরণ করা হয়, তারপরে নিরপেক্ষতা স্বতন্ত্রতা বোঝায়। এক্সপ্রেশন ব্যবহার এবং থেকে সর্বোপরি, আমরা দেখাতে পারি যে ।

\hat{β}

$\hat{\beta}$

\hat{ε}

$\hat{\varepsilon}$

\hat{β} = β + {(X^{⊤} X)}^{- 1} X^{⊤} ε

$\hat{\beta} = \beta + \left(X^{\top}X\right)^{-1}X^{\top}\varepsilon$

\hat{ε} = M ε

$\hat{\varepsilon} = M\varepsilon$

Cov (\hat{β}, \hat{ε}) = 0_{p \times n}

$\operatorname{Cov}\left(\hat{\beta}, \hat{\varepsilon}\right) = \mathbf{0}_{p\times n}$

— rzch

প্রমাণ যে কোনও ওএলএস মডেলের সহগগুলি স্বাধীনতার (এনকে) ডিগ্রি সহ টি-বিতরণ অনুসরণ করে

পটভূমি

প্রশ্ন

আমার চেষ্টা