কেন ট্রেস হয় অন্তত বর্গ রিগ্রেশনে প্যারামিটার ভেক্টর যখন পি মাত্রার হয়?

13

মডেলটিতে আমরা অনুমান করতে পারি the সাধারণ সমীকরণটি ব্যবহার করে： ${y} = X \beta + \epsilon$ $\beta$

\hat{β} = (X^{'} X)^{- 1} X^{'} y,

$\hat{\beta} = (X'X)^{-1}X'y,$ এবং আমরা could পেতে পারি

\hat{y} = X \hat{β} .

$\hat{y} = X \hat{\beta}.$

অবশিষ্টাংশের ভেক্টর দ্বারা অনুমান করা হয়

\hat{ϵ} = y - X \hat{β} = (I - X (X^{'} X)^{- 1} X^{'}) y = Q y = Q (X β + ϵ) = Q ϵ,

$\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon,$

যেখানে

Q = I - X (X^{'} X)^{- 1} X^{'} .

$Q = I - X (X'X)^{-1} X'.$

আমার প্রশ্নটি কীভাবে এর উপসংহার পাবেন

tr (Q) = n - p .

$\textrm{tr}(Q) = n - p.$

regression least-squares inference

— zhushun0008
সূত্র

12

উপসংহারটি কেবল ভেক্টর স্পেসগুলির মাত্রা গণনা করে। তবে এটি সাধারণত সত্য নয়।

ম্যাট্রিক্স গুণনের সর্বাধিক প্রাথমিক বৈশিষ্ট্যগুলি দেখায় যে ম্যাট্রিক্স সন্তুষ্টি দ্বারা প্রতিনিধিত্ব করা লিনিয়ার রূপান্তর $\mathbb{H}=X(X^\prime X)^{-}X^\prime$

H^{2} = {(X (X^{'} X)^{-} X^{'})}^{2} = X (X^{'} X)^{-} (X^{'} X) (X^{'} X)^{-} X^{'} = H,

$\mathbb{H}^2 = \left(X(X^\prime X)^{-}X^\prime\right)^2=X(X^\prime X)^{-}(X^\prime X)(X^\prime X)^{-}X^\prime=\mathbb{H},$

এটি একটি প্রজেকশন অপারেটর হিসাবে প্রদর্শিত হচ্ছে । অতএব এটির পরিপূরক

Q = 1 - H

$\mathbb{Q} = 1 - \mathbb{H}$

(প্রশ্নে দেওয়া হিসাবে) এছাড়াও একটি প্রজেকশন অপারেটর। এর ট্রেস তার র্যাঙ্ক হয় (নীচে দেখুন), কোথা থেকে এল ট্রেস সমান । $\mathbb{H}$ $h$ $\mathbb{Q}$ $n-h$

এর সূত্র থেকে এটি স্পষ্ট যে two হল দুটি লিনিয়ার রূপান্তর এবং নিজেই মিশ্রিত ম্যাট্রিক্স । প্রথম ( ) ভেক্টর কে ভেক্টর রূপান্তর করে । দ্বিতীয় ( ) হ'ল দ্বারা প্রদত্ত থেকে রূপান্তর । এর র‌্যাঙ্ক two দুটি মাত্রার চেয়ে কম অতিক্রম করতে পারে না, যা সর্বনিম্ন স্কোয়ার সেটিংয়ে সর্বদা (তবে চেয়ে কম হতে পারে $\mathbb{H}$

J = (X^{'} X)^{-} X^{'}

$\mathbb{J}=(X^\prime X)^{-}X^\prime$

X

$X$

J

$\mathbb{J}$

n

$n$

y

$y$

p

$p$

\hat{β}

$\hat\beta$

X

$X$

R^{p}

$\mathbb{R}^p$

R^{n}

$\mathbb{R}^n$

\hat{y} = X \hat{β}

$\hat y = X\hat \beta$

p

$p$

p

$p$ , যখনই full সম্পূর্ণ পদমর্যাদার নয়)। ফলস্বরূপ composition র কম্পোজিশনের র‌্যাঙ্ক এর র‌্যাঙ্ক অতিক্রম করতে পারে না । সঠিক উপসংহার , তারপর, হয়

J

$\mathbb{J}$

H = X J

$\mathbb{H}=X\mathbb{J}$

X

$X$

$\text{tr} (\mathbb{Q}) = n-p$ যদি এবং কেবলমাত্র যদি full পূর্ণ পদে থাকে; এবং সাধারণভাবে । পূর্ববর্তী ক্ষেত্রে মডেলটিকে "সনাক্তকরণযোগ্য" ( সহগের জন্য ) বলা হয়। $\mathbb{J}$ $n \ge \text{tr} (\mathbb{Q}) \ge n-p$ $\beta$

$\mathbb{J}$ full সম্পূর্ণ পদমর্যাদায় থাকবে এবং কেবল যদি হয়। $X^\prime X$

জ্যামিতিক ব্যাখ্যা

$\mathbb{H}$ থেকে লম্ব অভিক্ষেপ প্রতিনিধিত্ব করে -vectors স্থান কলাম দৃশ্যও সম্মুখের ( "প্রতিক্রিয়া" বা "নির্ভরশীল পরিবর্তনশীল" প্রতীক) ( "স্বাধীন ভেরিয়েবল" বা "covariates" প্রতিনিধিত্বমূলক)। পার্থক্য দেখায় কিভাবে কোন পচা -vector ভেক্টর একটি সমষ্টি মধ্যে যেখানে প্রথমটি থেকে "পূর্বাভাস" দেওয়া যেতে পারে এবং দ্বিতীয়টি এটি লম্ব হয়। যখন এর কলাম একটি উৎপন্ন -dimensional স্থান (যে সমরৈখিক হয় না), $n$ $y$ $X$ $\mathbb{Q}=1-\mathbb{H}$ $n$ $y$

y = H (y) + Q (y),

$y = \mathbb{H}(y) + \mathbb{Q}(y),$

X

$X$

p

$p$

X

$X$

p

$p$

H

$\mathbb{H}$ হয় এবং পদে হয় , অনুধ্যায়ী প্রতিক্রিয়া যে স্বাধীন ভেরিয়েবল মধ্যে প্রতিনিধিত্ব করা হয় না তারতম্য অতিরিক্ত মাত্রা। ট্রেস এই মাত্রাগুলির জন্য একটি বীজগণিত সূত্র দেয়।

p

$p$

Q

$\mathbb{Q}$

n - p

$n-p$

n - p

$n-p$

লিনিয়ার বীজগণিতের পটভূমি

একটি ভেক্টর স্থান ওপর অভিক্ষেপ অপারেটর (যেমন ) একটি রৈখিক রূপান্তর হয় (যে, একটি endomorphism এর ) যেমন যে । এটি পরিপূরক একটি প্রজেকশন অপারেটরও করে তোলে , কারণ $V$ $\mathbb{R}^n$ $\mathbb{P}:V\to V$ $V$ $\mathbb{P}^2=\mathbb{P}$ $\mathbb{Q}=1-\mathbb{P}$

Q^{2} = {(1 - P)}^{2} = 1 - 2 P + P^{2} = 1 - 2 P + P = Q .

$\mathbb{Q}^2 = \left(1 - \mathbb{P}\right)^2 = 1 - 2\mathbb{P} + \mathbb{P}^2 = 1-2\mathbb{P}+\mathbb{P} = \mathbb{Q}.$

সমস্ত অনুমানগুলি তাদের চিত্রগুলির প্রতিটি উপাদান ঠিক করে দেয়, কারণ যখনই আমরা কিছু , যেখানে জন্য লিখতে পারি $v\in \text{Im}(\mathbb{P})$ $v = \mathbb{P}(w)$ $w\in V$

w = P (v) = P^{2} (v) = P (P (v)) = P (w) .

$w = \mathbb{P}(v) = \mathbb{P}^2(v) = \mathbb{P}(\mathbb{P}(v)) = \mathbb{P}(w).$

কোনো endomorphism সাথে যুক্ত এর দুই subspaces আছেন: তার কার্নেল এবং এর চিত্র প্রতিটি ভেক্টর আকারে লেখা যেতে পারে যেখানে এবং । সুতরাং আমরা ভিত্তি গঠন করা হতে পারে জন্য যার জন্য এবং । যখন $\mathbb{P}$ $V$

ker (P) = {v \in v | P (v) = 0}

$\text{ker}(\mathbb{P}) = \{v\in v\,|\, \mathbb{P}(v)=0\}$

Im (P) = {v \in v | \exists_{w \in V} P (w) = v} .

$\text{Im}(\mathbb{P}) = \{v\in v\,|\, \exists_{w\in V} \mathbb{P}(w)=v\}.$

v \in V

$v\in V$

v = w + u

$v = w+u$

w \in Im (P)

$w\in \text{Im}(\mathbb{P})$

u \in Ker (P)

$u\in \text{Ker}(\mathbb{P})$

E \cup F

$E \cup F$

V

$V$

E \subset Ker (P)

$E \subset \text{Ker}(\mathbb{P})$

F \subset Im (P)

$F \subset \text{Im}(\mathbb{P})$

V

$V$ সীমাবদ্ধ মাত্রাযুক্ত, এই ভিত্তিতে the এর ম্যাট্রিক্স তাই ব্লক-তির্যক আকারে থাকবে, একটি ব্লক ( তে of এর ক্রিয়া অনুসারে ) সমস্ত জিরো এবং অন্যটি (এর সাথে সম্পর্কিত) কর্ম উপর ) এর সমান দ্বারা পরিচয় ম্যাট্রিক্স, যেখানে মাত্রা হয় । of এর ট্রেস হ'ল মানগুলির সমষ্টি এবং তাই অবশ্যই সমান হবে । এই সংখ্যাটি of এর র‌্যাঙ্ক : এর চিত্রের মাত্রা।

P

$\mathbb{P}$

P

$\mathbb{P}$

E

$E$

P

$\mathbb{P}$

F

$F$

f

$f$

f

$f$

F

$F$

f

$f$

P

$\mathbb{P}$

f \times 1 = f

$f\times 1 = f$

P

$\mathbb{P}$

এর ট্রেস এর ট্রেস সমান (থেকে সমান , মাত্রা ) বিয়োগ এর ট্রেস । $1-\mathbb{P}$ $1$ $n$ $V$ $\mathbb{P}$

এই ফলাফলগুলি সংক্ষেপে সংক্ষেপে বলা যেতে পারে যে কোনও প্রোজেকশনের ট্রেস তার র‌্যাঙ্কের সমান।

— whuber
সূত্র

অনেক ধন্যবাদ. আমি আপনার উত্তর থেকে অনেক বর্ধিত জ্ঞান শিখেছি।

— zhushun0008

19

@ ডৌগাল ইতিমধ্যে একটি উত্তর দিয়েছেন, তবে এখানে আরও একটি সহজ, কিছুটা সহজ।

প্রথমে, আসল সত্যটি ব্যবহার করুন যে । সুতরাং, আমরা পাই:এখন একটি পরিচয়ের ম্যাট্রিক্স, তাই । এখন আসুন সত্যটি ব্যবহার করুন যে , অর্থাৎ, ট্রেসটি চক্রীয় অনুক্রমের অধীনে অবিচ্ছিন্ন। সুতরাং, আমাদের কাছে রয়েছে:আমরা যখন সংখ্যাবৃদ্ধি সঙ্গে , আমরা একটি পেতে পরিচয় ম্যাট্রিক্স, যার ট্রেস হয় । সুতরাং, আমরা পাই: $\newcommand{\tr}{\mathrm{tr}}\tr(A - B) = \tr(A) - \tr(B)$

t r (Q) = t r (I) - t r (X (X^{'} X)^{- 1} X^{'}) .

$\tr(Q) = \tr(I) - \tr(X(X'X)^{-1}X').$

I

$I$

n \times n

$n \times n$

t r (I) = n

$\tr(I) = n$

t r (A B) = t r (B A)

$\tr(AB) = \tr(BA)$

t r (Q) = n - t r ((X^{'} X)^{- 1} (X^{'} X)) .

$\tr(Q) = n - \tr((X'X)^{-1}(X'X)).$

(X^{'} X)^{- 1}

$(X'X)^{-1}$

(X^{'} X)

$(X'X)$

p \times p

$p \times p$

p

$p$

t r (Q) = n - p .

$\tr(Q) = n - p.$

— উলফগ্যাং
সূত্র

6

$\newcommand\R{\mathbb R}$ অনুমান করুন যে এবং সেই পুরো-র‌্যাঙ্ক। $n \le p$ $X$

কম্প্যাক্ট একবচন মান পচানি বিবেচনা , যেখানে তির্যক এবং আছে (কিন্তু নোট সর্বাধিক র্যাঙ্ক হয় তাই এটা হতে পারে না )। তারপর $X = U \Sigma V^T$ $\Sigma \in \R^{p \times p}$ $U \in \R^{n \times p}, V \in \R^{p \times p}$ $U^T U = V^T V = V V^T = I_p$ $U U^T$ $p$ $I_n$

\begin{aligned} X (X^{T} X)^{- 1} X^{T} & = U Σ V^{T} (V Σ U^{T} U Σ V^{T})^{- 1} V Σ U^{T} \\ = U Σ V^{T} (V Σ^{2} V^{T})^{- 1} V Σ U^{T} \\ = U Σ V^{T} V Σ^{- 2} V^{T} V Σ U^{T} \\ = U U^{T} . \end{aligned}

$\begin{align} X (X^T X)^{-1} X^T &= U \Sigma V^T (V \Sigma U^T U \Sigma V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T (V \Sigma^2 V^T)^{-1} V \Sigma U^T \\&= U \Sigma V^T V \Sigma^{-2} V^T V \Sigma U^T \\&= U U^T .\end{align}$

এখন, একটি ম্যাট্রিক্স বিদ্যমান আছে যেমন একক। আমরা লিখতে পারি এই ফর্মটি অনুষ্ঠান ইতিবাচক semidefinite, এবং যেহেতু এটি একটি বৈধ svd এবং একবচন মূল্যবোধ, একটি বর্গক্ষেত্র প্রতিসম ম্যাট্রিক্স জন্য eigenvalues বর্গ এছাড়াও আমাদেরকে বলে যে eigenvalues 1 (সংখ্যাধিক্য রয়েছে ) এবং 0 (বহুগুণের ) $U_2 \in \R^{n \times n-p}$ $U_n = \begin{bmatrix}U & U_2\end{bmatrix}$

\begin{aligned} I - X (X^{T} X)^{- 1} X^{T} & = U_{n} U_{n}^{T} - U U^{T} \\ = U_{n} (I_{n} - [\begin{matrix} I_{p} & 0 \\ 0 & 0 \end{matrix}]) U_{n}^{T} \\ = U_{n} [\begin{matrix} 0 & 0 \\ 0 & I_{n - p} \end{matrix}] U_{n}^{T} . \end{aligned}

$\begin{align} I - X (X^T X)^{-1} X^T &= U_n U_n^T - U U^T \\&= U_n \left( I_n - \begin{bmatrix}I_p & 0 \\ 0 & 0\end{bmatrix} \right) U_n^T \\&= U_n \begin{bmatrix}0 & 0 \\ 0 & I_{n-p}\end{bmatrix} U_n^T .\end{align}$

Q

$Q$

Q

$Q$

n - p

$n-p$

p

$p$

Q

$Q$

n - p

$n-p$ ।

— Dougal
সূত্র