এলইউসিভি সূত্রের প্রমাণ

থেকে পরিসংখ্যানগত শেখার ভূমিকা জেমস এট আল।, ছুটি এক-আউট ক্রস বৈধতা (LOOCV) অনুমান দ্বারা সংজ্ঞায়িত করা হয় যেখানে ।

{CV}_{(n)} = \frac{1}{n} \sum_{i = 1}^{n} {MSE}_{i}

$\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\text{MSE}_i$

{MSE}_{i} = (y_{i} - {\hat{y}}_{i})^{2}

$\text{MSE}_i = (y_i-\hat{y}_i)^2$

প্রমাণ ছাড়াই সমীকরণ (৫.২) বলেছে যে সর্বনিম্ন-স্কোয়ার বা বহুবর্ষীয় রিগ্রেশন (এটি কেবলমাত্র একটি ভেরিয়েবলের ক্ষেত্রে রিগ্রেশন প্রযোজ্য কিনা তা আমার কাছে অজানা), যেখানে " হয় মূল লিস্ট স্কোয়ার থেকে তম লাগানো মান (মাপসই কি কোন ধারণা এই মানে, প্রণালী দ্বারা , এটা ব্যবহার করা থেকে অর্থ কি সব ডেটা সেট? বিন্দুর) এবং লিভারেজ "যা দ্বারা সংজ্ঞায়িত করা হয়

{CV}_{(n)} = \frac{1}{n} \sum_{i = 1}^{n} {(\frac{y_{i} - {\hat{y}}_{i}}{1 - h_{i}})}^{2}

$\text{CV}_{(n)} = \dfrac{1}{n}\sum\limits_{i=1}^{n}\left(\dfrac{y_i - \hat{y}_i}{1-h_i}\right)^2$

{\hat{y}}_{i}

$\hat{y}_i$

i

$i$

h_{i}

$h_i$

h_{i} = \frac{1}{n} + \frac{(x_{i} - \bar{x})^{2}}{\sum_{j = 1}^{n} (x_{j} - \bar{x})^{2}} .

$h_i = \dfrac{1}{n}+\dfrac{(x_i - \bar{x})^2}{\sum\limits_{j=1}^{n}(x_j - \bar{x})^2}\text{.}$

এটি কীভাবে প্রমাণিত হয়?

আমার প্রয়াস: one

{\hat{y}}_{i} = β_{0} + \sum_{i = 1}^{k} β_{k} X_{k} + some polynomial terms of degree \geq 2

$\hat{y}_i = \beta_0 + \sum\limits_{i=1}^{k}\beta_k X_k + \text{some polynomial terms of degree }\geq 2$ চেয়ে শুরু করে কেউ শুরু করতে পারে এ থেকে (এবং যদি আমি মনে করি,

জন্য যে সূত্রটি

h_{i}

$h_i$ কেবল সাধারণ লিনিয়ার রিগ্রেশন ...) এর পক্ষে সত্য, আমি কীভাবে এখান থেকে এগিয়ে যাব তা নিশ্চিত নই।

— Clarinetist
সূত্র

হয় আপনার সমীকরণগুলি একাধিক জিনিসের জন্য

ব্যবহার করে বলে মনে হচ্ছে

i

$i$ বা আমি অত্যন্ত বিভ্রান্ত। যে কোনও উপায়ে অতিরিক্ত পরিষ্কারতা ভাল হবে।

— গ্লেন_বি -রিনস্টেট মনিকা

@ Glen_b আমি গতকালই কেবল LOOCV সম্পর্কে শিখেছি, তাই আমি কিছু জিনিস সঠিকভাবে বুঝতে পারি না। থেকে কি আমি বুঝতে, আপনি ডাটা পয়েন্টের একটি সেট আছে, বলতে

X = {(x_{i}, y_{i}) : i \in Z^{+}}

$\mathcal{X} = \{(x_i, y_i): i \in \mathbb{Z}^+\}$ । এলইউসিভি সহ আপনার প্রতিটি স্থির (ধনাত্মক পূর্ণসংখ্যার)

k

$k$ কিছু বৈধতা সেট রয়েছে

V_{k} = {(x_{k}, y_{k})}

$\mathcal{V}_k = \{(x_k, y_k)\}$ এবং একটি পরীক্ষা সেট

T_{k} = X ∖ V_{k}

$\mathcal{T}_k = \mathcal{X}\setminus \mathcal{V}_k$ প্রতিটি

জন্য লাগানো মডেল তৈরি করতে ব্যবহৃত হয়

k

$k$ । সুতরাং উদাহরণস্বরূপ, আমরা তিনটি ডাটা পয়েন্টের সঙ্গে সহজ রৈখিক রিগ্রেশনের ব্যবহার করে আমাদের মডেল মাপসই বলছি,

X = {(0, 1), (1, 2), (2, 3)}

$\mathcal{X} = \{(0, 1), (1, 2), (2,3)\}$ । আমাদের থাকতে হবে (চালিয়ে যেতে হবে)

— ক্লারিনেটিস্ট

@Glen_b এবং । এ পয়েন্টগুলি ব্যবহার করে আমরা দেখতে পাচ্ছি যে একটি সাধারণ লিনিয়ার রিগ্রেশন ব্যবহার করে আমরা the মডেলটি পাই । তারপরে আমরা বৈধতা সেট হিসাবে ব্যবহার করে গণনা করি এবং (কেবলমাত্র দেওয়া বিন্দুটি ব্যবহার করে) এবং , । ঠিক আছে, সুপারস্ক্রিপ্ট ব্যবহার করা সেরা ধারণা ছিল না - আমি এটি আসল পোস্টে পরিবর্তন করব।

V_{1} = {(0, 1)}

$\mathcal{V}_1 = \{(0, 1)\}$

T_{1} = {(1, 2), (2, 3)}

$\mathcal{T}_1 = \{(1, 2), (2, 3)\}$

T_{1}

$\mathcal{T}_1$

{\hat{y}}_{i} = X + 1

$\hat{y}_i = X + 1$

MSE

$\text{MSE}$

V_{1}

$\mathcal{V}_1$

y_{1} = 1

$y_1 = 1$

{\hat{y}}_{1}^{(1)} = 0 + 1 = 1

$\hat{y}_1^{(1)} = 0 + 1 = 1$

{MSE}_{1} = 0

$\text{MSE}_1 = 0$

— ক্লারিনেটিস্ট

ডেরিভেশন পৃষ্ঠাগুলিতে

— জাভিয়ের

আমি যে কোনও একাধিক লিনিয়ার রিগ্রেশন-এর ফলাফল দেখাব, এর বহুপদী কিনা বা না। প্রকৃতপক্ষে, এটি আপনি যা চেয়েছিলেন তার চেয়ে একটু বেশি দেখায়, কারণ এটি দেখায় যে প্রতিটি এলইউসিভি রেসিডুয়াল সম্পূর্ণ রিগ্রেশন থেকে সম্পর্কিত লিভারেজ-ওজনযুক্ত অবশিষ্টাংশের সাথে সমান, কেবলমাত্র আপনি এটি (5.2) হিসাবে এলইউসিভি ত্রুটি প্রাপ্ত করতে পারবেন না (সেখানে রয়েছে) গড়পড়তা প্রতিটি পদ একরকম না হলেও, গড়গুলি সম্মত হয় এমন অন্যান্য উপায়েও হতে পারে)। $X_t$

আমাকে সামান্য অভিযোজিত স্বরলিপি ব্যবহার করার জন্য স্বাধীনতা নিতে দিন।

আমরা প্রথম দেখান যে যেখানে সমস্ত ডেটা এবং is ব্যবহার করে অনুমান করা হয় সময় অনুমান , পর্যবেক্ষণ । কে একটি সারি ভেক্টর হিসাবে সংজ্ঞায়িত করা যাক যে । এর অবশিষ্টাংশ।

\begin{aligned} \hat{β} - {\hat{β}}_{(টি)} & = (\frac{{\hat{তোমার দর্শন লগ করা}}_{টি}}{1 - জ_{টি}}) ({এক্স}^{'} এক্স)^{- 1} {এক্স}_{টি}^{'}, (ক) \end{aligned}

$\begin{align*} \hat\beta-\hat\beta_{(t)}&=\left(\frac{\hat u_t}{1-h_t}\right)(X'X)^{-1}X_t', \quad\quad \textrm{(A)} \end{align*}$

\hat{β}

$\hat\beta$

{\hat{β}}_{(t)}

$\hat\beta_{(t)}$

X_{(t)}

$X_{(t)}$

t

$t$

X_{t}

$X_t$

{\hat{y}}_{t} = X_{t} \hat{β}

$\hat y_t=X_t\hat\beta$

{\hat{u}}_{t}

$\hat u_t$

প্রমাণটি নিম্নলিখিত ম্যাট্রিক্স বীজগণিত ফলাফল ব্যবহার করে।

যাক , একটি nonsingular ম্যাট্রিক্স হতে একটি ভেক্টর এবং স্কেলের। যদি তারপরে $A$ $b$ $\lambda$

\begin{aligned} λ & \neq - \frac{1}{খ^{'} {একজন}^{- 1} খ} \end{aligned}

$\begin{align*} \lambda&\neq -\frac{1}{b'A^{-1}b} \end{align*}$

\begin{aligned} (একজন + + λ খ খ^{'})^{- 1} & = {একজন}^{- 1} - (\frac{λ}{1 + + λ খ^{'} {একজন}^{- 1} খ}) {একজন}^{- 1} খ খ^{'} {একজন}^{- 1} (বি) \end{aligned}

$\begin{align*} (A+\lambda bb')^{-1}&=A^{-1}-\left(\frac{\lambda}{1+\lambda b'A^{-1}b}\right)A^{-1}bb'A^{-1}\quad\quad \textrm{(B) }\end{align*}$

(বি) এর প্রমাণটি immediately যাচাই করা থেকে অবিলম্বে অনুসরণ করে

\begin{aligned} {{একজন}^{- 1} - (\frac{λ}{1 + + λ খ^{'} {একজন}^{- 1} খ}) {একজন}^{- 1} খ খ^{'} {একজন}^{- 1}} (একজন + + λ খ খ^{'}) = আমি । \end{aligned}

$\begin{align*} \left\{A^{-1}-\left(\frac{\lambda}{1+\lambda b'A^{-1}b}\right)A^{-1}bb'A^{-1}\right\}(A+\lambda bb')=I. \end{align*}$

নিম্নলিখিত ফলাফল প্রমাণ করতে সহায়ক (এ)

\begin{aligned} ({এক্স}_{(টি)}^{'} {এক্স}_{(টি)})^{- 1} {এক্স}_{টি}^{'} = (\frac{1}{1 - জ_{টি}}) ({এক্স}^{'} এক্স)^{- 1} {এক্স}_{টি}^{'} । (গ) \end{aligned}

$\begin{align} (X_{(t)}'X_{(t)})^{-1}X_t'=\left(\frac{1}{1-h_t}\right)(X'X)^{-1}X_t'.\quad\quad \textrm{ (C)} \end{align}$

(সি) এর প্রমাণ: (বি) দ্বারা, আমাদের রয়েছে , সুতরাং আমরা খুঁজে পাই $\sum_{t=1}^TX_t'X_t=X'X$

\begin{aligned} ({এক্স}_{(টি)}^{'} {এক্স}_{(টি)})^{- 1} & = ({এক্স}^{'} এক্স - {এক্স}_{টি}^{'} {এক্স}_{টি})^{- 1} \\ = ({এক্স}^{'} এক্স)^{- 1} + + \frac{({এক্স}^{'} এক্স)^{- 1} {এক্স}_{টি}^{'} {এক্স}_{টি} ({এক্স}^{'} এক্স)^{- 1}}{1 - {এক্স}_{টি} ({এক্স}^{'} এক্স)^{- 1} {এক্স}_{টি}^{'}} । \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)})^{-1}&=(X'X-X_t'X_t)^{-1}\\ &=(X'X)^{-1}+\frac{(X'X)^{-1}X_t'X_t(X'X)^{-1}}{1-X_t(X'X)^{-1}X_t'}. \end{align*}$

\begin{aligned} ({এক্স}_{(টি)}^{'} {এক্স}_{(টি)})^{- 1} {এক্স}_{টি}^{'} & = ({এক্স}^{'} এক্স)^{- 1} {এক্স}_{টি}^{'} + + ({এক্স}^{'} এক্স)^{- 1} {এক্স}_{টি}^{'} (\frac{{এক্স}_{টি} ({এক্স}^{'} এক্স)^{- 1} {এক্স}_{টি}^{'}}{1 - {এক্স}_{টি} ({এক্স}^{'} এক্স)^{- 1} {এক্স}_{টি}^{'}}) \\ = (\frac{1}{1 - জ_{টি}}) ({এক্স}^{'} এক্স)^{- 1} {এক্স}_{টি}^{'} । \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)})^{-1}X_t'&=(X'X)^{-1}X_t'+(X'X)^{-1}X_t'\left(\frac{X_t(X'X)^{-1}X_t'}{1-X_t(X'X)^{-1}X_t'}\right)\\ &=\left(\frac{1}{1-h_t}\right)(X'X)^{-1}X_t'. \end{align*}$

(এ) এর প্রমাণটি এখন (সি) থেকে অনুসরণ করে: যেমন আমাদের বা সুতরাং, যেখানে শেষ সমতাটি (সি) থেকে অনুসরণ করে।

\begin{aligned} {এক্স}^{'} এক্স \hat{β} & = {এক্স}^{'} Y, \end{aligned}

$\begin{align*} X'X\hat\beta&=X'y, \end{align*}$

\begin{aligned} ({এক্স}_{(টি)}^{'} {এক্স}_{(টি)} + + {এক্স}_{টি}^{'} {এক্স}_{টি}) \hat{β} & = {এক্স}_{(টি)}^{'} Y_{(টি)} + + {এক্স}_{টি}^{'} Y_{টি}, \end{aligned}

$\begin{align*} (X_{(t)}'X_{(t)}+X_t'X_t)\hat\beta &=X_{(t)}'y_{(t)}+X_t' y_t, \end{align*}$

\begin{aligned} {{আমি}_{ট} + + ({এক্স}_{(টি)}^{'} {এক্স}_{(টি)})^{- 1} {এক্স}_{টি}^{'} {এক্স}_{টি}} \hat{β} & = {\hat{β}}_{(টি)} + + ({এক্স}_{(টি)}^{'} {এক্স}_{(টি)})^{- 1} {এক্স}_{টি}^{'} ({এক্স}_{টি} \hat{β} + + {\hat{তোমার দর্শন লগ করা}}_{টি}) । \end{aligned}

$\begin{align*} \left\{I_k+(X_{(t)}'X_{(t)})^{-1}X_t'X_t\right\}\hat\beta&=\hat\beta_{(t)}+(X_{(t)}'X_{(t)})^{-1}X_t'(X_t\hat\beta+\hat u_t). \end{align*}$

\begin{aligned} \hat{β} & = {\hat{β}}_{(টি)} + + ({এক্স}_{(টি)}^{'} {এক্স}_{(টি)})^{- 1} {এক্স}_{টি}^{'} {\hat{তোমার দর্শন লগ করা}}_{টি} \\ = {\hat{β}}_{(টি)} + + ({এক্স}^{'} এক্স)^{- 1} {এক্স}_{টি}^{'} \frac{{\hat{তোমার দর্শন লগ করা}}_{টি}}{1 - জ_{টি}}, \end{aligned}

$\begin{align*} \hat\beta&=\hat\beta_{(t)}+(X_{(t)}'X_{(t)})^{-1}X_t'\hat u_t\\ &=\hat\beta_{(t)}+(X'X)^{-1}X_t'\frac{\hat u_t}{1-h_t}, \end{align*}$

এখন, নোট করুন । গুন (ক) করে দিয়ে , অ্যাড পেতে উভয় পক্ষের এবং পুনরায় সাজান উপর, সঙ্গে অবশিষ্টাংশ ব্যবহার থেকে ফলে ( ), বা $h_t=X_t(X'X)^{-1}X_t'$ $X_t$ $y_t$ $\hat u_{(t)}$ $\hat\beta_{(t)}$ $y_t-X_t\hat\beta_{(t)}$

{\hat{তোমার দর্শন লগ করা}}_{(টি)} = {\hat{তোমার দর্শন লগ করা}}_{টি} + + (\frac{{\hat{তোমার দর্শন লগ করা}}_{টি}}{1 - জ_{টি}}) জ_{টি}

$\hat u_{(t)}=\hat u_t+\left(\frac{\hat u_t}{1-h_t}\right)h_t$

{\hat{তোমার দর্শন লগ করা}}_{(টি)} = \frac{{\hat{তোমার দর্শন লগ করা}}_{টি} (1 - জ_{টি}) + + {\hat{তোমার দর্শন লগ করা}}_{টি} জ_{টি}}{1 - জ_{টি}} = \frac{{\hat{তোমার দর্শন লগ করা}}_{টি}}{1 - জ_{টি}}

$\hat u_{(t)}=\frac{\hat u_t(1-h_t)+\hat u_th_t}{1-h_t}=\frac{\hat u_t}{1-h_t}$

— ক্রিস্টোফ হ্যাঙ্ক
সূত্র

এর সংজ্ঞা আপনার উত্তরটিতে অনুপস্থিত। আমি ধরে নিলাম এটি একটি ম্যাট্রিক্স যা সারিতে সরিয়েছে।

X_{(t)}

$X_{(t)}$

X

$X$

X_{t}

$X_t$

— এমপিটিকাস

এছাড়াও সহায়ক হবে

X^{'} X = \sum_{t = 1}^{T} X_{t}^{'} X_{t}

$X'X=\sum_{t=1}^T X_t'X_t$

— এমপিটিকাস

@ এমপিক্টাস, হ্যাঁ, পয়েন্টারগুলির জন্য ধন্যবাদ। আমি প্রথম মন্তব্যটি আমলে নেওয়ার জন্য সম্পাদনা করেছি। দ্বিতীয়টি ঠিক কোথায় সাহায্য করবে? নাকি শুধু আপনার মন্তব্যে রেখে দেবেন?

— ক্রিস্টোফ হ্যাঙ্ক

আপনি যখন প্রমাণ (গ) আপনি লিখতে শুরু । এটি একটি দুর্দান্ত কৌশল, তবে আমি সন্দেহ করি যে নৈমিত্তিক পাঠক এটি সম্পর্কে অবগত আছেন।

(X_{(t)}^{'} X_{(t)})^{- 1} = (X^{'} X - X_{t}^{'} X_{t})^{- 1}

$(X_{(t)}'X_{(t)})^{-1}=(X'X-X_t'X_t)^{-1}$

— এমপিক্টাস

দুই বছর পরে ... আমি এই উত্তরটির আরও প্রশংসা করি, এখন আমি স্নাতক-স্তরের লিনিয়ার মডেলগুলির ক্রমটি পেরিয়েছি। আমি এই নতুন দৃষ্টিভঙ্গি দিয়ে এই উপাদানটি পুনরায় শিখছি। আপনার কি কোনও প্রস্তাবিত রেফারেন্স (পাঠ্যপুস্তক?) রয়েছে যা বিশদে এই উত্তরে আপনার মতামত রয়েছে?

— Clarinetist