ঠিক কোন অবস্থার অধীনে রিজ রিগ্রেশন সাধারণ ন্যূনতম স্কোয়ার রিগ্রেশনটির চেয়ে উন্নতি করতে সক্ষম?

রিজ রিগ্রেশন অনুমান পরামিতি $\boldsymbol \beta$ একটি রৈখিক মডেল $\mathbf y = \mathbf X \boldsymbol \beta$ দ্বারা যেখানে একটি নিয়মিতকরণ প্যারামিটার। এটি সুপরিচিত যে অনেকগুলি পরস্পর সম্পর্কিত ভবিষ্যদ্বাণীকারী থাকাকালীন এটি প্রায়শই ওএলএস রিগ্রেশন ( ) এর চেয়ে ভাল সম্পাদন করে ।

{\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y,

$\hat{\boldsymbol \beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y,$

λ

$\lambda$

λ = 0

$\lambda=0$

রিজ রিগ্রেশন সম্পর্কিত একটি অস্তিত্বের উপপাদ্য বলে যে এখানে সর্বদা একটি প্যারামিটার থাকে অর্থ লাম্বদা ওএলএসের গড়-স্কোয়ার-ত্রুটির চেয়ে কঠোরভাবে ছোট অনুমান । অন্য কথায়, একটি অনুকূল মান সর্বদা শূন্য নয় is এটি স্পষ্টতই হোরেল এবং কেনার্ড, ১৯ 1970০ সালে প্রমাণিত হয়েছিল এবং আমি অনলাইনে পাওয়া অনেকগুলি বক্তৃতা নোটে পুনরাবৃত্তি করি (যেমন এখানে এবং এখানে )। আমার প্রশ্ন এই উপপাদকের অনুমান সম্পর্কে: $\lambda^* > 0$ $\hat{\boldsymbol \beta}_\lambda$ $\hat{\boldsymbol \beta}_\mathrm{OLS}=\hat{\boldsymbol \beta}_0$ $\lambda$

কোভেরিয়েন্স ম্যাট্রিক্স সম্পর্কে কোনও অনুমান আছে ? $\mathbf X^\top \mathbf X$
মাত্রিকতা সম্পর্কে কোনও অনুমান আছে ? $\mathbf X$

বিশেষত, ভবিষ্যদ্বাণীকারীরা অর্থোথোনাল হলে (যেমন তির্যক), বা এমনকি যদি হয় তবে কি উপপাদ্যটি এখনও সত্য ? এবং এখনও কি সত্য যদি সেখানে কেবল এক বা দুটি ভবিষ্যদ্বাণী থাকে (বলুন, একজন ভবিষ্যদ্বাণীকারী এবং একটি ইন্টারসেপ্ট)? $\mathbf X^\top \mathbf X$ $\mathbf X^\top \mathbf X=\mathbf I$

যদি উপপাদ্য এইরকম কোনও অনুমান না করে এবং এই ক্ষেত্রেও সত্য থেকে যায় তবে সাধারণভাবে কেবল সম্পর্কিত সম্পর্কিত ভবিষ্যদ্বাণীকারীদের ক্ষেত্রে কেন রিজ রিগ্রেশনটি সুপারিশ করা হয়, এবং কখনই (?) সরল (যেমন একাধিক নয়) রিগ্রেশন দেওয়ার জন্য সুপারিশ করা হয়?

এটি সঙ্কুচিত বিষয়ে ইউনিফাইড দৃষ্টিভঙ্গি সম্পর্কে আমার প্রশ্নের সাথে সম্পর্কিত : স্টেইনের প্যারাডক্স, রিজ রিগ্রেশন এবং মিশ্র মডেলগুলিতে এলোমেলো প্রভাবের মধ্যে কী সম্পর্ক (যদি থাকে)? , তবে এখন পর্যন্ত কোনও উত্তরই এই পয়েন্টটি স্পষ্ট করে না।

regression ridge-regression shrinkage

— অ্যামিবা বলছেন মনিকাকে রিইনস্টেট করুন
সূত্র

এটি হরল ও কেনার্ডের কাগজে বিশেষত পরিচিতির প্রথম বাক্য এবং উপসংহারের প্রথম বাক্যে সরাসরি প্রশ্ন করা ছাড়াও এটি প্রদর্শিত হয়। শেষ প্রশ্ন একটি ধ্রুবক ভেক্টর এবং কোন একক predictor মধ্যে সহভেদাংক লক্ষ উত্তর করা যেতে পারে সবসময় শূন্য যা (একটি আদর্শ উপায় নেই) এক পারবেন কমাতে হয়,

করার জন্য একটি

ম্যাট্রিক্স।

X^{'} X

$\mathbf{X^\prime X}$

1 \times 1

$1\times 1$

— whuber

ধন্যবাদ, @ শুভ আমি বিশ্বাস করি যে হোরেল এবং কেনার্ড কাগজটি আমার প্রশ্নের উত্তর দেয় (কমপক্ষে প্রযুক্তিগত বিষয়গুলি) - একজনকে প্রমাণ অনুসরণ করতে হবে এবং অনুমানগুলি পরীক্ষা করতে সক্ষম হওয়া উচিত (আমি এটি এখনও করি নি)। আপনি যে বাক্যগুলি উল্লেখ করছেন তাতে আমি পুরোপুরি নিশ্চিত নই। ইন্ট্রোর প্রথম বাক্যটি আমার প্রশ্নের সাথে কীভাবে সম্পর্কিত? উপসংহারের প্রথম বাক্যটি সূচিত করে যে যদি

এর অভিন্ন বর্ণালী থাকে (উদাহরণস্বরূপ

সমান ) তবে তত্ত্বটি প্রয়োগ হয় না। তবে আমি ১০০% নিশ্চিত নই, কারণ প্রমাণের আগে এই ধারণাটি স্পষ্টভাবে বলা হয়নি see

X^{⊤} X

$\mathbf X^\top \mathbf X$

I

$\mathbf I$

— অ্যামিবা বলেছেন মোনিকা

উচ্চ প্রতিনিধি ব্যবহারকারীরা কী ধরণের প্রশ্ন জিজ্ঞাসা করতে পারেন তা দেখুন (যারা সাধারণত তাদের উত্তর দেয়) (এবং একইভাবে আপনার অন্যান্য লিঙ্কযুক্ত প্রশ্নের জন্য যা আমাকে এখানে পাঠিয়েছে stats.stackexchange.com/questions/122062/… !

— জাভাদবা

1 এবং 2 উভয়ের উত্তর নেই, তবে অস্তিত্বের উপপাদ্যের ব্যাখ্যায় যত্ন নেওয়া দরকার।

রিজ এসটিমেটরের ভেরিয়েন্স

যাক শাস্তির অধীনে শৈলশিরা অনুমান হতে , এবং দিন মডেল জন্য সত্য প্যারামিটার হতে । যাক এর eigenvalues হতে । হোয়ারেল এবং কেনার্ড সমীকরণ থেকে ৪.২-৪.৫, ঝুঁকিটি ( ত্রুটির প্রত্যাশিত আদর্শের নিরিখে ) $\hat{\beta^*}$ $k$ $\beta$ $Y = X \beta + \epsilon$ $\lambda_1, \dotsc, \lambda_p$ $X^T X$
$L^2$

যেখানে আমি যতদূর বলতে পারি, তারা মন্তব্য করেঅভ্যন্তরীণ পণ্যের ভ্যারিয়েন্স ব্যাখ্যার হয়েছে, যখন

\begin{aligned} E ({[\hat{β^{*}} - β]}^{T} [\hat{β^{*}} - β]) & = σ^{2} \sum_{j = 1}^{p} λ_{j} / {(λ_{j} + k)}^{2} + k^{2} β^{T} {(X^{T} X + k I_{p})}^{- 2} β \\ = γ_{1} (k) + γ_{2} (k) \\ = R (k) \end{aligned}

$\begin{align*} E \left( \left[ \hat{\beta^*} - \beta \right]^T \left[ \hat{\beta^*} - \beta \right] \right)& = \sigma^2 \sum_{j=1}^p \lambda_j/ \left( \lambda_j +k \right)^2 + k^2 \beta^T \left( X^T X + k \mathbf{I}_p \right)^{-2} \beta \\ & = \gamma_1 (k) + \gamma_2(k) \\ & = R(k) \end{align*}$

{(X^{T} X + k I_{p})}^{- 2} = {(X^{T} X + k I_{p})}^{- 1} {(X^{T} X + k I_{p})}^{- 1} .

$\left( X^T X + k \mathbf{I}_p \right)^{-2} = \left( X^T X + k \mathbf{I}_p \right)^{-1} \left( X^T X + k \mathbf{I}_p \right)^{-1}.$

γ_{1}

$\gamma_1$

\hat{β^{*}} - β

$\hat{\beta^*} - \beta$

γ_{2}

$\gamma_2$ পক্ষপাতের অভ্যন্তরীণ পণ্য।

ধরুন , তারপরে $X^T X = \mathbf{I}_p$ যাক

আর (ট) = \frac{পি σ^{2} + + ট^{2} β^{টি} β}{(1 + + ট)^{2}} ।

$R(k) = \frac{p \sigma^2 + k^2 \beta^T \beta}{(1+k)^2}.$

হ'ল ঝুঁকির ডাইরেক্টিভ হবে ডাব্লু / আর / টি

। যেহেতু

, আমরা উপসংহারে পৌঁছেছি যে কিছু

মতো রয়েছে

।

{আর}^{'} (ট) = 2 \frac{ট (1 + + ট) β^{টি} β - (পি σ^{2} + + ট^{2} β^{টি} β)}{(1 + + ট)^{3}}

$R^\prime (k) = 2\frac{k(1+k)\beta^T \beta - (p\sigma^2 + k^2 \beta^T \beta)}{(1+k)^3}$

k

$k$

lim_{k \to 0^{+}} R^{'} (k) = - 2 p σ^{2} < 0

$\lim_{k \rightarrow 0^+} R^\prime (k) = -2p \sigma^2 < 0$

k^{*} > 0

$k^*>0$

R (k^{*}) < R (0)

$R(k^*)<R(0)$

$k=0$ $X^T X$ $\lim_{k \rightarrow 0^+} R^\prime (k)$ $- \infty$

রিজ রিগ্রেশন সাধারণত পারস্পরিক সম্পর্কযুক্ত ভবিষ্যদ্বাণীকের ক্ষেত্রে কেন সুপারিশ করা হয়?

$\beta ^T \beta$ $X^T X$ $\beta$ $E Y$ $X$ সন্দেহজনক - বৃহত covariance ম্যাট্রিক্স এটি এর একটি লক্ষণ।

তবে যদি আপনার লক্ষ্যটি সম্পূর্ণরূপে ভবিষ্যদ্বাণী করা হয়, তবে অনুমানমূলক উদ্বেগ আর ধরে রাখে না এবং একরকম সঙ্কুচিত অনুমানক ব্যবহারের জন্য আপনার দৃ a় যুক্তি রয়েছে।

— অ্যান্ড্রু এম
সূত্র

β

$\beta$

k

$k$

k

$k$

k = 0

$k=0$

X^{'} X

$X^\prime X$

\hat{β^{*}} = Z \hat{β}

$\hat{\beta^*} = Z \hat{\beta}$

\hat{β}

$\hat{\beta}$

Z = {((X^{T} X)^{- 1} + k I_{p})}^{- 1}

$Z = \left( (X^TX)^{-1} + k I_p \right)^{-1}$

X^{T} X

$X^TX$

k

$k$

\hat{β^{*}} \approx 0

$\hat{\beta^*} \approx 0$

β^{T} β

$\beta^T \beta$

λ

$\lambda$