রিজ রিগ্রেশন এবং পিসিএ রিগ্রেশন মধ্যে সম্পর্ক

আমি (সঙ্গে শৈলশিরা রিগ্রেশন মধ্যে একটি সংযোগ ওয়েবে পঠিত কোথাও থাকার স্মরণ এবং পিসিএ রিগ্রেশন নিয়মিতকরণ): ব্যবহার করার সময় hyperparameter সঙ্গে -regularized রিগ্রেশন , যদি $\ell_2$ $\ell_2$ $\lambda$ , তারপর রিগ্রেশন সঙ্গে পিসি পরিবর্তনশীল সরানোর সমতূল্য সবচেয়ে ছোট এগেনুয়ালু। $\lambda \to 0$

এটা সত্য কেন?
অপ্টিমাইজেশন প্রক্রিয়াটির সাথে এর কোনও যোগসূত্র আছে কি? উদাসীনভাবে, আমি এটি ওএলএসের সমতুল্য হয়ে উঠবে বলে আশা করতাম।
কারও কি এর রেফারেন্স আছে?

— জোস জি
সূত্র

আপনার বিবৃতিতে পিসিএ এবং রিগ্রেশন কীভাবে সংযুক্ত রয়েছে তা আপনি আরও স্পষ্টভাবে ব্যাখ্যা করতে পারেন? রিগ্রেশন স্বতন্ত্র ভেরিয়েবল থেকে নির্ভরশীল পৃথক করে, যেখানে পিসিএতে বাছাইয়ের কিছুই হয় না। সুতরাং আপনি কোন পরিবর্তনশীল পিসিএ প্রয়োগ করছেন? এটি কেবল স্বতন্ত্র ভেরিয়েবল হতে পারে না, কারণ এতে রিগ্রেশনটির সাথে খুব একটা সম্পর্ক নেই। তবে এটি যদি সমস্ত ভেরিয়েবলের ক্ষেত্রে প্রয়োগ করা হয়, তবে ইগেনভেেক্টরগুলি সেগুলির সকলের লিনিয়ার সংমিশ্রণ। এটি নির্ভরশীল ভেরিয়েবলের সাথে জড়িত থাকার কারণে এটি ডেটাসেট থেকে এই জাতীয় কোনও উপাদান অপসারণ করার কী অর্থ হতে পারে ?

— হোবার

সংযোগটি (যেমন আমি বুঝতে পেরেছি), এটি হ'ল আপনি যদি খুব খুব ছোট নিয়মিতকরণ জরিমানা ব্যবহার করেন তবে একটি এল 2-নিয়মিত রিগ্রেশনটি সেই ভেরিয়েবলটিকে সরিয়ে ফেলবে যা সবচেয়ে ছোট এগেনুয়ালুয় রয়েছে। অতএব, ডিজাইনের ম্যাট্রিক্সে এসভিডি করা এবং ক্ষুদ্রতম এগেনুয়ালুয়ের সাথে পরিবর্তনশীল অপসারণ করা "নরম" নিয়মিতকরণ জরিমানা সহ একটি রিগ্রেশনের সমতুল্য ... এটি আমার নিকটতম ব্যাখ্যা যা আমি খুঁজে পেয়েছি: সাইট.stat.psu। ইডু / ~ জিয়ালি / কোর্স / স্টেট597 ই / নোটস 2 / লরেগ.পিডিএফ

— জোসে জি

আপনার উল্লেখ আপনি আপনার মন্তব্য কি বলছে বিপরীত প্রকট হচ্ছে: ছোট জন্য

, সেখানে ফলাফলে খুব সামান্য পরিবর্তন। কিছুই কিছু সরানো হয় না। আসলে, বেশ কয়েকটি স্লাইড লক্ষ্য করে মনে হচ্ছে

জরিমানাভিত্তিক রিগ্রেশন (যার মধ্যে অনুমানগুলি

দিকে সঙ্কুচিত হয় ) এবং "পিসিএ রিগ্রেশন" (যাতে ক্ষুদ্রতম উপাদানগুলি পুরোপুরি সরিয়ে ফেলা হয় - যা খুব খারাপ জিনিস হতে পারে কিছু পরিস্থিতিতে)।

λ

$\lambda$

L^{2}

$L^2$

0

$0$

— শুকনো

মিমি .. অন্য রেফারেন্সটি পেয়েছে: স্টেটওব.স্তানফোর্ড.ইডু / আওউইন / সার্কেসস / 305 / Rudyregulariization.pdf স্লাইডে, "

এবং মূল উপাদানগুলি", এতে বলা হয়েছে যে এই উপাদানগুলির সাথে রিজ রিগ্রেশন প্রকল্পগুলি y বড় ডিজে * দীর্ঘশ্বাস *

y^{r i d g e}

$y^{ridge}$

— হোসে জি

আপনি কি পি লক্ষ করেছেন? সেই সর্বশেষতম রেফারেন্সের 14 টি আপনার প্রশ্নের স্পষ্ট উত্তর দেয়?

— হোয়বার

উত্তর:

যাক কেন্দ্রিক হতে predictor ম্যাট্রিক্স এবং তার একবচন মান পচানি বিবেচনা সঙ্গে তির্যক উপাদানের সঙ্গে একটি তির্যক ম্যাট্রিক্স হচ্ছে । $\mathbf X$ $n \times p$ $\mathbf X = \mathbf{USV}^\top$ $\mathbf S$ $s_i$

সাধারণ লিস্ট স্কোয়ার এর লাগানো মান (OLS ঔজ্জ্বল্যের প্রেক্ষাপটে) রিগ্রেশন দ্বারা দেওয়া হয় শৈলশিরা রিগ্রেশন এর লাগানো মান দ্বারা দেওয়া হয়

{\hat{y}}_{O L S} = X β_{O L S} = X (X^{⊤} X)^{- 1} X^{⊤} y = U U^{⊤} y .

$\hat {\mathbf y}_\mathrm{OLS} = \mathbf X \beta_\mathrm{OLS} = \mathbf X (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y = \mathbf U \mathbf U^\top \mathbf y.$

পিসিএ রিগ্রেশন (পিসিআর) সঙ্গে এর লাগানো মান

উপাদান দ্বারা দেওয়া হয়

{\hat{y}}_{r i d g e} = X β_{r i d g e} = X (X^{⊤} X + λ I)^{- 1} X^{⊤} y = U d i a g {\frac{s_{i}^{2}}{s_{i}^{2} + λ}} U^{⊤} y .

$\hat {\mathbf y}_\mathrm{ridge} = \mathbf X \beta_\mathrm{ridge} = \mathbf X (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y = \mathbf U\: \mathrm{diag}\left\{\frac{s_i^2}{s_i^2+\lambda}\right\}\mathbf U^\top \mathbf y.$

k

$k$

সেখানে

পরে

রয়েছে।

{\hat{Y}}_{পি সি আর} = {এক্স}_{পি সি একজন} β_{পি সি আর} = ইউ ঘ আমি একটি ছ {1, ..., 1, 0, ... 0} {ইউ}^{⊤} Y,

$\hat {\mathbf y}_\mathrm{PCR} = \mathbf X_\mathrm{PCA} \beta_\mathrm{PCR} = \mathbf U\: \mathrm{diag}\left\{1,\ldots, 1, 0, \ldots 0\right\}\mathbf U^\top \mathbf y,$

k

$k$

এখান থেকে আমরা দেখতে পাচ্ছি:

তাহলে তারপর । $\lambda=0$ $\hat {\mathbf y}_\mathrm{ridge} = \hat {\mathbf y}_\mathrm{OLS}$
$\lambda>0$ $s_i$ $s_i^2 \approx \lambda$
$k$ $\lambda=0$ $k$ $\lambda=\infty$
এর অর্থ হ'ল রিজ রিগ্রেশনকে পিসিআর এর "স্মুথ সংস্করণ" হিসাবে দেখা যেতে পারে।

$s_i$ $\mathbf X$
রিজ রিগ্রেশন অনুশীলনে আরও ভাল পারফর্ম করে (যেমন উচ্চতর ক্রস-বৈধতাযুক্ত পারফরম্যান্স থাকতে পারে)।
$\lambda \to 0$ $\hat {\mathbf y}_\mathrm{ridge} \to \hat {\mathbf y}_\mathrm{OLS}$ $s_i$

একটি ভাল রেফারেন্স হল পরিসংখ্যানগত শিক্ষার উপাদানসমূহ , বিভাগ 3.4.1 "রিজ রিগ্রেশন"।

এই থ্রেডটিও দেখুন: থ্রেডটিও রিগ্রেশনে রিজ নিয়মিতকরণের ব্যাখ্যা এবং বিশেষত @ ব্রায়ানবার্সারদের উত্তর।

— অ্যামিবা বলছেন মনিকাকে রিইনস্টেট করুন
সূত্র

s_{i} -

$s_i -$

β_{L e a s t - s q u a r e s}

$\beta_{Least-squares}$

k

$k$

U diag (1_{1}, 1_{2}, . . ., 1_{k}, 0, . . ., 0) U^{T} y

$\mathbf{U} {\text{diag}}(1_1,1_2,...,1_k,0,...,0)\mathbf{U}^T\mathbf{y}$

এটা সুন্দর.

— xxx222

পরিসংখ্যানগত শিক্ষার উপাদানগুলির এই সংযোগটিতে দুর্দান্ত আলোচনা হয়েছে।

আমি এই সংযোগ এবং যুক্তিটি যেভাবে ব্যাখ্যা করেছি তা নিম্নরূপ:

পিসিএ ফিচার ভেরিয়েবলগুলির একটি লিনিয়ার সংমিশ্রণ, নতুন স্থান দ্বারা ব্যাখ্যা করা তথ্যের বৈচিত্রটি সর্বাধিক করার চেষ্টা করে ize
মাল্টিকলাইনারিটিতে আক্রান্ত এমন ডেটা (বা ডাটাগুলির সারিগুলির চেয়ে আরও বেশি ভবিষ্যদ্বাণীকারী) একটি কোভারিয়েন্স ম্যাট্রিক্সের দিকে পরিচালিত করে যার পুরো র‌্যাঙ্ক নেই।
এই কোভারিয়েন্স ম্যাট্রিক্সের সাহায্যে আমরা ন্যূনতম স্কোয়ার সমাধান নির্ধারণ করতে উল্টাতে পারি না; এর ফলে ন্যূনতম স্কোয়ার্স সহগের সংখ্যাগুলির সংখ্যায়ন প্রায় অসীমের দিকে উড়ে যায়।
রিজ রিগ্রেশন ম্যাট্রিক্স বিপরীতকরণ এবং এলএস কোফিসিয়েন্টের রূপান্তরকরণের অনুমতি দেওয়ার জন্য কোভরিয়েন্স ম্যাট্রিক্সের উপর পেনাল্টি লাম্বদা প্রবর্তন করে।

পিসিএ সংযোগটি হ'ল রিজ রিগ্রেশন বৈশিষ্ট্যগুলির লিনিয়ার সংমিশ্রণগুলি গণনা করছে যেখানে মাল্টিকোলাইনারিটি ঘটছে তা নির্ধারণ করতে। ক্ষুদ্রতম বৈকল্পিকের সাথে বৈশিষ্ট্যগুলির লিনিয়ার সংমিশ্রণগুলি (প্রিন্সিপাল কম্পোনেন্ট অ্যানালাইসিস) (এবং এর ফলে ছোট একক মান এবং পিসিএতে ছোট ইগেনভ্যালুগুলি) সবচেয়ে কঠিন দণ্ডিত।

এই ভাবে চিন্তা করুন; ক্ষুদ্রতম বৈকল্পিকের সাথে বৈশিষ্ট্যগুলির লিনিয়ার সংমিশ্রণের জন্য, আমরা বৈশিষ্ট্যগুলি সর্বাধিক একরকম খুঁজে পেয়েছি যার ফলে বহুবিধ লাইন তৈরি হয়। যেহেতু রিজ বৈশিষ্ট্য সেটটিকে হ্রাস করে না, এই লিনিয়ার সংমিশ্রণটি যেদিকেই বর্ণনা করছে, সেই দিকের সাথে সম্পর্কিত মূল বৈশিষ্ট্যটি সর্বাধিক দণ্ডিত হয়েছে।

— MDornbos
সূত্র

লিনিয়ার সমীকরণ বিবেচনা করুন

এক্স β = Y,

$\mathbf X \beta = \mathbf y\,,$ এবং এর এসভিডি

X

$\mathbf X$ ,

এক্স = ইউ এস {ভী}^{টি},

$\mathbf X = \mathbf U \,\mathbf S \,\mathbf V^T,$ কোথায়

S = diag (s_{i})

$\mathbf S = \text{diag}(s_i)$ একক মানগুলির তির্যক ম্যাট্রিক্স।

সাধারণ সর্বনিম্ন স্কোয়ারগুলি প্যারামিটার ভেক্টর নির্ধারণ করে $\beta$ যেমন

β_{হে এল এস} = ভী {এস}^{- 1} {ইউ}^{টি}

$\beta_{OLS} = \mathbf V \,\mathbf S^{-1} \,\mathbf U^T$ যাইহোক, এই পদ্ধতির ব্যর্থতার সাথে সাথে একটি একক মান রয়েছে যা শূন্য (ততক্ষণ বিপরীতটি বিদ্যমান নেই)। তাছাড়া, না থাকলেও no

s_{i}

$s_i$ বাহ্যভাবে শূন্য, সংখ্যাগতভাবে ছোট একক মানগুলি ম্যাট্রিক্সকে অসুস্থ-শর্তযুক্ত করতে পারে এবং এমন একটি সমাধানের দিকে নিয়ে যায় যা ত্রুটিগুলির পক্ষে অত্যন্ত সংবেদনশীল।

এই সমস্যাগুলি এড়াতে রিজ রিগ্রেশন এবং পিসিএ দুটি পদ্ধতি উপস্থাপন করে। রিজ রিগ্রেশন প্রতিস্থাপন করে $\mathbf S^{-1}$ উপরের সমীকরণের জন্য $\beta$ দ্বারা

\begin{aligned} {এস}_{শৈলশিরা}^{- 1} & = diag এর (\frac{{গুলি}_{আমি}}{{গুলি}_{আমি}^{2} + + α}), \\ β_{শৈলশিরা} & = ভী {এস}_{শৈলশিরা}^{- 1} {ইউ}^{টি} \end{aligned}

$\begin{align} \mathbf S^{-1}_{\text{ridge}} &= \text{diag}\bigg(\frac{s_i}{s^2_i+\alpha}\bigg),\\ \beta_{\text{ridge}} &= \ \mathbf V \,\mathbf S_{\text{ridge}}^{-1} \,\mathbf U^T \end{align}$

পিসিএ প্রতিস্থাপন $\mathbf S^{-1}$ দ্বারা

\begin{aligned} {এস}_{পিসিএ}^{- 1} & = diag এর (\frac{1}{{গুলি}_{আমি}} θ ({গুলি}_{আমি} - γ)), \\ β_{পিসিএ} & = ভী {এস}_{পিসিএ}^{- 1} {ইউ}^{টি} \end{aligned}

$\begin{align} \mathbf S^{-1}_{\text{PCA}} &= \text{diag}\bigg(\frac{1}{s_i} \, \theta(s_i-\gamma)\bigg)\,,\\ \beta_{\text{PCA}} &= \ \mathbf V \,\mathbf S_{\text{PCA}}^{-1} \,\mathbf U^T \end{align}$ wehre

θ

$\theta$ পদক্ষেপ ফাংশন, এবং

γ

$\gamma$ থ্রেশোল্ড প্যারামিটার।

উভয় পদ্ধতিই ছোট মানগুলির সাথে সম্পর্কিত উপ-স্থানগুলির প্রভাবকে দুর্বল করে। পিসিএ কঠোর উপায়ে এটি করে, যখন রিজটি একটি মসৃণ পদ্ধতির।

আরও বিমূর্তভাবে, আপনার নিজের নিয়মিতকরণ প্রকল্পটি নির্দ্বিধায় আসে

{এস}_{myReg}^{- 1} = diag এর (আর ({গুলি}_{আমি})),

$\mathbf S^{-1}_{\text{myReg}} = \text{diag}\big(R(s_i)\big)\,,$ কোথায়

R (x)

$R(x)$ এটি এমন একটি ফাংশন যা এর জন্য শূন্যের কাছে যেতে হবে

x \to 0

$x\rightarrow 0$ এবং

R (x) \to x^{- 1}

$R(x)\rightarrow x^{-1}$ জন্য

x

$x$ বড়। তবে মনে রাখবেন, নিখরচায় দুপুরের খাবার নেই।

— davidhigh
সূত্র