প্রাথমিক, দ্বৈত এবং কার্নেল রিজ রিগ্রেশন মধ্যে পার্থক্য

Question

প্রাথমিক , দ্বৈত এবং কার্নেল রিজ রিগ্রেশন মধ্যে পার্থক্য কি ? লোকেরা তিনটিই ব্যবহার করছে, এবং বিভিন্ন সূত্রের প্রত্যেকে যেহেতু বিভিন্ন উত্সে ব্যবহার করে তা আমার অনুসরণ করা কঠিন।

তাহলে কেউ আমাকে সহজ কথায় বলতে পারেন এই তিনটির মধ্যে পার্থক্য কী? এ ছাড়াও প্রত্যেকের কিছু সুবিধা বা অসুবিধা কী হতে পারে এবং এর জটিলতা কী হতে পারে?

Answer 1

সংক্ষিপ্ত উত্তর: প্রাথমিক এবং দ্বৈত মধ্যে কোন পার্থক্য - এটি কেবল সমাধানে পৌঁছানোর উপায় সম্পর্কে। কার্নেল রিজ রিগ্রেশন মূলত রিজ রিগ্রেশন হিসাবে একই, তবে অ-রৈখিক হওয়ার জন্য কার্নেল ট্রিক ব্যবহার করে।

লিনিয়ার রিগ্রেশন

প্রথমত, একটি সর্বনিম্ন ন্যূনতম স্কোয়ারেস লিনিয়ার রিগ্রেশন তথ্য পয়েন্টগুলির সেটে একটি সরল রেখাকে এমনভাবে ফিট করার চেষ্টা করে যাতে স্কোয়ার ত্রুটির যোগফল ন্যূনতম হয়।

আমরা সঙ্গে ভাল হইয়া লাইন parametrize $\mathbb w$ এবং প্রতিটি ডাটা পয়েন্ট জন্য $(\mathbf x_i, y_i)$ আমরা চাই $\mathbf w^T \mathbf x_i \approx y_i$ । আসুন $e_i = y_i - \mathbf w^T \mathbf x_i$ ত্রুটি হতে থাকি - ভবিষ্যদ্বাণী করা এবং সত্য মানের মানের মধ্যে দূরত্ব। সুতরাং আমাদের লক্ষ্য স্কোয়ারড ত্রুটি সমষ্টি কমান হয় $\sum e_i^2 = \| \mathbf e \|^2 = \| X \mathbf w - \mathbf y \|^2$যেখানে $X = \begin{bmatrix} — \mathbf x_1 \,— \\ — \mathbf x_2 \,— \\ \vdots \\ — \mathbf x_n \,— \end{bmatrix}$- প্রতিটি কোনো ডেটা ম্যাট্রিক্স$\mathbf x_i$একটি সারিতে, এবং হচ্ছে$\mathbf y = (y_1 , \ ... \ , y_n)$সব একটি ভেক্টর$y_i$এর।

সুতরাং, উদ্দেশ্য হল $\min\limits_{\mathbf w} \| X \mathbf w - \mathbf y \|^2$ , এবং সমাধান $\mathbf w = (X^T X)^{-1} X^T \mathbf y$ (যেমন "স্বাভাবিক সমীকরণ" নামে পরিচিত)।

একটি নতুন অদেখা ডাটা পয়েন্ট জন্য $\mathbf x$ আমরা তার লক্ষ্য মান ভবিষ্যদ্বাণী করা Y যেমন Y = W টি এক্স ।$\hat y$$\hat y = \mathbf w^T \mathbf x$

রিজ রিগ্রেশন

যখন লিনিয়ার রিগ্রেশন মডেলগুলিতে অনেকগুলি সম্পর্কযুক্ত ভেরিয়েবল থাকে, তখন সহগের $\mathbf w$ খারাপভাবে নির্ধারিত হতে পারে এবং প্রচুর বৈকল্পিক থাকতে পারে। এই সমস্যার সমাধান এক ওজন সীমিত হয় $\mathbf w$ তাই তারা কিছু বাজেটের তুলনায় অধিক না $C$ । এটি $L_2$ নিয়মিতকরণ ব্যবহারের সমতুল্য , এটি "ওজন ক্ষয়" নামে পরিচিত: এটি কখনও কখনও সঠিক ফলাফলগুলি (যেমন কিছু পক্ষপাত প্রবর্তনের মাধ্যমে) হারিয়ে যাওয়ার ব্যয়ে বৈচিত্র্য হ্রাস করে।

উদ্দেশ্য এখন হয়ে $\min\limits_{\mathbf w} \| X \mathbf w - y \|^2 + \lambda \, \| \mathbf w \|^2$ , সঙ্গে$\lambda$ নিয়মিতকরণ প্যারামিটার হচ্ছে। গণিতে গিয়ে, আমরা নিম্নলিখিত সমাধানটি পাই:$\mathbf w = (X^T X + \lambda \, I )^{-1} X^T \mathbf y$ । এটি সাধারণ লিনিয়ার রিগ্রেশন এর সাথে খুব মিল, তবে এখানে আমরা এক্স টি এক্স এর প্রতিটি তির্যক উপাদানে$\lambda$ যুক্ত করি।$X^T X$

মনে রাখবেন আমরা করতে পুনরায় লেখার $\mathbf w$ যেমন $\mathbf w = X^T \, (X X^T + \lambda \, I)^{-1} \mathbf y$ (বিশদ জন্যএখানেদেখুন)। একটি নতুন অদেখা ডাটা পয়েন্ট জন্য$\mathbf x$ আমরা তার লক্ষ্য মান ভবিষ্যদ্বাণী করা Y যেমন Y = এক্স টি W = এক্স টি এক্স টি$\hat y$$\hat y = \mathbf x^T \mathbf w = \mathbf x^T X^T \, (X X^T + \lambda \, I)^{-1} \mathbf y$ । যাক$\boldsymbol \alpha = (X X^T + \lambda \, I)^{-1} \mathbf y$ । তারপর Y = এক্স টি এক্স টি α = ঢ Σ আমি = 1 α আমি ⋅ এক্স টি এক্স আমি ।$\hat y = \mathbf x^T X^T \boldsymbol \alpha = \sum\limits_{i=1}^{n} \alpha_i \cdot \mathbf x^T \mathbf x_i$

রিজ রিগ্রেশন দ্বৈত ফর্ম

আমাদের উদ্দেশ্য সম্পর্কে আমরা আলাদা দৃষ্টি রাখতে পারি - এবং নিম্নলিখিত চতুষ্কোণ প্রোগ্রামের সমস্যাটি সংজ্ঞায়িত করতে পারি:

$\min\limits_{\mathbf e, \mathbf w} \sum\limits_{i = 1}^n e_i^2$ St$e_i = y_i - \mathbf w^T \mathbf x_i$ জন্য$i = 1 \, .. \, n$ এবং$\| \mathbf w \|^2 \leqslant C$ ।

এটা একই উদ্দেশ্য এখানে আকারের উপর বাধ্যতা, কিন্তু কিছুটা ভিন্নভাবে প্রকাশ এবং $\mathbf w$ স্পষ্ট হয়। তার সমাধানের জন্য, আমরা ল্যাগরান্গিয়ান সংজ্ঞায়িত $\mathcal L_p(\mathbf w, \mathbf e ; C)$ - এই আদিম ফর্ম যে আদিম ভেরিয়েবল রয়েছে $\mathbf w$ এবং $\mathbf e$ । তারপরে আমরা এটি আর্ট $\mathbf e$ এবং $\mathbf w$ ডব্লিউটিউটিভ করব । দ্বৈত গঠনের জন্য, আমরা $\mathbf e$ এবং $\mathbf w$ ফিরে এ $\mathcal L_p(\mathbf w, \mathbf e ; C)$ ।

সুতরাং, $\mathcal L_p(\mathbf w, \mathbf e ; C) = \| \mathbf e \|^2 + \boldsymbol \beta^T (\mathbf y - X \mathbf w - \mathbf e) - \lambda \, (\| \mathbf w \|^2 - C)$ । ডেরিভেটিভস আর্ট$\mathbf w$ এবং $\mathbf e$ গ্রহণ করেআমরা ই = প্রাপ্ত করি$\mathbf e = \cfrac{1}{2} \boldsymbol \beta$এবং$\mathbf w = \cfrac{1}{2 \lambda} X^T \boldsymbol \beta$। লেট করে$\boldsymbol \alpha = \cfrac{1}{2 \lambda} \boldsymbol \beta$, and putting $\mathbf e$ and $\mathbf w$ back to $\mathcal L_p(\mathbf w, \mathbf e ; C)$, we get dual Lagrangian $\mathcal L_d(\boldsymbol \alpha, \lambda; C) = -\lambda^2 \| \boldsymbol \alpha \|^2 + 2 \lambda \, \boldsymbol \alpha^T y - \lambda \| X^T \boldsymbol \alpha \| - \lambda C$. If we take a derivative w.r.t. $\boldsymbol \alpha$, we get $\boldsymbol \alpha = (XX^T - \lambda I)^{-1} \mathbf y$ - the same answer as for usual Kernel Ridge regression. There's no need to take a derivative w.r.t $\lambda$ - it depends on $C$, which is a regularization parameter - and it makes $\lambda$ regularization parameter as well.

Next, put $\boldsymbol \alpha$ to the primal form solution for $\mathbf w$, and get $\mathbf w = \cfrac{1}{2 \lambda} X^T \boldsymbol \beta = X^T \boldsymbol \alpha$. Thus, the dual form gives the same solution as usual Ridge Regression, and it's just a different way to come to the same solution.

Kernel Ridge Regression

Kernels are used to calculate inner product of two vectors in some feature space without even visiting it. We can view a kernel $k$ as $k(\mathbf x_1, \mathbf x_2) = \phi(\mathbf x_1)^T \phi(\mathbf x_2)$, although we don't know what $\phi(\cdot)$ is - we only know it exists. There are many kernels, e.g. RBF, Polynonial, etc.

We can use kernels to make our Ridge Regression non-linear. Suppose we have a kernel $k(\mathbf x_1, \mathbf x_2) = \phi(\mathbf x_1)^T \phi(\mathbf x_2)$. Let $\Phi(X)$ be a matrix where each row is $\phi(\mathbf x_i)$, i.e. $\Phi(X) = \begin{bmatrix} — \phi(\mathbf x_1) \,— \\ — \phi(\mathbf x_2) \,— \\ \vdots \\ — \phi(\mathbf x_n) \,— \end{bmatrix}$

Now we can just take the solution for Ridge Regression and replace every $X$ with $\Phi(X)$: $\mathbf w = \Phi(X)^T \, (\Phi(X) \Phi(X)^T + \lambda \, I)^{-1} \mathbf y$. For a new unseen data point $\mathbf x$ we predict its target value $\hat y$ as $\hat y= \mathbf \phi(\mathbf x)^T \Phi(X)^T \, (\Phi(X) \Phi(X)^T + \lambda \, I)^{-1} \mathbf y$.

First, we can replace $\Phi(X) \Phi(X)^T$ by a matrix $K$, calculated as $(K)_{ij} = k(\mathbf x_i, \mathbf x_j)$. Then, $\phi(\mathbf x)^T \Phi(X)^T$ is $\sum\limits_{i = 1}^n \phi(\mathbf x)^T \phi(\mathbf x_i) = \sum\limits_{i = 1}^n k(\mathbf x, \mathbf x_j)$. So here we managed to express every dot product of the problem in terms of kernels.

Finally, by letting $\boldsymbol \alpha = (K + \lambda \, I)^{-1} \mathbf y$ (as previously), we obtain $\hat y= \sum\limits_{i = 1}^n \alpha_i k(\mathbf x, \mathbf x_j)$

References

• Machine Learning I class at TU Berlin
• Elements of Statistical Learning, http://statweb.stanford.edu/~tibs/ElemStatLearn/
• http://0agr.ru/wiki/index.php/Normal_Equation
• http://stat.wikia.com/wiki/Kernel_Ridge_Regression
• http://stat.rutgers.edu/home/tzhang/papers/ml02_dual.pdf
• http://www.ics.uci.edu/~welling/classnotes/papers_class/Kernel-Ridge.pdf
• http://www.cs.nyu.edu/~mohri/mls/lecture_8.pdf

Comments

I am impressed by the well-organized discussion. However, your early reference to "outliers" confused me. It appears the weights $w$ apply to the variables rather than the cases, so how exactly would ridge regression help make the solution robust to outlying cases, as suggested by the illustration?

— whuber

Excellent answer, Alexey (though I wouldn't call it "simple words")! +1 with no questions asked. You like to write in LaTeX, don't you?

— Aleksandr Blekh

I suspect you might be confusing some basic things here. AFAIK, ridge regression is neither a response to nor a way of coping with "noisy observations." OLS already does that. Ridge regression is a tool used to cope with near-collinearity among regressors. Those phenomena are completely different from noise in the dependent variable.

— whuber

+1 whuber. Alexey you are right it is overfitting -ie too many parameters for the available data - not really noise. [ and add enough dimensions for fixed sample size and 'any' data set becomes collinear]. So a better 2-d picture for RR would be all the points clustered around (0,1) with a single point at (1,0) ['justifying' the slope parameter]. See ESL fig 3.9,page 67 web.stanford.edu/~hastie/local.ftp/Springer/OLD/…. also look at primal cost function: to increase weight by 1 unit, error must decrease by $1/\lambda$ unit

— seanv507

I believe you meant add $\lambda$ to diagonal elements of $X^TX$ not subtract(?) in the ridge regression section. I applied the edit.

— Heteroskedastic Jim