কীভাবে রিজ রিগ্রেশন সলিউশন পাবেন?

40

রিজ রিগ্রেশনটির জন্য সমাধানটির ব্যয় নিয়ে আমার কিছু সমস্যা রয়েছে।

আমি নিয়মিতকরণ শব্দটি ছাড়াই রিগ্রেশন সমাধানটি জানি:

β = (X^{T} X)^{- 1} X^{T} y .

$\beta = (X^TX)^{-1}X^Ty.$

তবে ব্যয় কার্যক্রমে L2 শব্দটি করার পরে সমাধান কীভাবে আসে $\lambda\|\beta\|_2^2$

β = (X^{T} X + λ I)^{- 1} X^{T} y .

$\beta = (X^TX + \lambda I)^{-1}X^Ty.$

— user34790
সূত্র

23

জরিমানা যুক্ত করে ক্ষতি ফাংশনটি সংশোধন করা যথেষ্ট suff ম্যাট্রিক্সের ভাষায়, প্রাথমিক চতুর্ভুজ ক্ষতির ক্রিয়াটি

(Y - X β)^{T} (Y - X β) + λ β^{T} β .

$(Y - X\beta)^{T}(Y-X\beta) + \lambda \beta^T\beta.$ প্রতি শ্রদ্ধা নিরঞ্জনটি

সমান

যা রিজ অনুমানের দিকে নিয়ে যায়।

β

$\beta$

X^{T} Y = (X^{T} X + λ I) β

$X^{T}Y = \left(X^{T}X + \lambda I\right)\beta$

— জনি
সূত্র

1

λ β^{T} β

$\lambda \beta^T \beta$

λ I β

$\lambda I \beta$

— Come

4

@ ব্যবহারকারী 34790 এটি না এটি

সমান

2 λ β

$2\lambda\beta$ । তবে 2 অন্যান্য শর্তাদিতে একই 2 টি সহ বাতিল করে। অবশ্যই,

I

$I$ ফ্যাক্টরটি "নিয়মিত" বীজগণিতের 1 এর ফ্যাক্টরের মতো, আপনি কোনও কিছু পরিবর্তন না করে আপনি যে কোনও জায়গায় এটি পছন্দ করতে পারেন multip

— বিল

4

@bill: এখান আপনার যা দরকার সঠিক মাত্রা একটি ম্যাট্রিক্স পেতে তাই যোগে কাজ করে : শুধু একটি স্কেলার হল

I

$I$

X^{T} X

$X^TX$

λ

$\lambda$

— হেনরি

47

আসুন আমরা যা জানি তার উপর ভিত্তি করে চলুন, যা হ'ল যখনই মডেলের ম্যাট্রিক্স , তখন রেসপন্স ভেক্টরটি , এবং প্যারামিটার ভেক্টরটি হ'ল , উদ্দেশ্য ফাংশন $n\times p$ $X$ $n$ $y$ $p$ $\beta$

f (β) = (y - X β)^{'} (y - X β)

$f(\beta) = (y - X\beta)^\prime(y - X\beta)$

(যা অবশিষ্টাংশের বর্গের যোগফল) হ্রাস করা হয় যখন সাধারণ সমীকরণগুলি সমাধান করে $\beta$

(X^{'} X) β = X^{'} y .

$(X^\prime X)\beta = X^\prime y.$

রিজ রিগ্রেশন উদ্দেশ্য পদক্ষেপে আরও একটি পদ যুক্ত করে (সাধারণত সমস্ত ভেরিয়েবলগুলিকে একটি সাধারণ পাদদেশে রাখার জন্য মানক করার পরে), ছোট করতে বলে

(y - X β)^{'} (y - X β) + λ β^{'} β

$(y - X\beta)^\prime(y - X\beta) + \lambda \beta^\prime \beta$

কিছু অ-নেতিবাচক ধ্রুবক জন্য । এটি অবশিষ্টাংশের বর্গের যোগফল এবং তাদের সহগের গুণাগুলির যোগফলের একাধিক (এটি স্পষ্ট করে তোলে যে এটির সর্বনিম্ন সর্বনিম্ন রয়েছে)। কারণ , এর একটি ধনাত্মক বর্গমূল । $\lambda$ $\lambda\ge 0$ $\nu^2 = \lambda$

ম্যাট্রিক্স সাথে সারিগুলির সাথে সংযুক্ত সার্বিক বিবেচনা করুন বারের সাথে পরিচয় ম্যাট্রিক্স : $X$ $\nu$ $p\times p$ $I$

X_{*} = (\begin{matrix} X \\ ν I \end{matrix})

$X_{*} = \pmatrix{X \\ \nu I}$

যখন ভেক্টর একভাবে সঙ্গে বাড়ানো হয় থেকে শেষে শূন্য , উদ্দেশ্য ফাংশনে ম্যাট্রিক্স পণ্য যোগ ফর্মের অতিরিক্ত শর্তাদি মূল উদ্দেশ্য। অতএব $y$ $p$ $y_{*}$ $p$ $(0 - \nu \beta_i)^2 = \lambda \beta_i^2$

(y_{*} - X_{*} β)^{'} (y_{*} - X_{*} β) = (y - X β)^{'} (y - X β) + λ β^{'} β .

$(y_{*} - X_{*}\beta)^\prime(y_{*} - X_{*}\beta) = (y - X\beta)^\prime(y - X\beta) + \lambda \beta^\prime \beta.$

বাম হাতের অভিব্যক্তিটির রূপ থেকে এটি অবিলম্বে যে সাধারণ সমীকরণগুলি

(X_{*}^{'} X_{*}) β = X_{*}^{'} y_{*} .

$(X_{*}^\prime X_{*})\beta = X_{*}^\prime y_{*}.$

যেহেতু আমরা এর শেষের সাথে শূন্যগুলি সংযুক্ত করেছি , ডান হাতের অংশটি সমান । বাম দিকে আসল । অতএব নতুন সাধারণ সমীকরণগুলি সরল করে $y$ $X^\prime y$ $\nu^2 I=\lambda I$ $X^\prime X$

(X^{'} X + λ I) β = X^{'} y .

$(X^\prime X + \lambda I)\beta = X^\prime y.$

ধারণাটিগতভাবে অর্থনৈতিক হওয়ার পাশাপাশি - এই ফলাফলটি অর্জনের জন্য কোনও নতুন কারসাজির প্রয়োজন নেই - এটি গণনার দিক থেকেও অর্থনৈতিক: সাধারণ ন্যূনতম স্কোয়ারগুলি করার জন্য আপনার সফ্টওয়্যার কোনও পরিবর্তন ছাড়াই রিজ রিগ্রেশনও করবে। (এটা তবুও, ব্যবহার এই কাজের জন্য ডিজাইন করা সফ্টওয়্যার বড় সমস্যার মধ্যে সহায়ক হতে পারে, কারণ এটি বিশেষ কাঠামো কাজে লাগান হবে একটি ঘন ব্যবধানযুক্ত ব্যবধান জন্য দক্ষতার ফলাফল প্রাপ্ত করার জন্য , অন্বেষণ কিভাবে উত্তর আলাদা আপনি সক্রিয় সাথে ।) $X_{*}$ $\lambda$ $\lambda$

জিনিসগুলির দিকে নজর রাখার এই পদ্ধতিটির আর একটি সৌন্দর্য হ'ল এটি কীভাবে আমাদেরকে রিজ রিগ্রেশন বুঝতে সাহায্য করতে পারে। আমরা সত্যিই বুঝতে রিগ্রেশন চান, তখন তা প্রায় সবসময় জ্যামিতিক মনে করতে সাহায্য করে: এর কলাম গঠন মাত্রা একটি বাস্তব ভেক্টর স্থান ভেক্টর । থেকে সাথে সংযুক্ত করে , সেগুলি ভেক্টর থেকে ভেক্টরগুলিতে দীর্ঘায়িত করে আমরা including কে একটি বৃহত্তর জায়গাতে এমবেড করছি including সহ "কাল্পনিক", পারস্পরিক orthogonal দিকনির্দেশ। প্রথম কলাম $X$ $p$ $n$ $\nu I$ $X$ $n$ $n+p$ $\mathbb{R}^n$ $\mathbb{R}^{n+p}$ $p$ $X$ আকারের একটি ছোট কাল্পনিক উপাদান given , যার ফলে এটি দীর্ঘ করা হয় এবং এটিকে মূল কলামগুলির দ্বারা উত্পন্ন স্থানের বাইরে নিয়ে যায় । দ্বিতীয়, তৃতীয়, ..., কলাম একভাবে lengthened এবং একই পরিমাণ দ্বারা মূল স্থান থেকে স্থানান্তরিত করা হয় - কিন্তু সব বিভিন্ন নতুন নির্দেশাবলী মধ্যে। ফলস্বরূপ, আসল কলামগুলিতে উপস্থিত কোনও প্রকার তাত্ক্ষণিকভাবে সমাধান করা হবে। তদুপরি, বৃহত্তর becomes হয়ে ওঠে, এই নতুন ভেক্টরগুলি পৃথক পৃথক নিকটবর্তী হয় $\nu$ $p$ $p^\text{th}$ $\nu$ $\nu$ $p$ কাল্পনিক দিকনির্দেশ: এগুলি আরও বেশি সংখ্যক orthonormal হয়ে যায়। ফলস্বরূপ, সাধারণ সমীকরণগুলির সমাধান অবিলম্বে সম্ভব হয়ে উঠবে এবং এটি থেকে বৃদ্ধি এটি দ্রুত সংখ্যাগতভাবে স্থিতিশীল হয়ে উঠবে । $\nu$ $0$

প্রক্রিয়াটির এই বিবরণটি রিজ রিগ্রেশনকে পরিচালনা করার জন্য তৈরি করা সমস্যাগুলির সমাধানের জন্য কিছু অভিনব এবং সৃজনশীল পদ্ধতির পরামর্শ দেয় । উদাহরণস্বরূপ, রিগ্রেশন ডায়াগনস্টিকস সম্পর্কিত তাদের 1980 বইয়ের বেলসলে, কুহ এবং ওয়েলস্কের বর্ণিত বিভাজন পচন যেমন কোনও উপায়ে ব্যবহার করে আপনি এর প্রায় কলিনারি কলামগুলির উপগোষ্ঠী সনাক্ত করতে সক্ষম হবেন যেখানে প্রতিটি উপগোষ্ঠী রয়েছে অন্য যে কোনও দিকে প্রায় অর্থেগোনাল। আপনার কেবলমাত্র (এবং জিরো থেকে ) সারি সংখ্যক সারি প্রয়োজন কারণ একটি গ্রুপের প্রতিটি উপাদানকে তার ভাইবোনদের থেকে দূরে সরিয়ে দেওয়ার জন্য একটি নতুন "কল্পিত" মাত্রা উত্সর্গ করে: আপনার কাল্পনিক প্রয়োজন নেই এটি করার জন্য মাত্রা। $X$ $X$ $y$ $p$

— whuber
সূত্র

2

বইটির শেষ লেখক ওয়েলশ নয়, ওয়েলশ।

— মার্ক এল স্টোন

1

ওহ, এটি আমার মনকে ফুটিয়ে তুলেছে। যখন লিনিয়ার মডেলগুলির বাইরে, যেমন গ্ল্যামের সাধারণীকরণ হয় তখন কী ঘটে যায় সে সম্পর্কে কোনও আলোচনা আছে? পেনাল্টিটি রিজ রিগ্রেশন এর সমতুল্য হওয়া উচিত নয় ... তবে এই ব্যাখ্যাটি বোঝায় যে এটি এখনও সম্ভাব্য দরকারী অনুমানকারী হবে!

— ক্লিফ এবি

2

@ ক্লিফ এটি একটি খুব আকর্ষণীয় পরামর্শ। যেহেতু, জিএলএম অনুমানগুলি উপর আরও জটিল উপায়ে নির্ভর করে এবং তাদের অনুমানকারীরা সাধারণত ওএলএসের জন্য যেখানে (টু থাকে তেমন আকারে আকারে ফ্যাক্টর করা যায় না এবং ), পেনাল্টি ফাংশন চাপানো এবং কলামগুলিকে সংশোধন করার মধ্যে একটি কার্যকর সম্পর্ক স্থাপন করা কঠিন হতে পারে । বিশেষত, এটি অস্পষ্ট নয় যে এই কাজটি করার জন্য এর মানগুলি কীভাবে বাড়ানো দরকার।

X

$X$

\hat{β} = g (X) \cdot h (y)

$\hat\beta = g(X)\cdot h(y)$

g (X) = (X^{'} X)^{- 1} X^{'}

$g(X)=(X^\prime X)^{-1}X^\prime$

h (y) = y

$h(y)=y$

X

$X$

y

$y$

— whuber

1

হ্যাঁ, জরিমানাটি কী তা প্রতিষ্ঠিত করার চেষ্টা করার জন্য কিছুটা চিন্তা করতে হবে তবে আমি সে সম্পর্কে তেমন উদ্বিগ্ন নই। কী ব্যবহার করবেন তা ধারণা সাধারণত সহজ হয় না ... কেবলমাত্র লজিস্টিক রিগ্রেশন ক্ষেত্রে, যেখানে আমরা দুটি ' যোগ করতে পারি ; 0 এর একটি এবং 1 এর একটি। এই বৃদ্ধি তারপর "+2 দ্বিপদ মূল্নির্ধারক" এর একটি সাধারণ সংস্করণ হতে হবে (এই মূল্নির্ধারক আমি যেসব blanking করছি, যা মূলত হয় যখন আপনি আনুমানিক হিসাব করা হয় জন্য আরও সঠিক নাম অবর গড় হিসাবে ব্যবহার করে একটি দ্বিপদ বিন্যাস থেকে একটি অভিন্ন পূর্বে সঙ্গে অনুমান )।

y_{*}

$y_*$

y_{*}

$y_*$

p

$p$

p

$p$

— ক্লিফ এবি

@ মার্ক সংশোধন করার জন্য আপনাকে ধন্যবাদ। আপনি বলতে পারবেন আমি স্মৃতি থেকে যাচ্ছিলাম ... :-)।

— শুক্র

20

ডেরাইভেশন ম্যাট্রিক্স ক্যালকুলাস অন্তর্ভুক্ত, যা বেশ ক্লান্তিকর হতে পারে। আমরা নিম্নলিখিত সমস্যাটি সমাধান করতে চাই:

min_{β} (Y - β^{T} X)^{T} (Y - β^{T} X) + λ β^{T} β

$\begin{equation} \min_\beta (Y-\beta^T X)^T(Y-\beta^T X)+\lambda \beta^T \beta \end{equation}$

এখন নোট করুন যে এবং একসাথে আমরা প্রথম অর্ডার শর্তে পৌঁছে যাই বিচ্ছিন্ন সমাধান দেয়:

\frac{\partial (Y - β^{T} X)^{T} (Y - β^{T} X)}{\partial β} = - 2 X^{T} (Y - β^{T} X)

$\begin{equation} \frac{\partial (Y-\beta^T X)^T (Y-\beta^T X)}{\partial \beta}=-2X^T(Y-\beta^T X) \end{equation}$

\frac{\partial λ β^{T} β}{\partial β} = 2 λ β .

$\begin{equation} \frac{\partial \lambda \beta^T \beta}{\partial \beta}=2\lambda\beta. \end{equation}$

X^{T} Y = X^{T} X β + λ β .

$\begin{equation} X^TY = X^TX\beta + \lambda\beta. \end{equation}$

β

$\beta$

β = (X^{T} X + λ I)^{- 1} X^{T} Y .

$\begin{equation} \beta = (X^TX+ \lambda I )^{-1}X^T Y. \end{equation}$

— pthesling
সূত্র

9

আমি সম্প্রতি পি-স্প্লিন্সের প্রসঙ্গে একই প্রশ্নে হোঁচট খেয়েছি এবং ধারণাটি একই হওয়ায় আমি রিজ প্রাক্কলনকারীর উত্স সম্পর্কে আরও বিস্তারিত উত্তর দিতে চাই।

আমরা একটি শাস্তিযুক্ত মাপদণ্ডের ফাংশন দিয়ে শুরু করি যা গত সমষ্টিতে শাস্তি দেওয়ার শর্ত দ্বারা ক্লাসিক ওএলএস-মাপদণ্ড কার্য থেকে পৃথক:

$Criterion_{Ridge} = \sum_{i=1}^{n}(y_i-x_i^T\beta)^2 + \lambda \sum_{j=1}^p\beta_j^2$

কোথায়

$p=$ মডেলটিতে ব্যবহৃত পরিসংখ্যানের পরিমাণ
$x_i^T\beta =$ আপনার স্ট্যান্ডার্ড লিনিয়ার ভবিষ্যদ্বাণী
প্রথম সমষ্টিটি এমএসই (প্রকৃত মান থেকে পূর্বাভাসের স্কোয়ার ডাইভার্জেনশন )কে সম্মান করে যা আমরা যথারীতি হ্রাস করতে চাই
দ্বিতীয় যোগসূত্রটি সহগের উপর আমরা যে শাস্তি প্রয়োগ করি তা উপস্থাপন করে। এখানে আমরা রিজ-প্রসঙ্গে রয়েছি যা একটি ইউক্যালিডিয়ান দূরত্ব পরিমাপকে বোঝায় এবং তাই শাস্তিমূলক মেয়াদে 2 ডিগ্রি। লাসো-পেনালাইজেশনের ক্ষেত্রে আমরা 1 ডিগ্রি প্রয়োগ করব এবং একেবারে পৃথক অনুমানকারী আনব।

আমরা ম্যাট্রিক্স-স্বরলিপিতে এই মানদণ্ডটি আবার লিখতে পারি এবং এটি আরও ভেঙে দিতে পারি:

$Criterion_{Ridge} = (y-X\beta)^T(y-X\beta) + \lambda\beta^T\beta$

$= y^Ty - \beta^TX^Ty - y^TX\beta+ \beta^Tx^TX\beta + \lambda\beta^T\beta$

$= y^Ty - \beta^TX^Ty - \beta^TX^Ty + \beta^TX^TX\beta + \beta^T\lambda I\beta$ পরিচয় ম্যাট্রিক্স হওয়ার সাথে $I$

$= y^Ty - 2\beta^TX^Ty + \beta^T(X^TX + \lambda I)\beta$

এখন আমরা সেই অনুসন্ধান করি যা আমাদের মানদণ্ডকে হ্রাস করে। অন্যদের মধ্যে আমরা ম্যাট্রিক্স রুল ব্যবহার করি যা আমরা পারি এখানে হিসাবে প্রয়োগ করুন : $\beta$ $\frac{\partial x^TAx}{\partial x} = (A+A^T)x \overset{\text{A symmetric}}{=} 2Ax$ $(X^TX + \lambda I) \in \mathbb{R}^{n \times n}$

$\frac{\partial Criterion_{Ridge} }{\partial\beta} = -2X^Ty + 2(X^TX + \lambda I)\beta \overset{!}{=}0$

$(X^TX + \lambda I)\beta = X^Ty$

$\overset{\text{et voilà}}{\Rightarrow} \hat\beta = (X^TX + \lambda I)^{-1} X^Ty$

— জান গসচেহোফার
সূত্র

@ জাহান, আপনি কীভাবে can হয়ে গেল তা ব্যাখ্যা করতে পারেন ? আমি মনে করি আপনি ঠিক এটিতে ট্রান্সপোজ প্রয়োগ করেছেন। তবে, আপনি সমস্ত সমীকরণে প্রয়োগ না করে কেবল একটি পদে ট্রান্সপোজ প্রয়োগ করতে পারবেন না। আমি এখানে কি মিস করছি?

y^{T} X β

$y^TX\beta$

β^{T} X^{T} y

$\beta ^TX^Ty$

— থিয়েটিস্ট

1

@ থিয়েটিস্ট একটি ট্রান্সপোজড স্কেলার একই স্কেলার ala

— কনস্টান্টিন

2

প্রদত্ত উত্তরে কয়েকটি গুরুত্বপূর্ণ বিষয় অনুপস্থিত রয়েছে।

জন্য সমাধানটি প্রথম-ক্রমের প্রয়োজনীয় শর্ত থেকে উদ্ভূত হয়েছে: যা । তবে এটি কি যথেষ্ট? এটি হল, কেবলমাত্র কঠোরভাবে উত্তল হলে সমাধানটি বিশ্বব্যাপী সর্বনিম্ন is এটি সত্য বলে দেখানো যেতে পারে। $\beta$ $\frac{\partial f_{ridge}(\beta, \lambda)}{\partial \beta} = 0$ $\beta = (X^TX+ \lambda I )^{-1}X^T Y$ $f_{ridge}(\beta, \lambda)$
সমস্যাটি দেখার আরেকটি উপায় হ'ল এবং সীমাবদ্ধ । ওএলএস এর অর্থ দাঁড়ায় সাধারণ স্বল্প স্কোয়ার। এই দৃষ্টিকোণ থেকে উদ্দেশ্য ফাংশনের গ্লোবাল মিনিমা খুঁজে পেতে ব্যবহৃত ফাংশন উত্তল ক্রিয়াকলাপের সাথে জড়িত । $f_{ridge}(\beta, \lambda)$ $f_{OLS}(\beta) = (Y-\beta^T X)^T(Y-\beta^T X)$ $||\beta||^2_2 \leq t$ $f_{ridge}(\beta, \lambda)$ $f_{OLS}(\beta)$ $||\beta||^2_2$

এই পয়েন্টগুলির একটি ভাল ব্যাখ্যা এবং এই সূক্ষ্ম বক্তৃতা নোটগুলিতে পাওয়া যাবে: http://math.bu.edu/people/cgineste/classes/ma575/p/w14_1.pdf $\beta$

— পছন্দ করেন জোসিপোভিচ
সূত্র