একটি সমীকরণের একটি অননুমোদিত সিস্টেমের জন্য রিজ রিগ্রেশন প্রয়োগ করছেন?

যখন , সর্বনিম্ন স্কোয়ার সমস্যা যা sp মানের উপরে একটি গোলাকার বিধিনিষেধ আরোপ করে হিসাবে an একটি অতি-নির্ধারিত সিস্টেমের জন্য। হ'ল ভেক্টরের ইউক্লিডিয়ান আদর্শ। $y = X\beta + e$ $\delta$ $\beta$

\begin{matrix} \min ‖ y - X β ‖_{2}^{2} \\ s . t . ‖ β ‖_{2}^{2} \leq δ^{2} \end{matrix}

$\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}$

‖ \cdot ‖_{2}

$\|\cdot\|_2$

সংশ্লিষ্ট সমাধান $\beta$ দেওয়া হয়

\hat{β} = {(X^{T} X + λ I)}^{- 1} X^{T} y,

$\begin{equation} \hat{\beta} = \left(X^TX + \lambda I\right)^{-1}X^T y \ , \end{equation}$ যা লাগরঞ্জ মাল্টিপ্লায়ার্স (

λ

$\lambda$ গুণক) এর পদ্ধতি থেকে উদ্ভূত হতে পারে :

L (β, λ) = ‖ y - X β ‖_{2}^{2} + λ (‖ β ‖_{2}^{2} - δ^{2})

$\begin{equation} \mathcal{L}(\beta,\lambda) = \|y-X\beta\|^2_2 + \lambda(\|\beta\|^2_2 - \delta^2) \end{equation}$

আমি বুঝতে পারি যে এমন একটি সম্পত্তি রয়েছে যা

{(X^{T} X + λ I)}^{- 1} X^{T} = X^{T} {(X X^{T} + λ I)}^{- 1} .

$\begin{equation} \left(X^TX + \lambda I\right)^{-1}X^T = X^T\left(XX^T + \lambda I\right)^{-1} \ . \end{equation}$ ডান হাতটি নিম্ন নির্ধারিত ক্ষেত্রে রেজিস্ট্রার ম্যাট্রিক্স

এর সিউডো-ইনভার্সের সাথে সাদৃশ্যযুক্ত

X

$X$ (যুক্ত নিয়মিতকরণের প্যারামিটার সহ,

λ

$\lambda$ )। এর অর্থ কি এর অর্থ হ'ল একই অভিব্যক্তিটি অনুমিতভাবে নির্ধারিত ক্ষেত্রে

ব্যবহার করা যেতে পারে

β

$\beta$ ? গোলাকার সীমাবদ্ধতার সীমাবদ্ধতা উদ্দেশ্যমূলক ফাংশন (minimum

সর্বনিম্ন আদর্শ

β

$\beta$ ) এর সাথে অপ্রয়োজনীয় হওয়ায় অনুপাতযুক্ত ক্ষেত্রে সংশ্লিষ্ট ভাবের জন্য আলাদা আলাদা উত্পন্নকরণ রয়েছে :

\begin{matrix} m i n . ‖ β ‖_{2} \\ s . t . X β = y . \end{matrix}

$\begin{equation} \begin{array} &\operatorname{min.}\ \| \beta \|_2\\ \operatorname{s.t.}\ X\beta = y \ . \end{array} \end{equation}$

— hatmatrix
সূত্র

যেমনটি রিজ রিগ্রেশন সমস্যাটি তৈরি করে শুরু করা হচ্ছে

$\min \| X\beta -y \|_{2}^{2} + \lambda \| x \|_{2}^{2}$

আপনি সমস্যা হিসাবে লিখতে পারেন

$\min \| A\beta - b \|_{2}^{2}$

কোথায়

$A=\left[ \begin{array}{c} X \\ \sqrt{\lambda} I \end{array} \right]$

এবং

$b=\left[ \begin{array}{c} y \\ 0 \end{array} \right].$

ম্যাট্রিক্স এর সম্পূর্ণ কলাম র‌্যাঙ্ক রয়েছে কারণ অংশ। এইভাবে একটি অনন্য সমাধান হিসাবে সর্বনিম্ন স্কোয়ার সমস্যা $A$ $\sqrt{\lambda}I$

$\hat{\beta}=(A^{T}A)^{-1}A^{T}b$

এবং এর দিক দিয়ে এটি লেখার , এবং 0 এর প্রচুর সরলকরণের মাধ্যমে আমরা পেয়েছি $X$ $y$

$\hat{\beta}=(X^{T}X+\lambda I)^{-1}X^{T}y$

এই শিক্ষাদীক্ষা মধ্যে কিছুই নেই তার উপর নির্ভর করে কিনা সারি বা কলাম, অথবা এমনকি কিনা হয়েছে পূর্ণ র্যাঙ্ক হয়েছে। এই সূত্রটি অনির্ধারিত ক্ষেত্রে প্রযোজ্য। $X$ $X$

এটি একটি বীজগণিত সত্য যে , $\lambda>0$

$(X^{T}X+\lambda I)^{-1}X^{T}=X^{T}(XX^{T}+\lambda I)^{-1}$

সুতরাং আমরা ব্যবহার করার বিকল্প আছে

$\hat{\beta}=X^{T}(XX^{T}+\lambda I)^{-1}y$ ।

আপনার নির্দিষ্ট প্রশ্নের উত্তর দিতে:

হ্যাঁ, উভয় সূত্রই নির্ধারিত মামলার পাশাপাশি ওভার নির্ধারিত মামলার পক্ষে কাজ করে। তারা কাজ যদি সারি এবং এর কলামের সংখ্যা ন্যূনতম চেয়ে কম হয় । নির্ধারিত সমস্যাগুলির জন্য দ্বিতীয় সংস্করণটি আরও দক্ষ হতে পারে কারণ এই ক্ষেত্রে চেয়ে ছোট । $\mbox{rank}(X)$ $X$ $XX^{T}$ $X^{T}X$
আমি সূত্রের বিকল্প সংস্করণের যে কোনও অন্যান্য স্যাঁতস্যাঁতে কমপক্ষে স্কোয়ার সমস্যার সাথে শুরু করে এবং সাধারণ সমীকরণগুলি ব্যবহার করে তার কোনও উত্স সম্পর্কে অবগত নই। যে কোনও ক্ষেত্রে আপনি বীজগণিতের কিছুটা ব্যবহার করে এটি সরাসরি ফরোয়ার্ড ফ্যাশনে উত্পন্ন করতে পারেন।

এটা সম্ভব যে আপনি ফর্মের রিজ রিগ্রেশন সমস্যার কথা ভাবছেন

$\min \| \beta \|_{2}^{2}$

বিষযে

$\| X\beta-y \|_{2}^{2} \leq \epsilon.$

যাইহোক, রিজ রিগ্রেশন সমস্যার এই সংস্করণটি কেবল একই স্যাঁতসেঁতে সর্বনিম্ন স্কোয়ার সমস্যার দিকে নিয়ে যায় । $\min \| X\beta -y \|_{2}^{2} + \lambda \| \beta \|_{2}^{2}$

— ব্রায়ান বোর্চার্স
সূত্র

পুরো সারির র‌্যাঙ্ক বা পূর্ণ কলাম র‌্যাঙ্ক থাকলে 0 এ চলে যায় সে হিসাবে সীমাতে কী ঘটে তা লক্ষ্য করার মতো । তাহলে পূর্ণ কলাম র্যাঙ্ক আছে, তারপর সীমা, আপনি pseudoinverse পেতে । একইভাবে, যদি pseudoinverse পূর্ণ সারি র্যাঙ্ক আছে, তারপর সীমা মধ্যে আপনি পেতে । সুতরাং, এটি আমাদের প্রত্যাশা মতো কাজ করবে।

λ

$\lambda$

X

$X$

X

$X$

(X^{T} X)^{- 1} X^{T}

$(X^{T}X)^{-1}X^{T}$

X

$X$

X^{T} (X X^{T})^{- 1}

$X^{T}(XX^{T})^{-1}$

— ব্রায়ান বোর্চার

এটি একটি বিস্ময়করভাবে বিস্তৃত উত্তর এবং বর্ধিত অ্যারে থেকে প্রাপ্ত বিকাশ (প্লাস বীজগণিত যেটি আমি মিস করেছি) অত্যন্ত সন্তোষজনক। আপনি শেষে যেভাবে উপস্থাপন করেছিলেন তাতে আমি রিজ রিগ্রেশন সমস্যার কথা ভাবছিলাম না, তবে এটি আকর্ষণীয় যে এটি একই উদ্দেশ্যমূলক ফাংশনে বাড়ে। একটি বড় ধন্যবাদ!

— hatmatrix

ধন্যবাদ। আমি এখানে একটি নির্লজ্জ প্লাগ প্রবেশ করিয়ে দিচ্ছি- আপনি রিক অস্টার এবং ক্লিফ থারবার সহকর্মী প্যারামিটার অনুমান এবং বিপরীত সমস্যাগুলির পাঠ্যপুস্তকে এটি (এবং প্রচুর সম্পর্কিত উপাদান) পেতে পারেন।

— ব্রায়ান বোর্চারস

আমার আরও যোগ করা যাক আসলে এই ম্যাট্রিক্স বিপরীত গণনা করা সাধারণত এই সূত্রটি ব্যবহার করার সর্বোত্তম উপায় নয়। এর আকার এবং সম্ভাব্য স্পারসিটির উপর নির্ভর করে আপনি পুনরাবৃত্তি স্কিম ব্যবহার করে বা কেবল ম্যাট্রিক্স আইয়ের কোলেস্কি ফ্যাক্টেরাইজেশন ব্যবহার করা থেকে ভাল হতে পারেন ।

X

$X$

X^{T} X + λ I

$X^{T}X + \lambda I$

— ব্রায়ান বোর্চারস 22'14

আপনার পরামর্শের জন্য ধন্যবাদ! আমি আপনার বইয়ের রেফারেন্সটির প্রশংসা করি কারণ এই উপাদানটিতে একটি টেক্সটবুক সন্ধান করতে আমার সমস্যা হয়েছে। আমাদের ডেটা আকার আসলে খুব বড় নয় (কেবলমাত্র এটি ডেটা আলাদা করতে আমাদের অনেকবার প্রয়োগ করতে হতে পারে), তাই সরাসরি বিপরীতকে উপযুক্ত হতে পারে তবে অতিরিক্ত পয়েন্টারের জন্য ধন্যবাদ!

— হ্যাটম্যাট্রিক্স