রিজ রিগ্রেশনকে কেন "রিজ" বলা হয়, কেন এটির প্রয়োজন হয় এবং অনন্ত হয়ে গেলে কী ঘটে ?

রিজ রিগ্রেশন সহগের প্রাক্কলন মানগুলি যা হ্রাস করে $\hat{\beta}^R$

RSS + λ \sum_{j = 1}^{p} β_{j}^{2} .

$\text{RSS} + \lambda \sum_{j=1}^p\beta_j^2.$

আমার প্রশ্নগুলি হ'ল:

যদি , তবে আমরা দেখতে পাচ্ছি যে উপরের অভিব্যক্তিটি স্বাভাবিক আরএসএসে হ্রাস পায়। কি হবে যদি ? সহগের আচরণের পাঠ্যপুস্তকের ব্যাখ্যাটি আমি বুঝতে পারি না। $\lambda = 0$ $\lambda \to \infty$
একটি নির্দিষ্ট শব্দটির পিছনে ধারণাটি বুঝতে সহায়তা করার জন্য কেন এই শব্দটিকে RIDGE Regression বলা হয়? (কেন রিজ?) এবং সাধারণ / সাধারণ রিগ্রেশনটিতে কী ভুল হতে পারে যে রিজ রিগ্রেশন নামে একটি নতুন ধারণা চালু করার প্রয়োজন আছে?

আপনার অন্তর্দৃষ্টি দুর্দান্ত হবে।

ridge-regression statistical-learning history

— CGO
সূত্র

উত্তর:

যেহেতু আপনি অন্তর্দৃষ্টি জিজ্ঞাসা করছেন , আমি আরও গাণিতিক ট্র্যাকের চেয়ে মোটামুটি স্বজ্ঞাত পন্থা গ্রহণ করব:

এখানে আমার উত্তরে ধারণাগুলি অনুসরণ করে , আমরা (আপনার গঠনের ক্ষেত্রে) পর্যবেক্ষণ যুক্ত করে ডামি ডেটা সহ একটি রিগ্রেশনকে তৈরি করতে পারি , যেখানে , এবং জন্য । আপনি যদি এই প্রসারিত ডেটা সেটটির জন্য নতুন আরএসএস লিখেন, তবে প্রতিটি ফর্মের একটি পদ যুক্ত করা অতিরিক্ত পর্যবেক্ষণগুলি দেখতে পাবেন , সুতরাং নতুন আরএসএস হ'ল মূল - এবং আরএসএসকে এই নতুন, প্রসারিত ডেটা সেটকে ছোট করে রিজ রিগ্রেশন মানদণ্ডকে হ্রাস করার সমান। $p$ $y_{n+j}=0$ $x_{j,n+j}=\sqrt{\lambda}$ $x_{i,n+j}=0$ $i\neq j$ $(0-\sqrt{\lambda}\beta_j)^2=\lambda\beta_j^2$ $\text{RSS} + \lambda \sum_{j=1}^p\beta_j^2$

তাহলে আমরা এখানে কী দেখতে পারি? হিসাবে বেড়ে যায়, অতিরিক্ত -rows প্রতিটি এক উপাদান যা বৃদ্ধি আছে, এবং সেইজন্য এই পয়েন্ট প্রভাব এছাড়াও বৃদ্ধি পায়। তারা লাগানো হাইপারপ্লেন নিজের দিকে টান। তারপরে এবং এর সাথে সম্পর্কিত উপাদানগুলি অনন্তের দিকে চলে যায়, সমস্ত জড়িত সহগগুলি থেকে "সমতল" হয় । $\lambda$ $x$ $\lambda$ $x$ $0$

অর্থাৎ , শাস্তি হ্রাসকে আধিপত্য করবে, সুতরাং the গুলি শূন্যে যাবে। যদি ইন্টারসেপ্টটি দণ্ডিত না করা হয় (সাধারণ ক্ষেত্রে) তবে মডেলটি প্রতিক্রিয়াটির গড়ের দিকে আরও কম সংকোচিত হয়। $\lambda\to\infty$ $\beta$
আমি প্রথমে শ্যাওলাগুলি সম্পর্কে কেন কথা বলছি (যা এটি কেন প্রয়োজন তাও বোঝায়) এর একটি স্বজ্ঞাত জ্ঞান দেব, তারপরে একটি সামান্য ইতিহাসকে মোকাবেলা করব। প্রথমটি আমার উত্তর থেকে এখানে মানিয়ে নেওয়া হয়েছে :

যদি মাল্টিকোলাইনারিটি থাকে তবে আপনি সম্ভাবনা ফাংশনে একটি "রিজ" পান (সম্ভাবনাটি ফাংশন )। এর ফলে আরএসএসে একটি দীর্ঘ "উপত্যকা" পাওয়া যায় (যেহেতু আরএসএস = )। $\beta$ $-2\log\mathcal{L}$

রিজ রিগ্রেশন রিজটিকে "ঠিক করে" দেয় - এটি এমন একটি পেনাল্টি যুক্ত করে যা সম্ভাবনাময় জায়গাকে একটি দুর্দান্ত শিখরে পরিণত করে, সমানভাবে আমরা যে মানদণ্ডকে কমিয়ে দিচ্ছি তাতে একটি দুর্দান্ত হতাশা:

[ পরিষ্কার চিত্র ]

নামের পিছনে আসল গল্পটি কিছুটা জটিল। ১৯৫৯ সালে এই হোয়ারেল [১] প্রতিক্রিয়া পৃষ্ঠের পদ্ধতির জন্য রিজ বিশ্লেষণ প্রবর্তন করেছিলেন এবং খুব শীঘ্রই [২] রিগ্রেশন ('রিজ রিগ্রেশন') -তে বহুবিশ্লেষ্যতার মোকাবেলায় অভিযোজিত হয়ে ওঠে। উদাহরণস্বরূপ দেখুন, [3] এ আরডাব্লু হোয়ারেলের আলোচনায়, যেখানে এটি হিউরেলের (এই নয় আরডাব্লু) প্রতিক্রিয়ার পৃষ্ঠের কনট্যুর প্লটগুলির ব্যবহারের বর্ণনা দিয়েছে * যেখানে স্থানীয় অপটিমা খুঁজে পাওয়া যাবে (যেখানে একজন 'শীর্ষস্থানীয়?' শৈলশিরা ')। কন্ডিশনার সমস্যাগুলিতে খুব দীর্ঘ কান্ডের সমস্যা দেখা দেয় এবং রিজ বিশ্লেষণ থেকে অন্তর্দৃষ্টি এবং পদ্ধতিটি রিগ্রেশন-এর সম্ভাবনা / আরএসএসের সাথে সম্পর্কিত সমস্যার সাথে অভিযোজিত হয়, রিজ রিগ্রেশন তৈরি করে producing

* প্রতিক্রিয়া পৃষ্ঠের কনট্যুর প্লটের উদাহরণগুলি (চতুর্ভুজ প্রতিক্রিয়ার ক্ষেত্রে) এখানে দেখা যাবে (চিত্র 3.9-3.12)।

অর্থাৎ, "রিজ" বলতে ম্যাট্রিক্সে একটি "রিজ" (+ ওয়ে ডায়াগোনাল) যুক্ত করার পরিবর্তে আমরা যে ফাংশনটি অপ্টিমাইজ করার চেষ্টা করেছিলাম তার বৈশিষ্ট্যগুলিকে বোঝায় (সুতরাং যখন রিজ রিগ্রেশনটি তির্যকটিতে যুক্ত হয়, এজন্যই আমরা এটিকে 'রিজ' রিগ্রেশন বলি না)। $X^TX$

রিজ রিগ্রেশন সম্পর্কিত প্রয়োজনীয়তার জন্য কিছু অতিরিক্ত তথ্যের জন্য উপরে তালিকা আইটেম ২ এর অধীনে প্রথম লিঙ্কটি দেখুন।

তথ্যসূত্র:

[1]: হোয়ারেল, এই (1959)। অনেকগুলি ভেরিয়েবল সমীকরণের সর্বোত্তম সমাধান। রাসায়নিক প্রকৌশল অগ্রগতি , 55 (11) 69-78।

[2]: হোয়ারেল, এই (1962)। রিগ্রেশন সমস্যাগুলিতে রিজ বিশ্লেষণের প্রয়োগ। রাসায়নিক প্রকৌশল অগ্রগতি , 58 (3) 54-59।

[3] হোয়ারেল, আরডাব্লু (1985)। রিজ বিশ্লেষণ 25 বছর পরে। আমেরিকান পরিসংখ্যানবিদ , 39 (3), 186-192

— Glen_b
সূত্র

এটি অত্যন্ত সহায়ক। হ্যাঁ, যখন আমি অন্তর্দৃষ্টি জিজ্ঞাসা করছিলাম তখন আমি অন্তর্দৃষ্টি খুঁজছিলাম। অবশ্যই গণিতটি গুরুত্বপূর্ণ, তবে আমি ধারণাগত ব্যাখ্যাও খুঁজছিলাম, কারণ এমন কিছু অংশ রয়েছে যখন গণিতটি আমার বাইরে ছিল। আবার ধন্যবাদ.

— cgo

বুলেট পয়েন্ট 1-এ আপনার "ভারী" শব্দটি কেন আছে?

— অ্যামিবা

এটি একটি ভাল প্রশ্ন; আসল রিগ্রেশন ওজন না করা হলে এটিকে ভার করার দরকার নেই। আমি বিশেষণটি সরিয়েছি। এটা এছাড়াও একটি ভরযুক্ত রিগ্রেশন (যা আপনি ইতিমধ্যে ভরযুক্ত রিগ্রেশন করছেন খুব সামান্য সহজ মোকাবেলা করতে হতে পারে) যেমন লিখতে সম্ভব।

— গ্লেন_বি

যদি তবে আমাদের পেনাল্টি শব্দটি ব্যতীত অন্য যে কোনও জন্য অসীম হবে , সুতরাং এটিই আমরা পেয়ে যাব। অন্য কোনও ভেক্টর নেই যা আমাদের উদ্দেশ্যমূলক কার্যের একটি সীমাবদ্ধ মূল্য দেবে। $\lambda \rightarrow \infty$ $\beta$ $\beta = 0$

(আপডেট: দয়া করে Glen_b এর উত্তর দেখার এই হল। না সঠিক ঐতিহাসিক কারণ!)

এটি ম্যাট্রিক্স নোটেশনে রিজ রিগ্রেশন এর সমাধান থেকে আসে। সমাধানটি শব্দটি মূল তির্যক একটি "শৈলশিরা" যোগ করা হয়েছে এবং গ্যারান্টী বা নিশ্চয়তা ফলে ম্যাট্রিক্স উল্টানোর হয়। এর অর্থ হল, ওএলএসের বিপরীতে আমরা সর্বদা একটি সমাধান পেয়ে যাব। $\hat{β} = (X^{T} X + λ I)^{- 1} X^{T} Y .$ $\hat \beta = (X^TX + \lambda I)^{-1} X^TY.$ $\lambda I$

পূর্বাভাসীদের পারস্পরিক সম্পর্কযুক্ত হলে রিজ রিগ্রেশন কার্যকর হয়। এই ক্ষেত্রে ওএলএস বিশাল সহগের সাথে বন্য ফলাফল দিতে পারে, তবে সেগুলিকে শাস্তি দেওয়া হলে আমরা আরও অনেক যুক্তিসঙ্গত ফলাফল পেতে পারি। সাধারণভাবে রিজ রিগ্রেশন একটি বড় সুবিধা হ'ল সমাধানটি সর্বদা উপস্থিত থাকে, যেমন উপরে বর্ণিত। এটি এমন ক্ষেত্রে এমনকি প্রযোজ্য যেখানে , যার জন্য ওএলএস কোনও (অনন্য) সমাধান সরবরাহ করতে পারে না। $n < p$

Prior ভেক্টরকে যখন কোনও সাধারণ পূর্বে রাখা হয় তখন রিজ রিগ্রেশনও ফলাফল । $\beta$

এখানে Bayesian শৈলশিরা রিগ্রেশন নিতে দেওয়া হল: ধরুন আমাদের জন্য পূর্বের হয় । তারপরে কারণ [অনুমান করে] আমাদের কাছে $\beta$ $\beta \sim N(0, \frac{\sigma^2}{\lambda}I_p)$ $(Y|X, \beta) \sim N(X\beta, \sigma^2 I_n)$

π (β | y) \propto π (β) f (y | β)

$\pi(\beta | y) \propto \pi(\beta) f(y|\beta)$

\propto \frac{1}{(σ^{2} / λ)^{p / 2}} \exp (- \frac{λ}{2 σ^{2}} β^{T} β) \times \frac{1}{(σ^{2})^{n / 2}} \exp (\frac{- 1}{2 σ^{2}} | | y - X β | |^{2})

$\propto \frac{1}{(\sigma^2/\lambda)^{p/2}} \exp \left( -{\lambda \over 2\sigma^2} \beta^T\beta \right) \times \frac{1}{(\sigma^2)^{n/2}} \exp \left( \frac{-1}{2\sigma^2} ||y - X\beta||^2 \right)$

\propto \exp (- \frac{λ}{2 σ^{2}} β^{T} β - \frac{1}{2 σ^{2}} | | y - X β | |^{2}) .

$\propto \exp \left( -{\lambda \over 2\sigma^2} \beta^T\beta - \frac{1}{2\sigma^2} ||y - X\beta||^2 \right).$

আসুন উত্তরবর্তী মোডটি সন্ধান করুন (আমরা উত্তরোত্তর গড় বা অন্যান্য জিনিসগুলিও দেখতে পারি তবে এর জন্য আসুন মোডটি দেখুন, অর্থাৎ সবচেয়ে সম্ভাব্য মান)। এর অর্থ আমরা যা সমান

max_{β \in R^{p}} \exp (- \frac{λ}{2 σ^{2}} β^{T} β - \frac{1}{2 σ^{2}} | | y - X β | |^{2})

$\max_{\beta \in \mathbb R^p} \ \exp \left( -{\lambda \over 2\sigma^2} \beta^T\beta - \frac{1}{2\sigma^2} ||y - X\beta||^2 \right)$

max_{β \in R^{p}} - \frac{λ}{2 σ^{2}} β^{T} β - \frac{1}{2 σ^{2}} | | y - X β | |^{2}

$\max_{\beta \in \mathbb R^p} \ -{\lambda \over 2\sigma^2} \beta^T\beta - \frac{1}{2\sigma^2} ||y - X\beta||^2$ কারণ কঠোরভাবে একঘেয়ে এবং এটি পরিবর্তে

\log

$\log$

min_{β \in R^{p}} | | y - X β | |^{2} + λ β^{T} β

$\min_{\beta \in \mathbb R^p} ||y - X\beta||^2 + \lambda \beta^T\beta$

যা দেখতে বেশ পরিচিত দেখা উচিত।

সুতরাং আমরা দেখতে যে আমরা যদি গড় 0 এবং ভ্যারিয়েন্স সঙ্গে একটি স্বাভাবিক পূর্বে করা আমাদের উপর ভেক্টর, মান যা অবর maximizes শৈলশিরা মূল্নির্ধারক হয়। মনে রাখবেন যে এটি ঘনত্ববাদী প্যারামিটার হিসাবে আরও কারণ এর পূর্বে কোনও পূর্বে নেই তবে এটি জানা যায়নি, সুতরাং এটি পুরোপুরি বায়েশিয়ান নয়। $\frac{\sigma^2}{\lambda}$ $\beta$ $\beta$ $\sigma^2$

সম্পাদনা: আপনি কেস সম্পর্কে জিজ্ঞাসা করেছেন যেখানে । আমরা জানি যে একটি hyperplane ঠিক দ্বারা সংজ্ঞায়িত করা হয় পয়েন্ট। যদি আমরা একটি লিনিয়ার রিগ্রেশন এবং চালিয়ে যাচ্ছি তবে আমরা আমাদের ডেটাটি হুবহু আলাদা করে পাই এবং পেয়ে যাব । এটি একটি সমাধান, তবে এটি একটি ভয়ানক future ভবিষ্যতের ডেটাগুলিতে আমাদের সম্পাদনা সম্ভবত অসাধ্য হবে। এখন ধরা যাক : এই পয়েন্টগুলির দ্বারা নির্ধারিত কোনও অনন্য হাইপারপ্লেন নেই। স্কয়ারের 0 টি অবশিষ্টাংশের সাথে আমরা হাইপারপ্লেনের একটি বিশাল সংখ্যাতে ফিট করতে পারি। $n < p$ $\mathbb R^p$ $p$ $n = p$ $||y - X\hat\beta||^2 = 0$ $n < p$

খুব সাধারণ উদাহরণ: ধরুন । তারপরে আমরা এই দুটি পয়েন্টের মধ্যে একটি লাইন পাব। এখন ধরুন তবে । এতে এই দুটি পয়েন্ট সহ একটি বিমানের চিত্র দিন। এই দুটি পয়েন্ট এতে রয়েছে তা পরিবর্তন না করেই আমরা এই বিমানটি ঘোরাইতে পারি, সুতরাং আমাদের লক্ষ্যমাত্রার কার্যকারিতার একটি নিখুঁত মান সহ প্রচুর অসংখ্য মডেল রয়েছে, সুতরাং অতিপরিচ্ছন্নতার বিষয়টি ছাড়াই এটি কোনটি বেছে নেবে তা পরিষ্কার নয়। $n = p = 2$ $n = 2$ $p = 3$

চূড়ান্ত মন্তব্য হিসাবে (প্রতি @ গুং এর পরামর্শ অনুসারে), লাসো (একটি জরিমানা ব্যবহার করে ) সাধারণত উচ্চ মাত্রিক সমস্যার জন্য ব্যবহৃত হয় কারণ এটি স্বয়ংক্রিয়ভাবে পরিবর্তনশীল নির্বাচন করে (কিছু সেট করে )) আনন্দের সাথে যথেষ্ট, এটি দেখা যাচ্ছে যে । ভেক্টরের আগে ডাবল এক্সফোনেনশিয়াল (ওরফে ল্যাপ্লেস) ব্যবহার করার সময় ল্যাসো পোস্টারিয়র মোড সন্ধানের সমতুল্য । Lasso যেমন এ saturating যেমন কিছু সীমাবদ্ধতা আছে, ভবিষ্যতবক্তা এবং অগত্যা একটি আদর্শ ফ্যাশন সম্পর্কিত ভবিষ্যতবক্তা দলের হ্যান্ডলিং, তাই ইলাস্টিক নেট (এর উত্তল সমন্বয় এবং জরিমানা) বহন আনা হতে পারে। $L_1$ $\beta_j = 0$ $\beta$ $n$ $L_1$ $L_2$

— jld
সূত্র

(+1) আপনার উত্তরটি বায়সিয়ান এবং রিজ রিগ্রেশন এর মধ্যে সংযোগটি বিশদ দ্বারা উন্নত করা যেতে পারে।

— সাইকোরাক্স

করবে - এখন এটি টাইপ করুন।

— জেএলডি

এনএলপি যখন পেল না তবে ওএলএস একটি অনন্য সমাধান খুঁজে পাবে না কারণ ডিজাইনের ম্যাট্রিক্স পুরো র‌্যাঙ্কের নয়। এটি একটি খুব সাধারণ প্রশ্ন; কেন এটি কাজ করে না তার বিবরণ জন্য দয়া করে সংরক্ষণাগারগুলি সন্ধান করুন।

n < p

$n<p$

— সাইকোরাক্স

@cgo: ব্যবহারকারী 777 এর ব্যাখ্যা এবং অনুসন্ধানের জন্য পরামর্শটি ভাল, তবে সম্পূর্ণতার জন্য আমি একটি (আশাবাদী) স্বজ্ঞাত ব্যাখ্যাও যুক্ত করেছি।

— জেএলডি

+1, সুন্দর উত্তর। এন এন পি, আপনি উল্লেখ করতে পারেন যে সাধারণত ল্যাসো এই ক্ষেত্রে ব্যবহৃত হয় এবং এটি আরআর এর সাথে নিবিড়ভাবে সম্পর্কিত।

— গাং