"ইউনিট-ভেরিয়েন্স" রিজ রিগ্রেশন অনুমানের সীমা যখন

অতিরিক্ত বাধা নিয়ে রিজ রিগ্রেশন বিবেচনা করুন যা ; এর বর্গাকার ইউনিটের সমষ্টি (সমানভাবে, ইউনিটের বৈকল্পিক) প্রয়োজন; প্রয়োজনে, কেউ ধরে নিতে পারেন যে এর সাথে বর্গক্ষেত্রের একক রয়েছে: $\hat{\mathbf y}$ $\mathbf y$

{\hat{β}}_{λ}^{*} = \arg min {‖ y - X β ‖^{2} + λ ‖ β ‖^{2}} s.t. ‖ X β ‖^{2} = 1.

$\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1.$

$\hat{\boldsymbol\beta}_\lambda^*$ যখন সীমা কত $\lambda\to\infty$ ?

এখানে কিছু বিবৃতি যা আমি বিশ্বাস করি সত্য:

যখন $\lambda=0$ , তখন একটি পরিষ্কার পরিষ্কার সমাধান পাওয়া যায়: ওএলএসের অনুমানকারী $\hat{\boldsymbol\beta}_0=(\mathbf X^\top \mathbf X)^{-1}\mathbf X^\top \mathbf y$ এবং সীমাবদ্ধতা মেটানোর জন্য এটি স্বাভাবিক করুন (একজন এটি একটি ল্যাঞ্জরেঞ্জ গুণক যোগ করে এবং পার্থক্য দেখিয়ে দেখতে পারেন):
${\hat{β}}_{0}^{*} = {\hat{β}}_{0} / ‖ X {\hat{β}}_{0} ‖ .$ $\hat{\boldsymbol\beta}_0^* = \hat{\boldsymbol\beta}_0 \big/ \|\mathbf X\hat{\boldsymbol\beta}_0\|.$
সাধারণভাবে সমাধানটি
${\hat{β}}_{λ}^{*} = ((1 + μ) X^{⊤} X + λ I)^{- 1} X^{⊤} y with μ needed to satisfy the constraint .$ $\hat{\boldsymbol\beta}_\lambda^*=\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}\mathbf X^\top \mathbf y\:\:\text{with $\mu$ needed to satisfy the constraint}.$ হলে আমি কোনও বন্ধ ফর্ম সমাধান দেখতে পাচ্ছি না । মনে হচ্ছে সমাধানটি সীমাবদ্ধতা মেটানোর জন্য কিছু সাধারণ R ল্যাম্বদা দিয়ে সাধারণ আরআর অনুমানের সমান , তবে আমি জন্য কোনও বদ্ধ সূত্র দেখতে পাচ্ছি না । $\lambda >0$ $\lambda^*$ $\lambda^*$
যখন $\lambda\to \infty$ , সাধারণ আরআর অনুমানকারী
${\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y$ $\hat{\boldsymbol\beta}_\lambda=(\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}\mathbf X^\top \mathbf y$ স্পষ্টতই শূন্যে রূপান্তরিত হয় তবে এর দিকনির্দেশ $\hat{\boldsymbol\beta}_\lambda \big/ \|\hat{\boldsymbol\beta}_\lambda\|$ এর দিক থেকে এগোয় $\mathbf X^\top \mathbf y$ , ওরফে প্রথম আংশিক লিস্ট স্কোয়ার (পিএলএস) অংশটি।

বিবৃতি (২) এবং (৩) একসাথে আমাকে তোলে যে সম্ভবত $\hat{\boldsymbol\beta}_\lambda^*$ এছাড়াও যথাযথভাবে সাধারণীকরণ করা রূপান্তরিত হয় $\mathbf X^\top \mathbf y$ তবে আমি নিশ্চিত নই যে এটি সঠিক এবং আমি কোনওভাবেই নিজেকে বোঝাতে সক্ষম হইনি।

— অ্যামিবা বলছেন মনিকাকে রিইনস্টেট করুন
সূত্র

উত্তর:

একটি জ্যামিতিক ব্যাখ্যা

প্রশ্নটিতে বর্ণিত অনুমানকটি হ'ল ল্যাঞ্জরেঞ্জ গুণকটি নিম্নলিখিত অপটিমাইজেশন সমস্যার সমতুল্য:

minimize f (β) subject to g (β) \leq t and h (β) = 1

$\text{minimize $f(\beta)$ subject to $g(\beta) \leq t$ and $h(\beta) = 1$ }$

\begin{aligned} f (β) & = ‖ y - X β ‖^{2} \\ g (β) & = ‖ β ‖^{2} \\ h (β) & = ‖ X β ‖^{2} \end{aligned}

$\begin{align} f(\beta) &= \lVert y-X\beta \lVert^2 \\ g(\beta) &= \lVert \beta \lVert^2\\ h(\beta) &= \lVert X\beta \lVert^2 \end{align}$

যা জ্যামিতিকভাবে দেখা যেতে পারে, সবচেয়ে ছোট উপবৃত্তাকার সন্ধান হিসাবে যা গোলকের এর ছেদকে স্পর্শ করে এবং উপবৃত্তাকার $f(\beta)=\text{RSS }$ $g(\beta) = t$ $h(\beta)=1$

স্ট্যান্ডার্ড রিজ রিগ্রেশন ভিউয়ের সাথে তুলনা

জ্যামিতিক দৃষ্টিকোণ দৃষ্টিভঙ্গির ক্ষেত্রে এটি পয়েন্টের পুরানো দৃষ্টিভঙ্গিকে (স্ট্যান্ডার্ড রিজ রিগ্রেশনের জন্য) পরিবর্তিত করে যেখানে গোলক (ত্রুটি) এবং গোলক ( ) স্পর্শ রয়েছে $\|\beta\|^2=t$ । একটি নতুন দৃশ্যে যেখানে আমরা সেই বিন্দুর সন্ধান করি যেখানে স্পেরয়েড (ত্রুটিগুলি) একটি বক্ররেখা স্পর্শ করে ( দ্বারা জড়িত বিটার আদর্শ ) $\|X\beta\|^2=1$ । Sp সীমাবদ্ধতার সাথে ছেদ করার কারণে এক গোলক (বাম চিত্রের নীল) নিম্ন মাত্রায় চিত্রে পরিবর্তিত হয় । $\|X\beta\|=1$

দ্বিমাত্রিক ক্ষেত্রে এটি দেখতে সহজ।

আমরা যখন প্যারামিটার টিউন করি তখন আমরা নীল / লাল গোলকের তুলনামূলক দৈর্ঘ্য বা এবং এর আপেক্ষিক দৈর্ঘ্য পরিবর্তন করি (ল্যাঙ্গরজিয়ান মাল্টিপ্লায়ার্স তত্ত্বে সম্ভবত আনুষ্ঠানিকভাবে এবং একটি ঝরঝরে উপায় আছে ঠিক এর মানে হল যে প্রতিটি জন্য বর্ণনা এর ফাংশন হিসাবে , অথবা বিপরীত, একটি একঘেয়ে ফাংশন। কিন্তু আমি মনে কর তুমি, intuitively দেখতে পারেন স্কোয়ারড অবশিষ্টাংশ এর সমষ্টি শুধুমাত্র বৃদ্ধি যখন আমরা হ্রাস ।) $t$ $f(\beta)$ $g(\beta)$ $t$ $\lambda$ $||\beta||$

সমাধান জন্য হিসাবে আপনি 0 এবং এর মধ্যে একটি লাইনে বলা হয় $\beta_\lambda$ $\lambda=0$ $\beta_{LS}$

সমাধান জন্য Is (প্রকৃতপক্ষে যেমন আপনার মন্তব্য করার) প্রথম অধ্যক্ষ উপাদানের loadings হবে। এটি সেই বিন্দু যেখানে মধ্যে সবচেয়ে ছোট । এটি সেই বিন্দু যেখানে একক বিন্দুতে উপবৃত্ত স্পর্শ করে । $\beta_\lambda$ $\lambda \to \infty$ $\lVert \beta \rVert^2$ $\lVert \beta X \rVert^2 = 1$ $\lVert \beta \rVert^2=t$ $|X\beta|=1$

এই 2-ডি ভিউতে গোলকের এবং spheroid এর পয়েন্ট। একাধিক মাত্রায় এগুলি বক্ররেখা হবে $\lVert \beta \rVert^2 =t$ $\lVert \beta X \rVert^2 = 1$

(আমি প্রথম কাল্পনিক। যে এই রেখাচিত্র উপবৃত্ত হবে কিন্তু তারা আরো জটিল আপনি উপবৃত্ত কল্পনা করতে পারে বল দ্বারা বিভক্ত করা হচ্ছে কিছু এলিপসয়েড হতাশার ধরণের তবে প্রান্তগুলি যা কোনও সহজ উপবৃত্ত নয়) $\lVert X \beta \rVert^2 = 1$ $\lVert \beta \rVert^2 \leq t$

সীমা $\lambda \to \infty$

প্রথমে (পূর্ববর্তী সম্পাদনাগুলি) আমি লিখেছিলাম যে কিছু সীমাবদ্ধ যার উপরে সমস্ত সমাধান একই (এবং তারা they পয়েন্টে থাকে )। কিন্তু এই হল না কেস $\lambda_{lim}$ $\beta^*_\infty$

LARS অ্যালগরিদম বা গ্রেডিয়েন্ট বংশোদ্ভূত হিসাবে অপ্টিমাইজেশন বিবেচনা করুন। যদি কোনও বিন্দু জন্য কোনও দিক থাকে যেখানে আমরা পরিবর্তন করতে পারি যে পেনাল্টি টার্ম এসএসআর টার্মের চেয়ে কম বৃদ্ধি করে হ্রাস পায় তবে আপনি ন্যূনতম নন । $\beta$ $\beta$ $|\beta|^2$ $|y-X\beta|^2$

ইন স্বাভাবিক শৈলশিরা রিগ্রেশন আপনার জন্য একটি শূন্য ঢাল (সমস্ত নির্দেশাবলী মধ্যে) থাকতে বিন্দুতে । সুতরাং সমস্ত সীমাবদ্ধ- ক্ষেত্রে সমাধানটি হতে পারে না (যেহেতু শাস্তি না বাড়িয়ে স্কোয়ারের অবশিষ্টাংশের যোগফল হ্রাস করার জন্য একটি অনন্য পদক্ষেপ নেওয়া যেতে পারে)। $|\beta|^2$ $\beta=0$ $\lambda$ $\beta = 0$
Lasso জন্য এই হল না একই যেহেতু: শাস্তি হয় (তাই শূন্য ঢাল সঙ্গে দ্বিঘাত নয়)। যে কারণে কিছু সীমিত মান থাকবে যার উপরে সমস্ত সমাধান শূন্য কারণ পেনাল্টি টার্ম ( দ্বারা গুণিত ) বর্গের অবশিষ্টাংশ হ্রাসের চেয়ে আরও বৃদ্ধি পাবে। $\lvert \beta \rvert_1$ $\lambda_{lim}$ $\lambda$
সীমাবদ্ধ রিজের জন্য আপনি নিয়মিত রিজ রিগ্রেশন হিসাবে একই পাবেন। আপনি পরিবর্তন করেন তাহলে থেকে শুরু তারপর এই পরিবর্তন হতে হবে ঋজু থেকে ( উপবৃত্তাকার পৃষ্ঠতলের ঋজু হয় ) এবং জরিমানার শর্ত পরিবর্তন না করে স্কোয়ারের অবশিষ্টাংশের যোগফলকে হ্রাস না করে একটি অনন্য পদক্ষেপের মাধ্যমে পরিবর্তন করা যেতে পারে। সুতরাং যে কোনও সীমাবদ্ধ পয়েন্টের জন্য সমাধান হতে পারে না। $\beta$ $\beta^*_\infty$ $\beta$ $\beta^*_\infty$ $|X\beta|=1$ $\beta$ $\lambda$ $\beta^*_\infty$

সীমা সম্পর্কে আরও নোট $\lambda \to \infty$

ইনফিনিটির জন্য স্বাভাবিক রিজ রিগ্রেশন সীমাবদ্ধতা রিজ রিগ্রেশন ভিন্ন পয়েন্টের সাথে মিলে যায়। এই 'পুরানো' সীমাটি সেই বিন্দুর সাথে মিলে যায় যেখানে সমান -1 এর সমান হয়। তারপরে স্বাভাবিক সমস্যাটিতে লাগরঞ্জ ফাংশনের ডেরাইভেটিভ $\lambda$ $\mu$

$2 (1 + μ) X^{T} X β + 2 X^{T} y + 2 λ β$ $2 (1+\mu) X^{T}X \beta + 2 X^T y + 2 \lambda \beta$ স্ট্যান্ডার্ড সমস্যার মধ্যে ল্যাংরেজ ফাংশনের ডাইরিভেটিভের সমাধানের সাথে মিল রাখে

$2 X^{T} X β^{'} + 2 X^{T} y + 2 \frac{λ}{(1 + μ)} β^{'} with β^{'} = (1 + μ) β$ $2 X^{T}X \beta^\prime + 2 X^T y + 2 \frac{\lambda}{(1+\mu)} \beta^\prime \qquad \text{with $\beta^\prime = (1+\mu)\beta$}$

লিখেছেন স্ট্যাকএক্সচেঞ্জ স্ট্রাইক

— সেক্সটাস এম্পেরিকাস
সূত্র

+1 টি। অনেক অনেক ধন্যবাদ, এটি দুর্দান্ত সহায়ক! এটিকে ভাবতে আমার কিছুটা সময় লাগবে।

— অ্যামিবা বলেছেন পুনর্নির্মাণ মনিকা

এটি উল্লেখ করার মতো যে লাল এবং কালো উপবৃত্তগুলির একই আকৃতি রয়েছে: এ কারণেই তারা যেখানে তাদের স্পর্শ করে তাদের কেন্দ্রগুলিকে যুক্ত রেখার উপর অবস্থিত। আমার প্রশ্নের পয়েন্ট # 1 এর দুর্দান্ত গ্রাফিকাল প্রমাণ proof

— অ্যামিবা বলছে মনিকাকে

আমি আপনার আঁকার উপর কোথায় বেটা অনন্ত ল্যাম্বদার সাথে রিজ প্রাক্কলনকারীর সাথে সাদৃশ্যপূর্ণ, কালো উপবৃত্তির উপর শুয়ে থাকতে স্বাভাবিক করেছি understand আমি মনে করি এটি এবং (আমার স্বরলিপি ব্যবহার করে) - এর মধ্যে যে দুটি পয়েন্ট যা আপনার অঙ্কনের কালো খোলা চেনাশোনাগুলির সাথে চিহ্নিত। সুতরাং আমরা যদি রিজ রিগ্রেশন করি এবং সমাধানটিকে সাধারণীকরণ করি এবং ল্যাম্বডাকে 0 থেকে অনন্তের দিকে বাড়িয়ে তুলি তবে এটি সম্ভবত আমাদের একই চাপকে নিয়ে যায়, তবে পিসি 1 পর্যন্ত পুরো পথটি নয় not পরিবর্তে, সীমাবদ্ধভাবে স্পষ্টভাবে রেখে, সমাধানগুলি PC1 অবধি পুরোপুরি এগিয়ে যায়।

β_{0}^{*}

$\beta_0^*$

β_{\infty}^{*}

$\beta_\infty^*$

‖ X β ‖ = 1

$\|X\beta\|=1$

— অ্যামিবা

+5 (আমি উত্তমভাবে আপনার জবাবটি পুরষ্কার দেব) started আমি আমার নিজস্ব উত্তরও পোস্ট করেছি কারণ আমি কিছু বীজগণিত ডেরাইভেশন করেছি এবং প্রশ্নটিতে যুক্ত করা খুব বেশি ছিল। আপনার সিদ্ধান্তে আমি নিশ্চিত নই যে এখানে কিছু সীমাবদ্ধ থাকবে যার পরে সমাধানটি আর পরিবর্তন হবে না এবং পিসি 1 দ্বারা দেওয়া হবে। আমি এটি বীজগণিতভাবে দেখতে পাচ্ছি না এবং কেন এটি থাকতে হবে তার জন্য আপনার যুক্তিটি আমি পুরোপুরি বুঝতে পারি না। আসুন এটি বের করার চেষ্টা করি।

λ_{lim}

$\lambda_\text{lim}$

— অ্যামিবা বলেছেন রোনস্টেট মনিকা

@ আমেবা, আপনি সীমাবদ্ধ mb ল্যাম্বদা existing বিদ্যমান নেই সম্পর্কে সঠিক ছিলেন । আমি খুব স্বজ্ঞাততার সাথে যুক্তি দিয়েছিলাম এবং নিয়মিত রিজ রিগ্রেশনকে সীমাবদ্ধ রিজ রিগ্রেশন-এর জন্য একটি নির্দিষ্ট শর্ত থেকে দ্রুত লাফিয়ে উঠি। নিয়মিত আরআর point বিন্দুতে জন্য একটি শূন্য allাল (সমস্ত দিকের দিকে) । আমি ভেবেছিলাম যে ( ) আপনি সীমাবদ্ধ প্রতিরোধের সাথে এটি পাবেন না not তবে ক্ষেত্রে সীমাবদ্ধ আপনি সমস্ত দিক থেকে 'সরাতে' পারবেন না ।

λ_{lim}

$\lambda_{\lim}$

| β |^{2}

$|\beta|^2$

β = 0

$\beta = 0$

β_{\infty}^{*} \neq 0

$\beta^*_\infty \neq 0$

β

$\beta$

| X β | = 1

$|X\beta| =1$

β

$\beta$

— সেক্সটাস এম্পিরিকাস

এটি @ মার্তিজানের সুন্দর জ্যামিতিক উত্তরের একটি বীজগণিত অংশ।

সবার আগে, যখন হয় প্রাপ্তি সহজ: সীমাতে, লোকসানের কার্যক্রমে প্রথম পদটি নগণ্য হয়ে যায় এবং এভাবে উপেক্ষা করা যায়। অপ্টিমাইজেশনের সমস্যাটি যা প্রথম প্রধান উপাদান

{\hat{β}}_{λ}^{*} = \arg min {‖ y - X β ‖^{2} + λ ‖ β ‖^{2}} s.t. ‖ X β ‖^{2} = 1

$\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1$

λ \to \infty

$\lambda\to\infty$

lim_{λ \to \infty} {\hat{β}}_{λ}^{*} = {\hat{β}}_{\infty}^{*} = \underset{‖ X β ‖^{2} = 1}{a r g m i n} ‖ β ‖^{2} \sim \underset{‖ β ‖^{2} = 1}{a r g m a x} ‖ X β ‖^{2},

$\lim_{\lambda\to\infty}\hat{\boldsymbol\beta}_\lambda^* = \hat{\boldsymbol\beta}_\infty^* = \operatorname*{arg\,min}_{\|\mathbf X \boldsymbol\beta\|^2=1}\|\boldsymbol\beta\|^2 \sim \operatorname*{arg\,max}_{\| \boldsymbol\beta\|^2=1}\|\mathbf X\boldsymbol\beta\|^2,$

X

$\mathbf X$ (যথাযথভাবে মাপা) এই প্রশ্নের উত্তর।

এখন আসুন আমি আমার প্রশ্নের # 2 পয়েন্টে উল্লেখ করা কোনও মানের সমাধান বিবেচনা করি। ক্ষতির ফাংশনে যোগ করার জন্য ল্যাঞ্জরেজ গুণক এবং পৃথকীকরণের মাধ্যমে আমরা পেয়েছি $\lambda$ $\mu(\|\mathbf X\boldsymbol\beta\|^2-1)$

{\hat{β}}_{λ}^{*} = ((1 + μ) X^{⊤} X + λ I)^{- 1} X^{⊤} y with μ needed to satisfy the constraint .

$\hat{\boldsymbol\beta}_\lambda^*=\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}\mathbf X^\top \mathbf y\:\:\text{with $\mu$ needed to satisfy the constraint}.$

ল্যাম্বদা শূন্য থেকে অসীমের দিকে বেড়ে গেলে এই সমাধানটি কীভাবে আচরণ করবে ? $\lambda$

যখন , আমরা একটি মাপের সংস্করণ পাই: $\lambda=0$
${\hat{β}}_{0}^{*} \sim {\hat{β}}_{0} .$ $\hat{\boldsymbol\beta}_0^* \sim \hat{\boldsymbol\beta}_0.$
ধনাত্মক তবে ছোট মানগুলির জন্য , সমাধানটি কয়েকটি রিজ অনুমানের আকারযুক্ত সংস্করণ: $\lambda$
${\hat{β}}_{λ}^{*} \sim {\hat{β}}_{λ^{*}} .$ $\hat{\boldsymbol\beta}_\lambda^* \sim \hat{\boldsymbol\beta}_{\lambda^*}.$
কখন, সীমাবদ্ধতা প্রয়োজনীয় মান । এর অর্থ হ'ল সমাধানটি প্রথম পিএলএস উপাদানটির একটি মাপা সংস্করণ (যার অর্থ সংশ্লিষ্ট রিজ অনুমানকারী ): $\lambda=\|\mathbf X\mathbf X^\top \mathbf y\|$ $(1+\mu)$ $0$ $\lambda^*$ $\infty$
${\hat{β}}_{‖ X X^{⊤} y ‖}^{*} \sim X^{⊤} y .$ $\hat{\boldsymbol\beta}_{\|\mathbf X\mathbf X^\top \mathbf y\|}^* \sim \mathbf X^\top \mathbf y.$
যখন চেয়ে বড় হয়, প্রয়োজনীয় শব্দটি নেতিবাচক হয়ে যায়। এখন থেকে সমাধানটি হল সিউডো-রিজ অনুমানকটির একটি নেতিবাচক নিয়মিতকরণ প্যারামিটার ( নেতিবাচক রিজ ) এর একটি মাপা সংস্করণ । দিকনির্দেশের ক্ষেত্রে, আমরা এখন অসীম ল্যাম্বদা সহ অতীত রিজ রিগ্রেশন are $\lambda$ $(1+\mu)$
যখন , শব্দটি zero শূন্যে চলে যাবে (বা এতে বিভক্ত হবে) অনন্ত) যদি না যেখানে বৃহত্তম একক মান । এটি principal সীমাবদ্ধ এবং প্রথম মূল অক্ষের সাথে সমানুপাতিক । আমরা সেট করতে হবে বাধ্যতা সন্তুষ্ট। সুতরাং, আমরা সেই $\lambda\to\infty$ $\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}$ $\mu = -\lambda/ s^2_\mathrm{max} + \alpha$ $s_\mathrm{max}$ $\mathbf X=\mathbf{USV}^\top$ $\hat{\boldsymbol\beta}_\lambda^*$ $\mathbf V_1$ $\mu = -\lambda/ s^2_\mathrm{max} + \mathbf U_1^\top \mathbf y -1$
${\hat{β}}_{\infty}^{*} \sim V_{1} .$ $\hat{\boldsymbol\beta}_\infty^* \sim \mathbf V_1.$

সামগ্রিকভাবে, আমরা দেখতে পাই যে এই সীমাবদ্ধ ন্যূনতমকরণ সমস্যাটি নিম্নলিখিত বর্ণালীতে ওএলএস, আরআর, পিএলএস এবং পিসিএর ইউনিট-ভেরিয়েন্স সংস্করণগুলিকে অন্তর্ভুক্ত করেছে:

OLS \to RR \to PLS \to negative RR \to PCA

$\boxed{\text{OLS} \to \text{RR} \to \text{PLS} \to \text{negative RR} \to \text{PCA}}$

এটি "কন্টিনিয়াম রিগ্রেশন" নামে পরিচিত একটি অস্পষ্ট (?) কেমোমেট্রিক্স কাঠামোর সমতুল্য বলে মনে হচ্ছে ( https://scholar.google.de/scholar?q="continuum+regression " , বিশেষত স্টোন এবং ব্রুকস 1990, সানডবার্গ 1993, Björkström & Sundberg 1999, ইত্যাদি) যা পূর্ণবিস্তার একই একীকরণ অনুমতি দেয় এমন একটি তদর্থক নির্ণায়কএটি স্পষ্টতই স্কেলড ওএলএস প্রদান করে যখন , পিএলএস যখন , পিসিএ যখন , এবং

T = {corr}^{2} (y, X β) \cdot {Var}^{γ} (X β) s.t. ‖ β ‖ = 1.

$\mathcal T = \operatorname{corr}^2(\mathbf y, \mathbf X \boldsymbol\beta)\cdot \operatorname{Var}^\gamma(\mathbf X\boldsymbol\beta) \;\;\text{s.t.}\;\;\|\boldsymbol\beta\|=1.$

γ = 0

$\gamma=0$

γ = 1

$\gamma=1$

γ \to \infty

$\gamma\to\infty$

0 < γ < 1

$0<\gamma<1$

1 < γ < \infty

$1<\gamma<\infty$ , দেখুন 1993 সালে সানডবার্গ।

আরআর / পিএলএস / পিসিএ / ইত্যাদির সাথে বেশ খানিকটা অভিজ্ঞতা থাকা সত্ত্বেও, আমি স্বীকার করতেই পারি যে আমি এর আগে "কন্টিনাম রিগ্রেশন" কখনও শুনিনি। আমার এও বলা উচিত যে আমি এই শব্দটিকে অপছন্দ করি।

একটি স্কিম্যাটিক যা আমি @ মার্টিজন এর একটি ভিত্তিতে করেছি:

আপডেট: চিত্রটি নেতিবাচক রিজ পাথের সাথে আপডেট হয়েছে, এটি কীভাবে দেখতে হবে তা প্রস্তাব দেওয়ার জন্য @ মার্তিজনকে বিশাল ধন্যবাদ। আরও তথ্যের জন্য নেতিবাচক রিজ রিগ্রেশন বোঝার জন্য আমার উত্তর দেখুন ।

— অ্যামিবা বলছেন মনিকাকে রিইনস্টেট করুন
সূত্র

"কন্টিনিয়াম রিগ্রেশন" একটি সাধারণ কাঠামোর মধ্যে পিএলএস এবং পিসিএকে একীকরণ করার লক্ষ্যে কৌশলগুলির একটি আশ্চর্যজনকভাবে বিস্তৃত শ্রেণির একটি বলে মনে হচ্ছে। নেতিবাচক পর্বগুলি নিয়ে গবেষণা করার আগে পর্যন্ত আমি এর আগে কখনও শুনিনি (আমি আপনার সাথে সংযুক্ত নেতিবাচক রিজ প্রশ্নের প্রথম মন্তব্যে পেজ বজর্কস্ট্রন এবং সানডবার্গকে একটি লিঙ্ক সরবরাহ করি), যদিও এটি সম্ভবত বিস্তৃতভাবে আলোচিত হয়েছে কেমোমেট্রিক সাহিত্য। এটি পরিসংখ্যানের অন্যান্য ক্ষেত্রগুলি থেকে বিচ্ছিন্নভাবে আপাতদৃষ্টিতে বিকশিত হওয়ার কিছু reasonতিহাসিক কারণ থাকতে হবে। (1/3)

— রায়ান সিমন্স 14

একটি কাগজ আপনি পড়তে চাইতে পারেন হ'ল ডি জং এট আল। (2001) । তাদের "ক্যানোনিকাল পিএলএস" গঠনের বিষয়টি আপনার সমতুল্য হিসাবে দ্রুত নজরে বলে মনে হচ্ছে, যদিও আমি স্বীকার করি যে আমি এখনও কঠোরভাবে গণিতের তুলনা করি নি (তারা একই শিরাতে আরও বেশ কয়েকটি পিএলএস-পিসিএ জেনারালাইজেশনের একটি পর্যালোচনা সরবরাহ করে)। তবে তারা কীভাবে সমস্যার ব্যাখ্যা দিয়েছে তা দেখার জন্য অন্তর্দৃষ্টিযোগ্য হতে পারে। (2/3)

— রায়ান সিমন্স

যদি সেই লিঙ্কটি মারা যায়, সম্পূর্ণ প্রশংসাপত্রটি হ'ল: সিজম্যান ডি জং, ব্যারি এম ওয়াইজ, এন। লরেন্স রিকার। "ক্যানোনিকাল আংশিক সর্বনিম্ন স্কোয়ার এবং ধারাবাহিক পাওয়ারের রিগ্রেশন" " কেমোমেট্রিক্স জার্নাল, 2001; 15: 85-100। doi.org/10.1002/… (3/3)

— রায়ান সিমন্স

আহ, ঠিক আছে, তারপরে এবং যান তবে তাদের অনুপাতটি । যাইহোক, পিএলএস এবং পিসিএ ভেক্টরগুলির মধ্যে (negativeণাত্মক) সেক্টরে নেতিবাচক রিজ রিগ্রেশন পাথ এমন হওয়া উচিত যা তাদের উপবৃত্তের উপরে প্রজেকশনPLS এবং PCA পয়েন্টের মধ্যে রয়েছে between ( মিও যেমন অনন্তের দিকে চলে যায় তেমনি অনন্তের দিকে যাওয়ার আদর্শটি বোঝায় , সুতরাং পথটি নীচের ডানদিকে চলতে থাকে, প্রাথমিকভাবে স্পর্শকাতর, নেতিবাচক, পিএলএস এবং শেষ পর্যন্ত পিসিএ পর্যন্ত)

λ^{*}

$\lambda^*$

1 + μ^{*}

$1+\mu^*$

\pm

$\pm$

s_{m a x}^{2}

$s_{max}^2$

| X β = 1 |

$|X\beta=1|$

μ

$\mu$

— সেক্সটাস এম্পিরিকাস

এটি দৃশ্যায়নে যোগ করবে। আমি বর্তমানের তিনটি আরআর পাথ পয়েন্টগুলি (যেখানে বৃত্ত এবং উপবৃত্ত স্পর্শ) নীচে ডানদিকে অবিরত এবং অবশেষে অনন্ত সময়ে বৃত্ত এবং উপবৃত্তাকার যে জায়গাটি বৃত্ত স্পর্শ করবে সেই দিকের দিকে 'স্পর্শ' করা উচিত

| β |^{2} = t_{\infty}

$|\beta|^2=t_{\infty}$

| X (β - \hat{β}) |^{2} = R S S

$|X (\beta - \hat\beta)|^2 =RSS$

| β |^{2} = t_{p c a}

$|\beta|^2=t_{pca}$

| X β |^{2} = 1

$|X \beta|^2 =1$

— সেক্সটাস এম্পেরিকাস

"ইউনিট-ভেরিয়েন্স" রিজ রিগ্রেশন অনুমানের সীমা যখন

একটি জ্যামিতিক ব্যাখ্যা

স্ট্যান্ডার্ড রিজ রিগ্রেশন ভিউয়ের সাথে তুলনা

সীমাλ→∞λ→∞\lambda \to \infty

সীমা সম্পর্কে আরও নোটλ→∞λ→∞\lambda \to \infty

সীমা $\lambda \to \infty$

সীমা সম্পর্কে আরও নোট $\lambda \to \infty$