বিপরীত রিজ রিগ্রেশন: প্রদত্ত প্রতিক্রিয়া ম্যাট্রিক্স এবং রিগ্রেশন সহগ, উপযুক্ত ভবিষ্যদ্বাণীকারী সন্ধান করুন

একটি প্রমিত OLS ঔজ্জ্বল্যের প্রেক্ষাপটে রিগ্রেশন সমস্যা বিবেচনা করুন : আমার ম্যাট্রিকস রয়েছে এবং এবং আমি হ্রাস করতে করতে চাই সমাধানটি দ্বারা প্রদত্ত $\newcommand{\Y}{\mathbf Y}\newcommand{\X}{\mathbf X}\newcommand{\B}{\boldsymbol\beta}\DeclareMathOperator*{argmin}{argmin}$ $\Y$ $\X$ $\B$

L = ‖ Y - X β ‖^{2} .

$L=\|\Y-\X\B\|^2.$

\hat{β} = \underset{β}{argmin} {L} = (X^{⊤} X)^{+} X^{⊤} Y .

$\hat\B=\argmin_\B\{L\} = (\X^\top\X)^+\X^\top \Y.$

আমি একটি "বিপরীত" সমস্যাও তৈরি করতে পারি: প্রদত্ত $\Y$ এবং $\B^*$ , এমন একটি $\hat\X$ যা $\hat\B\approx \B^*$ করবে, অর্থাৎ $\|\argmin_\B\{L\}-\B^*\|^2$ । কথায় কথায়, আমার কাছে প্রতিক্রিয়া ম্যাট্রিক্স $\Y$ এবং সহগ ভেক্টর $\B^*$ এবং আমি ভবিষ্যদ্বাণীকারী ম্যাট্রিক্সটি সন্ধান করতে চাই যা নিকটবর্তী সহগফল অর্জন করবে $\B^*$ । এটি অবশ্যই solution with সহ একটি ওএলএস রিগ্রেশন সমস্যা

\hat{X} = \underset{X}{argmin} {‖ \underset{β}{argmin} {L} - β^{*} ‖^{2}} = Y β^{⊤} (β β^{⊤})^{+} .

$\hat\X = \argmin_\X\Big\{\|\argmin_\B\{L\}-\B^*\|^2\Big\} = \Y\B^\top(\B\B^\top)^{+}.$

স্পেসিফিকেশন আপডেট: @ জিওম্যাট 22 তার উত্তরে ব্যাখ্যা করেছে যে, যদি $\Y$ ভেক্টর হয় (যেমন যদি কেবলমাত্র একটি প্রতিক্রিয়া পরিবর্তনশীল থাকে) তবে এই $\hat \X$ র‌্যাঙ্ক এক হবে এবং বিপরীত সমস্যাটি ব্যাপকভাবে নির্ধারিত হয়। আমার ক্ষেত্রে, $\Y$ আসলে একটি ম্যাট্রিক্স (অর্থাত্ অনেক প্রতিক্রিয়ার ভেরিয়েবল রয়েছে, এটি মাল্টিভারিয়েট রিগ্রেশন)। তাই $\X$ হয় $n\times p$ , $\Y$ হয় $n\times q$ এবং $\B$ হল $p\times q$ ।

আমি রিজ রিগ্রেশনটির জন্য "বিপরীত" সমস্যা সমাধানে আগ্রহী। যথা, আমার ক্ষতির ফাংশনটি এখন

L = ‖ Y - X β ‖^{2} + μ ‖ β ‖^{2}

$L=\|\Y-\X\B\|^2+\mu\|\B\|^2$ এবং সমাধানটি

\hat{β} = \underset{β}{argmin} {L} = (X^{⊤} X + μ I)^{- 1} X^{⊤} Y .

$\hat\B=\argmin_\B\{L\}=(\X^\top \X+\mu\mathbf I)^{-1}\X^\top \Y.$

"বিপরীত" সমস্যাটি হ'ল

\hat{X} = \underset{X}{argmin} {‖ \underset{β}{argmin} {L} - β^{*} ‖^{2}} = ?

$\hat\X = \argmin_\X\Big\{\|\argmin_\B\{L\}-\B^*\|^2\Big\} = \;?$

আবার, আমার কাছে একটি প্রতিক্রিয়া ম্যাট্রিক্স $\Y$ এবং একটি গুণাগুণ ভেক্টর $\B^*$ and এবং আমি একটি ভবিষ্যদ্বাণীকারী ম্যাট্রিক্স সন্ধান করতে চাই যা কাছাকাছি সহগফল অর্জন করবে $\B^*$ ।

আসলে দুটি সম্পর্কিত সূত্র রয়েছে:

এই $\hat\X$ দেওয়া $\Y$ এবং $\B^*$ এবং $\mu$ ।
এই এবং দেওয়া এবং । $\hat\X$ $\hat \mu$ $\Y$ $\B^*$

তাদের উভয়ের সরাসরি সমাধান আছে কি?

সমস্যাটি বর্ণনা করার জন্য এখানে একটি সংক্ষিপ্ত মতলব সংক্ষেপ:

% generate some data
n = 10; % number of samples
p = 20; % number of predictors
q = 30; % number of responses
Y = rand(n,q);
X = rand(n,p);
mu = 0;
I = eye(p);

% solve the forward problem: find beta given y,X,mu
betahat = pinv(X'*X + mu*I) * X'*Y;

% backward problem: find X given y,beta,mu
% this formula works correctly only when mu=0
Xhat =  Y*betahat'*pinv(betahat*betahat');

% verify if Xhat indeed yields betahat
betahathat = pinv(Xhat'*Xhat + mu*I)*Xhat'*Y;
max(abs(betahathat(:) - betahat(:)))

এই কোড শূন্য আউটপুট যদি mu=0না অন্যথায়।

regression least-squares ridge-regression

— অ্যামিবা বলছেন মনিকাকে রিইনস্টেট করুন
সূত্র

যেহেতু এবং দেওয়া হয়, তারা ক্ষতির বিভিন্নতাগুলিকে প্রভাবিত করে না। সুতরাং (1) এ আপনি এখনও ওএলএস করছেন। (২) সমানভাবে সহজ, কারণ আপনার উপর চাপিয়ে দেওয়ার ক্ষেত্রে যে কোনও প্রতিবন্ধকতার সীমাবদ্ধতার মধ্যে নির্বিচারে নেতিবাচকভাবে গ্রহণ করে লোকসানটি নির্বিচারে ছোট করা যায়। এটি আপনাকে কেস (1) এ হ্রাস করে।

B

$B$

μ

$\mu$

\hat{μ}

$\hat\mu$

— whuber

@ শুভ ধন্যবাদ আমি মনে করি আমি এটি যথেষ্ট পরিষ্কারভাবে ব্যাখ্যা করিনি। বিবেচনা করুন (1)। এবং দেওয়া হয় (আসুন একে ), তবে আমার কাছে খুঁজে পাওয়া দরকার যা কাছাকাছি রিজ রিগ্রেশন সহগগুলি অর্জন করবে , অন্য কথায় আমি ন্যূনতম করতে চাইকেন এটি ওএলএস হওয়া উচিত তা আমি দেখছি না।

B

$B$

μ

$\mu$

B^{*}

$B^*$

X

$X$

B^{*}

$B^*$

X

$X$

‖ \underset{B}{argmin} {L_{r i d g e} (X, B)} - B^{*} ‖^{2} .

$\Big\|\operatorname*{argmin}_B\big\{ L_\mathrm{ridge}(X,B)\big\} - B^*\Big\|^2.$

— অ্যামিবা বলছেন মনিকাকে

এটি আমার কাছে এবং আমি করতে চাই যে নিকটবর্তী । এটি ।

f (v, w)

$f(v,w)$

v

$v$

{argmin}_{w} f (v, w)

$\operatorname{argmin}_w f(v,w)$

w^{*}

$w^*$

{argmin}_{v} f (v, w^{*})

$\operatorname{argmin}_v f(v,w^*)$

— অ্যামিবা

আপনার পোস্টে প্রকাশটি বিষয়টি সম্পর্কে বিভ্রান্তিকর, কারণ স্পষ্টতই আপনি কে ক্ষতি ফাংশন হিসাবে ব্যবহার করছেন না । আপনি কি পোস্টে সমস্যার (1) এবং (2) এর সুনির্দিষ্ট বিবরণ দিতে পারেন?

L

$L$

— whuber

@ hxd1011 এক্স এর অনেকগুলি কলামকে সাধারণত "একাধিক রিগ্রেশন" বলা হয়, ওয়াইয়ের অনেকগুলি কলামকে সাধারণত "মাল্টিভারিয়েট রিগ্রেশন" বলা হয়।

— অ্যামিবা বলছেন মনিকাকে

প্রশ্নটি আগ্রহের সমস্যার আরও সূক্ষ্ম সূচনায় রূপান্তরিত হওয়ার পরে, আমি কেস 1 (পরিচিত রিজ প্যারামিটার) এর সমাধান পেয়েছি। এটি কেস 2 এর জন্যও সহায়তা করবে (বিশ্লেষণাত্মক সমাধানটি হুবহু নয়, একটি সাধারণ সূত্র এবং কিছু বাধা)।

সংক্ষিপ্তসার: দুটি বিপরীত সমস্যা সূত্রের কোনওটিরই একটি অনন্য উত্তর নেই। ক্ষেত্রে 2 এর ক্ষেত্রে , যেখানে রিজ প্যারামিটার অজানা, সেখানে for এর জন্য অনেকগুলি সমাধান । ক্ষেত্রে 1, যেখানে দেওয়া হয়েছে, -মান বর্ণালীতে অস্পষ্টতার কারণে জন্য সীমাবদ্ধ সংখ্যার সমাধান রয়েছে । $\mu\equiv\omega^2$ $X_\omega$ $\omega\in[0,\omega_\max]$ $\omega$ $X_\omega$

(ডেরাইভেশনটি কিছুটা দীর্ঘ, তাই টিএল, ডিআর: শেষে একটি কার্যকারী মাতলাব কোড রয়েছে))

নির্ধারিত কেস ("ওএলএস")

সামনের সমস্যাটি হ'ল যেখানে , , এবং ।

min_{B} ‖ X B - Y ‖^{2}

$\min_B\|XB-Y\|^2$

X \in R^{n \times p}

$X\in\mathbb{R}^{n\times p}$

B \in R^{p \times q}

$B\in\mathbb{R}^{p\times q}$

Y \in R^{n \times q}

$Y\in\mathbb{R}^{n\times q}$

আপডেট হওয়া প্রশ্নের উপর ভিত্তি করে, আমরা ধরে নেব , সুতরাং নির্ধারিত এবং অধীনে । প্রশ্নে হিসেবে আমরা "ডিফল্ট" অনুমান করা হবে (ন্যূনতম -norm) সমাধান যেখানে হয় pseudoinverse এর । $n<p<q$ $B$ $X$ $Y$ $L_2$

B = X^{+} Y

$B=X^+Y$

X^{+}

$X^+$

X

$X$

একবচন মান পচানি (এইখান থেকে SVD এর) , কর্তৃক প্রদত্ত * pseudoinverse নির্ণিত করা যেতে পারে ** (* প্রথম এক্সপ্রেশনটি সম্পূর্ণ এসভিডি ব্যবহার করে, যখন দ্বিতীয় এক্সপ্রেশনগুলি হ্রাস এসভিডি ব্যবহার করে। ** সরলতার জন্য আমি ধরে নিয়েছি এর পূর্ণ পদ রয়েছে, অর্থাৎ বিদ্যমান রয়েছে।) $X$

X = U S V^{T} = U S_{0} V_{0}^{T}

$X=USV^T=US_0V_0^T$

X^{+} = V S^{+} U^{T} = V_{0} S_{0}^{- 1} U^{T}

$X^+=VS^+U^T=V_0S_0^{-1}U^T$

X

$X$

S_{0}^{- 1}

$S_0^{-1}$

সুতরাং সামনের সমস্যার সমাধান ভবিষ্যতের রেফারেন্সের জন্য, আমি নোট করব যে , কোথায় হ'ল একক মানগুলির ভেক্টর।

B \equiv X^{+} Y = (V_{0} S_{0}^{- 1} U^{T}) Y

$B\equiv X^+Y=\left(V_0S_0^{-1}U^T\right)Y$

S_{0} = d i a g (σ_{0})

$S_0=\mathrm{diag}(\sigma_0)$

σ_{0} > 0

$\sigma_0>0$

বিপরীত সমস্যায় আমাদের এবং দেওয়া হয় । আমরা জানি যে উপরের প্রক্রিয়া থেকে এসেছিল, তবে আমরা জানি না । কাজটি তখন উপযুক্ত নির্ধারণ করা । $Y$ $B$ $B$ $X$ $X$

আপডেট করা প্রশ্নে উল্লিখিত হিসাবে, এক্ষেত্রে আমরা পুনরুদ্ধার করতে পারি মূলত একই পন্থাটি ব্যবহার করে, অর্থাৎ এখন ব্যবহার করে । $X$

X_{0} = Y B^{+}

$X_0=YB^+$

B

$B$

অতিরিক্ত নির্ধারিত কেস (রিজ অনুমানক)

"ওএলএস" ক্ষেত্রে, নিম্ন-নির্ধারিত সমস্যাটি ন্যূনতম-আদর্শ সমাধানটি বেছে নিয়ে সমাধান করা হয়েছিল , অর্থাৎ আমাদের "অনন্য" সমাধানটি স্পষ্টতই নিয়মিত করা হয়েছিল ।

সর্বনিম্ন আদর্শ সমাধানটি বেছে নেওয়ার পরিবর্তে , আমরা আদর্শটি কতটা ছোট হওয়া উচিত তা নিয়ন্ত্রণ করতে একটি পরামিতি প্রবর্তন করি , অর্থাৎ আমরা রিজ রিগ্রেশন ব্যবহার করি । $\omega$

এই ক্ষেত্রে, আমরা একটি আছে সিরিজ এগিয়ে সমস্যার , দ্বারা দেওয়া হয় যে বিভিন্ন বাম এবং ডান সংগ্রহ মধ্যে দিকের ভেক্টর $\beta_k$ $k=1,\ldots,q$

min_{β} ‖ X β - y_{k} ‖^{2} + ω^{2} ‖ β ‖^{2}

$\min_\beta\|X\beta-y_k\|^2+\omega^2\|\beta\|^2$

সমস্যার এই সংগ্রহটি নিম্নোক্ত "ওএলএস" সমস্যা হ্রাস করা যেতে পারে

যেখানে আমরা বর্ধিত ম্যাট্রিক্স

প্রবর্তন

B_{ω} = [β_{1}, \dots, β_{k}], Y = [y_{1}, \dots, y_{k}]

$B_{\omega}=[\beta_1,\ldots,\beta_k] \quad,\quad Y=[y_1,\ldots,y_k]$

min_{B} ‖ X_{ω} B - Y ‖^{2}

$\min_B\|\mathsf{X}_\omega B-\mathsf{Y}\|^2$

X_{ω} = [\begin{matrix} X \\ ω I \end{matrix}], Y = [\begin{matrix} Y \\ 0 \end{matrix}]

$\mathsf{X}_\omega=\begin{bmatrix}X \\ \omega I\end{bmatrix} \quad , \quad \mathsf{Y}=\begin{bmatrix}Y \\ 0 \end{bmatrix}$

B_{ω} = X^{+} Y

$B_\omega = \mathsf{X}^+\mathsf{Y}$

B_{ω} = (V_{0} S_{ω}^{- 2} U^{T}) Y

$B_\omega = \left(V_0S_\omega^{-2}U^T\right) Y$

σ_{ω}^{2} = \frac{σ_{0}^{2} + ω^{2}}{σ_{0}}

$\sigma_\omega^2 = \frac{\sigma_0^2+\omega^2}{\sigma_0}$

p \leq n

$p\leq n$

σ_{ω}

$\sigma_\omega$

σ_{0}

$\sigma_0$

X_{ω} = Y B_{ω}^{+}

$X_\omega=YB_\omega^+$

X_{ω} = U S_{ω}^{2} V_{0}^{T}

$X_\omega=US_\omega^2V_0^T$

σ_{ω}^{2}

$\sigma_\omega^2$

$\sigma_0$ $\sigma_\omega^2$ $\omega$

σ_{0} = \bar{σ} \pm Δ σ, \bar{σ} = \frac{1}{2} σ_{ω}^{2}, Δ σ = \sqrt{(\bar{σ} + ω) (\bar{σ} - ω)}

$\sigma_0=\bar{\sigma} \pm \Delta\sigma \quad , \quad \bar{\sigma} = \tfrac{1}{2}\sigma_\omega^2 \quad , \quad \Delta\sigma = \sqrt{\left(\bar{\sigma}+\omega\right)\left(\bar{\sigma}-\omega\right)}$

$X$ $\bar{\sigma}\pm\Delta\sigma$ sgn $+$ $-$ $\omega=0$ $+$ $\omega$ $\omega$ $-$

% Matlab demo of "Reverse Ridge Regression"
n = 3; p = 5; q = 8; w = 1*sqrt(1e+1); sgn = -1;
Y = rand(n,q); X = rand(n,p);
I = eye(p); Z = zeros(p,q);
err = @(a,b)norm(a(:)-b(:),Inf);

B = pinv([X;w*I])*[Y;Z];
Xhat0 = Y*pinv(B);
dBres0 = err( pinv([Xhat0;w*I])*[Y;Z] , B )

[Uw,Sw2,Vw0] = svd(Xhat0, 'econ');

sw2 = diag(Sw2); s0mid = sw2/2;
ds0 = sqrt(max( 0 , s0mid.^2 - w^2 ));
s0 = s0mid + sgn * ds0;
Xhat = Uw*diag(s0)*Vw0';

dBres = err( pinv([Xhat;w*I])*[Y;Z] , B )
dXerr = err( Xhat , X )
sigX = svd(X)', sigHat = [s0mid+ds0,s0mid-ds0]' % all there, but which sign?

$B$ $p$ $n$

$\omega$ $\omega$

ω \leq ω_{max} = {\bar{σ}}_{n} = min [\frac{1}{2} σ_{ω}^{2}]

$\omega \leq \omega_{\max} = \bar{\sigma}_n = \min[\tfrac{1}{2}\sigma_\omega^2]$

$\hat{X}$ $B$ $\sigma_0$ $\mathrm{SVD}[X]$

Xrnd=Uw*diag(s0mid+sign(randn(n,1)).*ds0)*Vw0'; % random signs
dBrnd=err(pinv([Xrnd;w*I])*[Y;Z],B) % B is always consistent ...
dXrnd=err(Xrnd,X) % ... even when X is not

— GeoMatt22
সূত্র

+11। এই প্রশ্নের উত্তরের জন্য আপনি যে সমস্ত প্রচেষ্টা করেছিলেন এবং আমাদের যে সমস্ত আলোচনার জন্য রেখেছেন তার জন্য অনেক ধন্যবাদ। এটি পুরোপুরি আমার প্রশ্নের উত্তর বলে মনে হচ্ছে। আমি অনুভব করেছি যে কেবল আপনার উত্তর গ্রহণ করা এই ক্ষেত্রে যথেষ্ট নয়; এটি বর্তমানে এই উত্তরটিতে থাকা দুটি তুলনায় অনেক বেশি দাবিদার। চিয়ার্স।

— অ্যামিবা বলছেন মনিকাকে

p \leq n

$p\leq n$

X

$X$

@ জিওম্যাটট২২২ আমার মূল প্রশ্নে আমার মন্তব্য বলেছেন যে ব্যবহার pinvকরা ভাল জিনিস নয়, আপনি কি একমত?

— হাইতাও ডু

@ hxd1011 সাধারণভাবে আপনি (প্রায়) কখনই স্পষ্টরূপে কোনও ম্যাট্রিক্স সংখ্যায় উল্টাতে চান না এবং এটি সিউডো-ইনভার্সের জন্যও ধারণ করে। আমি এটি যে দুটি কারণে এখানে ব্যবহার করেছি তা হ'ল) 1) গাণিতিক সমীকরণ + অ্যামিবার ডেমো কোডের সাথে ধারাবাহিকতা এবং 2) নিম্ন নির্ধারিত সিস্টেমগুলির ক্ষেত্রে ডিফল্ট মতলব "স্ল্যাশ" সমাধানগুলি পিনভের থেকে পৃথক হতে পারে । আমার কোডের প্রায় সব ক্ষেত্রেই যথাযথ \ বা / আদেশগুলি প্রতিস্থাপন করা যেতে পারে, যা সাধারণত পছন্দ করা হয়। (এগুলি

— মতলবকে

@ hxd1011 আমার পূর্ববর্তী মন্তব্যের দ্বিতীয় পয়েন্টে স্পষ্ট করতে, মূল প্রশ্নে আপনার মন্তব্যের লিঙ্ক থেকে : "যদি A এর পদক্ষেপ A এর কলামের সংখ্যার চেয়ে কম হয়, তবে x = A \ B ন্যূনতম নয় আদর্শ সমাধান more

— জিওম্যাটট22