"হ্রাস-র‌্যাঙ্কের রিগ্রেশন" কী?

আমি স্ট্যাটিস্টিকাল লার্নিং এর উপাদানগুলি পড়ছি এবং আমি বুঝতে পারি না যে বিভাগ 3.7 "একাধিক ফলাফল সংকোচন এবং নির্বাচন" কী is এটি আরআরআর (হ্রাস-র‌্যাঙ্কের রিগ্রেশন) সম্পর্কে আলোচনা করে, এবং আমি কেবল বুঝতে পারি যে ভিত্তিটি একটি সাধারণীকৃত মাল্টিভারিয়েট লিনিয়ার মডেল সম্পর্কে যেখানে সহগগুলি অজানা (এবং অনুমান করা যায়) তবে তার পূর্ণ পদ নেই বলে জানা গেছে। এটাই আমি বুঝতে পারি।

বাকি গণিত আমার বাইরে me এমনকি লেখকরা 'একজন দেখাতে পারে' বলে এবং জিনিসগুলিকে অনুশীলন হিসাবে রেখে দেয় এমনটা এমনকি সহায়তা করে না।

অনুগ্রহ করে এখানে কী ঘটছে তা বোঝাতে কেউ দয়া করে সহায়তা করতে পারেন? এই অধ্যায়ে অনুমিতভাবে নতুন পদ্ধতি নিয়ে আলোচনা করা হয়? অথবা কি?

— CGO
সূত্র

সংক্ষিপ্তকরণ এবং পরিবর্তনশীল নির্বাচনের প্রসঙ্গে মাল্টি রেজাল্ট মডেলগুলিকে ক্যাপিটাল করে এমন রিগ্রেশন পদ্ধতি দেওয়া বলে মনে হচ্ছে। একক ওয়াই ফলাফল নয়, একাধিক ওয়াই ফলাফল রয়েছে। ধরা যাক আপনার 5 ওয়াই ফলাফল রয়েছে, তারপরে এই বিভাগটি 5 টি পৃথক মডেল তৈরির পরিবর্তে পদ্ধতিগুলির প্রাক্কলন সম্পর্কে আলোচনা করে।

— spdrnl

আমার কয়েকটি সেন্ট: নিম্ন র‌্যাঙ্কের ম্যাট্রিক্সের ধারণা জিনিসগুলি সহজ করে তোলে। ভাগ্যক্রমে এই অনুমানটি অনেক বাস্তব বিশ্বের ডেটা উত্সের জন্য ধারণ করে।

— ভ্লাদিস্লাভস ডভগ্যালিক্স

দেখে মনে হচ্ছে সমাধানের ক্ষেত্রে সীমাবদ্ধতা থাকার বিষয়ে এই ধারণাটি is এই কাগজ বর্ণনা কেন statprob.com/encyclopedia/...

— Vladislavs Dovgalecs

1. হ্রাস-র‌্যাঙ্কের রিগ্রেশন (আরআরআর) কী?

মাল্টিভারিয়েট একাধিক লিনিয়ার রিগ্রেশন বিবেচনা করুন, অর্থাত্ স্বতন্ত্র ভেরিয়েবল এবং নির্ভরশীল ভেরিয়েবলগুলির সাথে রিগ্রেশন । যাক এবং (predictor কেন্দ্রীভূত করা ) এবং প্রতিক্রিয়া ( ) ডেটাসেট। তারপরে নিম্নোক্ত ব্যয়টির কার্যকারিতা হ্রাস করার জন্য সাধারণ সাধারণ সর্বনিম্ন স্কোয়ারগুলি (ওএলএস) তৈরি করা যেতে পারে: $p$ $q$ $\mathbf X$ $\mathbf Y$ $n \times p$ $n\times q$

L = ‖ Y - X B ‖^{2},

$L=\|\mathbf Y-\mathbf X\mathbf B\|^2,$

যেখানে হল রিগ্রেশন ওজনের একটি ম্যাট্রিক্স। তার সমাধান দেওয়া হয় এবং এটি দেখতে এরকম সমতূল্য সহজ পৃথক OLS ঔজ্জ্বল্যের প্রেক্ষাপটে রিগ্রেশন, প্রতিটি নির্ভরশীল পরিবর্তনশীল জন্য। $\mathbf B$ $p\times q$

{\hat{B}}_{O L S} = (X^{⊤} X)^{- 1} X^{⊤} Y,

$\hat{\mathbf B}_\mathrm{OLS}=(\mathbf X^\top \mathbf X)^{-1}\mathbf X^\top \mathbf Y,$

q

$q$

কমিয়ে-সারির রিগ্রেশন প্রবর্তন উপর একটি র্যাঙ্ক বাধ্যতা , যথা সঙ্গে কমিয়ে আনা উচিত , যেখানে সর্বোচ্চ র্যাঙ্ক দিয়েছো । $\mathbf B$ $L$ $\operatorname{rank}(\mathbf B)\le r$ $r$ $\mathbf B$

2. কীভাবে আরআরআর সলিউশন পাবেন?

দেখা যাচ্ছে যে আরআরআরকে ইগেনভেেক্টর সমস্যা হিসাবে ফেলে দেওয়া যেতে পারে। বস্তুত, এটা সত্য যে OLS ঔজ্জ্বল্যের প্রেক্ষাপটে মূলত কলাম স্থান লম্ব অভিক্ষেপ ব্যবহার , আমরা পুনর্লিখন করতে যেমন প্রথম মেয়াদে উপর নির্ভর করে না এবং দ্বিতীয় মেয়াদে লাগানো মূল্যবোধের SVD / পিসিএ দ্বারা কমিয়ে আনা যেতে পারে $\mathbf X$ $L$

L = ‖ Y - X {\hat{B}}_{O L S} ‖^{2} + ‖ X {\hat{B}}_{O L S} - X B ‖^{2} .

$L=\|\mathbf Y-\mathbf X\hat{\mathbf B}_\mathrm{OLS}\|^2+\|\mathbf X\hat{\mathbf B}_\mathrm{OLS}-\mathbf X\mathbf B\|^2.$

B

$\mathbf B$

।

\hat{Y} = X {\hat{B}}_{O L S}

$\hat{\mathbf Y}=\mathbf X\hat{\mathbf B}_\mathrm{OLS}$

বিশেষ করে, যদি প্রথম প্রধান অক্ষ , তারপর $\mathbf U_r$ $r$ $\hat{\mathbf Y}$

{\hat{B}}_{R R R} = {\hat{B}}_{O L S} U_{r} U_{r}^{⊤} .

$\hat{\mathbf B}_\mathrm{RRR}=\hat{\mathbf B}_\mathrm{OLS}\mathbf U_r\mathbf U_r^\top.$

৩. আরআরআর কিসের জন্য ভাল?

আরআরআর ব্যবহারের দুটি কারণ থাকতে পারে।

প্রথমত, কেউ এটি নিয়মিতকরণের উদ্দেশ্যে ব্যবহার করতে পারেন। একইভাবে রিজ রিগ্রেশন (আরআর), লাসো ইত্যাদিতে, আরআরআর তে কিছু "সঙ্কুচিত" জরিমানা প্রবর্তন করে । সর্বোত্তম র‌্যাঙ্ক ক্রস-বৈধকরণের মাধ্যমে পাওয়া যাবে। আমার অভিজ্ঞতায়, আরআরআর সহজেই ওএলএসকে ছাড়িয়ে যায় তবে আরআর এর কাছে হেরে যায়। তবে, আরআরআর + আরআর একা আরআর থেকে ভাল (সামান্য) পারফর্ম করতে পারে। $\mathbf B$ $r$

দ্বিতীয়ত, এটি একটি মাত্রিকতা হ্রাস / ডেটা এক্সপ্লোরেশন পদ্ধতি হিসাবে ব্যবহার করতে পারে। আমাদের কাছে যদি ভবিষ্যদ্বাণী ভেরিয়েবলগুলির একটি গুচ্ছ এবং নির্ভরশীল ভেরিয়েবলগুলির একটি গুচ্ছ থাকে, তবে আরআরআর ভবিষ্যদ্বাণীকারী স্পেসে "সুপ্ত কারণগুলি" তৈরি করবে যা ডিভিএসের বৈকল্পিকতা ব্যাখ্যা করার সেরা কাজ করে do এরপরে কেউ এই সুপ্ত কারণগুলি ব্যাখ্যা করার চেষ্টা করতে পারেন, সেগুলি প্লট করা ইত্যাদি I যতদূর আমি জানি, এটি নিয়মিতভাবে বাস্তুশাস্ত্রে করা হয় যেখানে আরআরআর রিডানডেন্সি বিশ্লেষণ হিসাবে পরিচিত এবং এটি অর্ডিনেশন পদ্ধতিগুলি যা বলে তার একটি উদাহরণ ( এখানে @ গ্যাভিনসিম্পসনের উত্তর দেখুন see )।

৪. অন্যান্য মাত্রা হ্রাস পদ্ধতির সাথে সম্পর্ক

আরআরআর সিসিএ এবং পিএলএসের মতো অন্যান্য মাত্রিক হ্রাস পদ্ধতির সাথে নিবিড়ভাবে সংযুক্ত। আংশিক সর্বনিম্ন বর্গক্ষেত্র, হ্রাস র‌্যাঙ্ক রিগ্রেশন এবং মূল উপাদানগুলির রিগ্রেশনগুলির মধ্যে কী সংযোগ আছে তার উত্তরে আমি এটিকে কিছুটা coveredেকে দিয়েছি ?

যদি এবং কেন্দ্রিক ভবিষ্যদ্বাণী ( ) এবং প্রতিক্রিয়া ( ) ডেটাসেট হয় এবং আমরা যদি প্রথম জোড় অক্ষের সন্ধান করি, তবে জন্য এবং জন্য , তবে এই পদ্ধতিগুলি সর্বাধিক করে তোলে নিম্নলিখিত পরিমাণ: $\mathbf X$ $\mathbf Y$ $n \times p$ $n\times q$ $\mathbf w \in \mathbb R^p$ $\mathbf X$ $\mathbf v \in \mathbb R^q$ $\mathbf Y$

$\begin{aligned} P C A : & Var (X w) \\ R R R : & {Corr}^{2} (X w, Y v) \cdot Var (Y v) \\ P L S : & Var (X w) \cdot {Corr}^{2} (X w, Y v) \cdot Var (Y v) = {Cov}^{2} (X w, Y v) \\ C C A : & {Corr}^{2} (X w, Y v) \end{aligned}$ $\begin{align} \mathrm{PCA:}&\quad \operatorname{Var}(\mathbf{Xw}) \\ \mathrm{RRR:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot{}}\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf{Yv}) \\ \mathrm{PLS:}&\quad \operatorname{Var}(\mathbf{Xw})\cdot\operatorname{Corr}^2(\mathbf{Xw},\mathbf {Yv})\cdot\operatorname{Var}(\mathbf {Yv}) = \operatorname{Cov}^2(\mathbf{Xw},\mathbf {Yv})\\ \mathrm{CCA:}&\quad \phantom{\operatorname{Var}(\mathbf {Xw})\cdot {}}\operatorname{Corr}^2(\mathbf {Xw},\mathbf {Yv}) \end{align}$

আরও কিছু বিশদ জানতে এখানে দেখুন।

টোর, ২০০৯ দেখুন , বেশিরভাগ সাধারণ রৈখিক মাল্টিভারিয়েট পদ্ধতিগুলির (যেমন পিসিএ, সিসিএ, এলডিএ, তবে পিএলএস নয়!) কীভাবে আরআরআর হিসাবে দেখা যায় তার বিশদ চিকিত্সার জন্য কম্পোনেন্ট বিশ্লেষণের জন্য একটি স্বল্প-স্কোয়ার ফ্রেমওয়ার্ক ।

5. কেন এই বিভাগটি হাস্টি এট আল-এ রয়েছে। এত বিভ্রান্তিকর?

L = ‖ Y - X B ‖^{2},

$L=\|\mathbf Y-\mathbf X \mathbf B\|^2,$

এল = ‖ (ওয়াই - এক্স বি) ({ওয়াই}^{⊤} ওয়াই)^{- 1 / 2} ‖^{2},

$L=\|(\mathbf Y-\mathbf X \mathbf B)(\mathbf Y^\top \mathbf Y)^{-1/2}\|^2,$ হিসাবে তাদের সূত্র দেখা যাবে 3.68। এটি একটি পরিচয় করিয়ে দেয়

Y

$\mathbf Y$ লোকসান ফাংশনটিতে সাদা রঙের ফ্যাক্টর, নির্ভরশীল ভেরিয়েবলগুলি মূলত সাদা করা। আপনি যদি উপরের সিসিএ এবং আরআরআরের মধ্যে তুলনাটি দেখেন তবে আপনি খেয়াল করবেন যে যদি তা হয়

Y

$\mathbf Y$ সাদা হয় তবে পার্থক্য অদৃশ্য হয়ে যায়। সুতরাং কি Hastie এট আল। কল আরআরআর আসলে ছদ্মবেশে সিসিএ (এবং প্রকৃতপক্ষে, তাদের 3.69 দেখুন)।

এর কোনটিই এই বিভাগে সঠিকভাবে ব্যাখ্যা করা হয়নি, সুতরাং বিভ্রান্তি।

বন্ধুত্বপূর্ণ টিউটোরিয়ালে আমার উত্তর বা আরও পড়ার জন্য হ্রাস-র‌্যাঙ্ক রিগ্রেশনটির ভূমিকা দেখুন ।

— অ্যামিবা বলছেন মনিকাকে রিইনস্টেট করুন
সূত্র

এটি একটি খুব সুন্দরভাবে লেখা বিস্তারিত ব্যাখ্যা। আমি এটা প্রশংসা করি আপনাকে ধন্যবাদ.

— সিজিও

@ অ্যামিবা কল্পিত উত্তর। এটিকে আরও অ্যাক্সেসযোগ্য করার জন্য আমি কি কয়েকটা পুনর্বার প্রস্তাব দিতে পারি? প্রথম প্রবেশের শেষ লাইনে আপনি কী বানান করতে পারেন

r

$r$ উদাহরণস্বরূপ, মডেল ম্যাট্রিক্সের র‌্যাঙ্ক যদি তা হয়। দ্বিতীয়ত, দ্বিতীয় প্রবেশের অধীনে সংজ্ঞায়িত সমীকরণের উপর, আপনি পরিচয় করিয়ে দিন

B

$\bf B$ , which is the population coefficients, and thus an unknown parameter. Can you elaborate on that a bit?

— Antoni Parellada

(1) It's multivariate regression, @Antoni, i.e.

Y

$Y$ is a matrix, and

B

$B$ is a matrix too, not a vector. (2) Here

B

$B$ is just a parameter of the loss-function

L

$L$ . The goal is to find

B

$B$ minimizing

L

$L$ .

— amoeba says Reinstate Monica

About selecting the optimal rank

r

$r$ in RRRR, note that the degrees of freedom can be explicitly computed as a function of

r

$r$ :

\hat{df} (r) = p q - (p - r) (q - r) + "a small correction term"

$\hat{\text{df}}(r) = pq - (p-r)(q-r) + \text{"a small correction term"}$ , where

p

$p$ is the input dimension and

q

$q$ is the output dimension. One can then employ generalized cross-validation (GCV) to select the best

r

$r$ : minimize

\frac{‖ Y - {\hat{Y}}^{RRRR} (r) ‖_{Fro}^{2}}{(n q - \hat{df} (r))^{2}}

$\frac{\|Y - \hat{Y}^{\text{RRRR}}(r)\|_{\text{Fro}}^2}{(nq - \hat{\text{df}}(r))^2}$ .

— dohmatob

See for example google.fr/url?sa=t&source=web&rct=j&url=https://…

— dohmatob

Reduced Rank Regression is a model where there is not a single Y outcome, but multiple Y outcomes. Of course, you can just fit a separate multivariate linear regression for each response, but this seems inefficient when the functional relationship between the predictors and each response is clearly similar. See this kaggle exercise for a situation where I believe this obviously holds.

https://www.kaggle.com/c/bike-sharing-demand/data

There are several related techniques for approaching this problem that build "factors" or "components" out of the X variables that are then used for predicting the Ys. This documentation page from SAS helped clear up the differences for me. Reduced Rank Regression seems to be about extracting components that maximally account for variation among the responses, in contrast to Partial Least Squares which extracts components that maximally account for variation among both the responses and predictors.

https://support.sas.com/documentation/cdl/en/statug/63347/HTML/default/viewer.htm#statug_pls_sect014.htm

— Iggy25
সূত্র

+1. That's correct. I discussed this SAS documentation page and in particular their figure in my answer to stats.stackexchange.com/questions/206587.

— amoeba says Reinstate Monica