একাধিকের জন্য এই লিনিয়ার রিগ্রেশন পরিচয়টি বোঝার জন্য কি একটি মার্জিত / অন্তর্দৃষ্টিপূর্ণ উপায় আছে?

লিনিয়ার রিগ্রেশনটিতে আমি একটি আনন্দদায়ক ফলাফল পেয়েছি যে আমরা যদি মডেলটি ফিট করি

E [Y] = β_{1} X_{1} + β_{2} X_{2} + c,

$E[Y] = \beta_1 X_1 + \beta_2 X_2 + c,$

তারপরে, আমরা যদি মানকে মানিক করে কেন্দ্র করে থাকি $Y$ , $X_1$ এবং $X_2$ ডেটা,

R^{2} = C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} .

$R^2 = \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2.$

এটি আমার কাছে 2 ভেরিয়েবল সংস্করণের মতো মনে হয় $R^2 = \mathrm{Cor}(Y,X)^2$ জন্য $y=mx+c$ রিগ্রেশন, যা খুশী।

তবে আমি যে একমাত্র প্রমাণ জানি তা কোনওভাবেই গঠনমূলক বা অন্তর্দৃষ্টিপূর্ণ নয় (নীচে দেখুন), এবং এখনও এটি দেখার জন্য এটি মনে হয় এটি সহজেই বোধগম্য হওয়া উচিত।

উদাহরণ চিন্তা:

দ্য $\beta_1$ এবং $\beta_2$ পরামিতি আমাদের 'অনুপাত' দেয় $X_1$ এবং $X_2$ ভিতরে $Y$ , এবং তাই আমরা তাদের পারস্পরিক সম্পর্কের জন্য যথাযথ অনুপাত নিচ্ছি ...
দ্য $\beta$ গুলি আংশিক সম্পর্ক আছে, $R^2$ স্কোয়ার একাধিক পারস্পরিক সম্পর্ক ... আংশিক সহযোগিতা দ্বারা গুণগুলি সংযুক্তি ...
আমরা যদি প্রথমে অরথোগোনালাইজ করি তবে $\beta$ s হবে $\mathrm{Cov}/\mathrm{Var}$ ... এই ফলাফলটি কিছু জ্যামিতিক ধারণা তৈরি করে?

এই থ্রেডগুলির কোনওোটাই আমার পক্ষে কোথাও নেতৃত্ব দিচ্ছে না। এই ফলাফলটি কীভাবে বোঝা যায় তার স্পষ্ট ব্যাখ্যা যে কেউ দিতে পারে।

অসন্তুষ্টির প্রমাণ

R^{2} = \frac{S S_{r e g}}{S S_{T o t}} = \frac{S S_{r e g}}{N} = ⟨ (β_{1} X_{1} + β_{2} X_{2})^{2} ⟩ = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} R^2 = \frac{SS_{reg}}{SS_{Tot}} = \frac{SS_{reg}}{N} = \langle(\beta_1 X_1 + \beta_2 X_2)^2\rangle \\= \langle\beta_1^2 X_1^2\rangle + \langle\beta_2^2 X_2^2\rangle + 2\langle\beta_1\beta_2X_1X_2\rangle \end{equation}$

এবং

C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} = ⟨ Y X_{1} ⟩ β_{1} + ⟨ Y X_{2} ⟩ β_{2} = ⟨ β_{1} X_{1}^{2} + β_{2} X_{1} X_{2} ⟩ β_{1} + ⟨ β_{1} X_{1} X_{2} + β_{2} X_{2}^{2} ⟩ β_{2} = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2 = \langle YX_1\rangle\beta_1 + \langle Y X_2\rangle \beta_2\\ =\langle \beta_1 X_1^2 + \beta_2 X_1 X_2\rangle \beta_1 + \langle \beta_1 X_1 X_2 + \beta_2 X_2^2\rangle \beta_2\\ =\langle \beta_1^2 X_1^2\rangle + \langle \beta_2^2 X_2^2 \rangle + 2\langle \beta_1 \beta_2 X_1 X_2\rangle \end{equation}$

Qed।

— Korone
সূত্র

আপনার অবশ্যই সূত্রযুক্ত ভেরিয়েবলগুলি ব্যবহার করা উচিত, অন্যথায় আপনার সূত্রটি

R^{2}

$R^2$ মধ্যে মিথ্যা গ্যারান্টিযুক্ত হয় না

0

$0$ এবং

1

$1$ । যদিও এই অনুমানটি আপনার প্রমাণে প্রকাশিত হয়েছে তবে এটি এটি শুরুতেই স্পষ্ট করে তুলতে সহায়তা করবে। আপনি সত্যিই যা করছেন তা নিয়ে আমি হতবাক হয়েছি: আপনার

R^{2}

$R^2$ স্পষ্টভাবে একা মডেলের একটি ফাংশন - ডেটার সাথে কিছু করার নেই - তবুও আপনি উল্লেখ করতে শুরু করলেন যে কোনও কিছুতে আপনার কাছে মডেলটি "ফিট" রয়েছে।

— whuber

যদি আপনার শীর্ষ ফলাফলটি কেবল এক্স 1 এবং এক্স 2 পুরোপুরি অসম্পর্কিত হয় তবে তা ধরে রাখবে না?

— গুং - মনিকা পুনরায়

@ গুং আমি এটি ভাবি না - নীচে প্রমাণ বলে মনে হচ্ছে এটি নির্বিশেষে কাজ করে। এই ফলাফলটি আমাকেও অবাক করে, অতএব একটি "স্পষ্ট বোঝার প্রমাণ" চাই

— করোন

@ হুবুহু আমি নিশ্চিত না যে আপনি "মডেলটির একা ফাংশন" বলতে কী বোঝায়? আমি কেবল মানে

R^{2}

$R^2$ দুটি পূর্বাভাসকারী ভেরিয়েবল সহ সাধারণ ওএলএস এর জন্য। অর্থাৎ এটি 2 টি ভেরিয়েবল সংস্করণ

R^{2} = C o r (Y, X)^{2}

$R^2 = Cor(Y,X)^2$

— করোন

তোমার কিনা তা আমি বলতে পারি না

β_{i}

$\beta_i$ পরামিতি বা অনুমান হয়।

— whuber

উত্তর:

টুপি ম্যাট্রিক্স আদর্শবান।

(এটি একটি লিনিয়ার-বীজগণিতিক উপায় যা বলছেন যে ওআরএলএস হল ভেরিয়েবল দ্বারা বিস্তৃত স্থানটিতে প্রতিক্রিয়া ভেক্টরের একটি অরথোগোনাল প্রক্ষেপণ))

সংজ্ঞা অনুসারে যে স্মরণ

R^{2} = \frac{E S S}{T S S}

$R^2 = \frac{ESS}{TSS}$

কোথায়

E S S = (\hat{Y})^{'} \hat{Y}

$ESS = (\hat Y)^\prime \hat Y$

(কেন্দ্রিক) পূর্বাভাসিত মান এবং এর বর্গের যোগফল

T S S = Y^{'} Y

$TSS = Y^\prime Y$

(কেন্দ্রিক) প্রতিক্রিয়া মানগুলির বর্গের যোগফল। standardizing $Y$ ইউনিট বৈকল্পিকের আগেও বোঝায়

T S S = Y^{'} Y = n .

$TSS = Y^\prime Y = n.$

আনুমানিক সহগগুলি দ্বারা সরবরাহ করা হয়েছে তাও স্মরণ করুন

\hat{β} = (X^{'} X)^{-} X^{'} Y,

$\hat\beta = (X^\prime X)^{-} X^\prime Y,$

কোথা হইতে

\hat{Y} = X \hat{β} = X (X^{'} X)^{-} X^{'} Y = H Y

$\hat Y = X \hat \beta = X (X^\prime X)^{-} X^\prime Y = H Y$

কোথায় $H$ এর প্রোটেকশনকে প্রভাবিত করে "টুপি ম্যাট্রিক্স" $Y$ এটির সর্বনিম্ন স্কোয়ারের উপরে ফিট $\hat Y$ । এটি প্রতিসম (যা এর একেবারে রূপ থেকেই সুস্পষ্ট) এবং আদর্শবান । এই ফলাফলটির সাথে অপরিচিতদের জন্য এখানে পরবর্তী প্রমাণ রয়েছে। এটি কেবল চারপাশে কাঁপুনি:

\begin{aligned} H^{'} H = H H & = (X (X^{'} X)^{-} X^{'}) (X (X^{'} X)^{-} X^{'}) \\ = X (X^{'} X)^{-} (X^{'} X) (X^{'} X)^{-} X^{'} \\ = X (X^{'} X)^{-} X^{'} = H . \end{aligned}

$\eqalign{H^\prime H = H H &=\left( X (X^\prime X)^{-} X^\prime\right)\left(X (X^\prime X)^{-} X^\prime \right) \\ &= X (X^\prime X)^{-} \left(X^\prime X \right) (X^\prime X)^{-} X^\prime \\ &= X (X^\prime X)^{-} X^\prime = H. }$

অতএব

R^{2} = \frac{E S S}{T S S} = \frac{1}{n} (\hat{Y})^{'} \hat{Y} = \frac{1}{n} Y^{'} H^{'} H Y = \frac{1}{n} Y^{'} H Y = (\frac{1}{n} Y^{'} X) \hat{β} .

$R^2 = \frac{ESS}{TSS} = \frac{1}{n} (\hat Y)^\prime \hat Y = \frac{1}{n}Y^\prime H^\prime H Y = \frac{1}{n}Y^\prime H Y = \left(\frac{1}{n}Y^\prime X\right) \hat \beta.$

মাঝের গুরুত্বপূর্ণ পদক্ষেপটি হ্যাট ম্যাট্রিক্সের আদর্শশক্তি ব্যবহার করেছিল। ডান হাত আপনার জাদুকরী সূত্র কারণ $\frac{1}{n}Y^\prime X$ এর মধ্যে পারস্পরিক সম্পর্কের সহগগুলির (সারি) ভেক্টর $Y$ এবং এর কলামগুলি $X$ ।

— whuber
সূত্র

(+1) খুব সুন্দর লেখার আপ। কিন্তু কেন ^{-}পরিবর্তে ^{-1}সর্বত্র?

— অ্যামিবা

@ অ্যামিবা এটি একটি সাধারণ বিপরীতমুখী , যেখানে মামলাগুলি পরিচালনা করতে সেখানে রাখুন

X^{'} X

$X^\prime X$ একক হতে পারে।

— হোবার

অ্যামিবা পেনরোজ, তার মূল কাগজে ( এক জেনারাইজড ইনভার্স ফর ম্যাট্রিকেস , ১৯৫৪) স্বরলিপিটি ব্যবহার করেছেন

A^{†}

$A^\dagger$ । আমি তাও পছন্দ করি না

A^{+}

$A^{+}$ স্বরলিপি কারণ তারা খুব সহজেই কনজুগেট, ট্রান্সপোসেস বা কনজুগেট ট্রান্সপোজগুলির সাথে বিভ্রান্ত হয়, যেখানে the

A^{-}

$A^{-}$ স্বরলিপিটি একটি বিপরীতমুখী হিসাবে প্রস্তাবিত তাই নৈমিত্তিক পাঠক এটি ভেবে দূরে সরে যেতে পারে

A^{- 1}

$A^{-1}$ যদি তারা পছন্দ করে আপনি খুব ভাল একজন পাঠক - তবে দেখার জন্য ধন্যবাদ।

— হোবার

আকর্ষণীয় এবং জোরালো অনুপ্রেরণা, তবে আমি কি জিজ্ঞাসা করতে পারি যে এই স্বরলিপিটি এমন কিছু বিষয় যা মাঝেমধ্যে অন্য কোথাও ব্যবহৃত হয় বা এটি আপনার নিজের আবিষ্কার?

— অ্যামিবা

@ অ্যামিবা: হ্যাঁ, লিনিয়ার মডেলটিতে গ্রেবিলের শাস্ত্রীয় পাঠগুলি সহ এই চিহ্নটি অন্য কোথাও উপস্থিত রয়েছে appears

— কার্ডিনাল

নিম্নলিখিত তিনটি সূত্র সুপরিচিত, তারা লিনিয়ার রিগ্রেশন সম্পর্কিত অনেক বইয়ে পাওয়া যায়। এগুলি অর্জন করা কঠিন নয়।

$\beta_1= \frac {r_{YX_1}-r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$\beta_2= \frac {r_{YX_2}-r_{YX_1}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$R^2= \frac {r_{YX_1}^2+r_{YX_2}^2-2 r_{YX_1}r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

যদি আপনি দুটি সমীকরণকে আপনার সমীকরণের স্থানে রাখেন $R^2 = r_{YX_1} \beta_1 + r_{YX_2} \beta_2$ , আপনি আর-স্কোয়ারের জন্য উপরের সূত্রটি পাবেন।

এখানে একটি জ্যামিতিক "অন্তর্দৃষ্টি" রয়েছে। নীচে দুটি প্রতিক্রিয়া দেখানো ছবি রয়েছে $Y$ দ্বারা $X_1$ এবং $X_2$ । এই জাতীয় উপস্থাপনা বিষয়বস্তুতে ভেরিয়েবল-হিসাবে-ভেক্টর হিসাবে পরিচিত (দয়া করে এটি কী পড়ুন )। তিনটি ভেরিয়েবল কেন্দ্রিক হওয়ার পরে ছবিগুলি আঁকা হয় এবং তাই (1) প্রতিটি ভেক্টরের দৈর্ঘ্য = স্ট্যান্ড। সংশ্লিষ্ট ভেরিয়েবলের বিচ্যুতি এবং (2) কোণ (এর কোসাইন) প্রতি দুটি ভেক্টরের মধ্যে = সংশ্লিষ্ট ভেরিয়েবলের মধ্যে পারস্পরিক সম্পর্ক।

enter image description here

$\hat{Y}$ রিগ্রেশন ভবিষ্যদ্বাণী (এর অর্থোগোনাল প্রক্ষেপণ) $Y$ "প্লেন এক্স" তে); $e$ ত্রুটি শব্দটি; $cos \angle{Y \hat{Y}}={|\hat Y|}/|Y|$ , একাধিক পারস্পরিক সম্পর্ক সহগ।

বাম ছবি নিয়ে রচিত স্কিউ স্থানাঙ্ক এর $\hat{Y}$ পরিবর্তনশীল উপর $X_1$ এবং $X_2$ । আমরা জানি যে এই জাতীয় স্থানাঙ্কগুলি রিগ্রেশন সহগের সাথে সম্পর্কিত। যথা, স্থানাঙ্কগুলি হ'ল: $b_1|X_1|=b_1\sigma_{X_1}$ এবং $b_2|X_2|=b_2\sigma_{X_2}$ ।

এবং ডান ছবিতে উল্লম্ব স্থানাঙ্কগুলি দেখায় । আমরা জানি যে এই জাতীয় স্থানাঙ্কগুলি শূন্য অর্ডার রিলেশন সম্পর্কিত সহগগুলি (এগুলি অরথোগোনাল অনুমানের কোসাইন) rela যদি $r_1$ এর মধ্যে পারস্পরিক সম্পর্ক $Y$ এবং $X_1$ এবং $r_1^*$ এর মধ্যে পারস্পরিক সম্পর্ক $\hat Y$ এবং $X_1$ তারপর সমন্বয় হয় $r_1|Y|=r_1\sigma_{Y} = r_1^*|\hat{Y}|=r_1^*\sigma_{\hat{Y}}$ । একইভাবে অন্য স্থানাঙ্কের জন্য, $r_2|Y|=r_2\sigma_{Y} = r_2^*|\hat{Y}|=r_2^*\sigma_{\hat{Y}}$ ।

এখনও পর্যন্ত এটি লিনিয়ার রিগ্রেশন ভেক্টর উপস্থাপনের সাধারণ ব্যাখ্যা ছিল। কীভাবে এটি হতে পারে তা দেখানোর জন্য এখন আমরা কার্যটির দিকে রইলাম turn $R^2 = r_1 \beta_1 + r_2 \beta_2$ ।

প্রথমত, তাদের প্রশ্নে প্রত্যাহার করুন যে @ কোরোন এই শর্তটি সামনে রেখেছিল যে তিনটি ভেরিয়েবলকে মানক করা হলে এই অভিব্যক্তিটি সত্য হয় , যা কেবল কেন্দ্রিক নয়, তবে পৃথককেও ছোট করা হয়। তারপরে (অর্থাত্ বোঝা যাচ্ছে) $|X_1|=|X_2|=|Y|=1$ ভেক্টরগুলির "কার্যকারী অংশ" হতে) আমাদের সমান স্থানাঙ্ক রয়েছে: $b_1|X_1|=\beta_1$ ; $b_2|X_2|=\beta_2$ ; $r_1|Y|=r_1$ ; $r_2|Y|=r_2$ ; পাশাপাশি $R=|\hat Y|/|Y|=|\hat Y|$ । পুনরায় চিত্রিত করুন, এই অবস্থার অধীনে উপরের ছবিগুলির কেবল "প্লেন এক্স":

enter image description here

ছবিটিতে, আমাদের একই লম্বা লম্বা স্থানাঙ্কের এবং স্কিউ স্থানাঙ্কগুলির একটি জোড়া রয়েছে $\hat Y$ দৈর্ঘ্যের $R$ । স্কিউ (বা পিছনে) থেকে লম্ব কর্ডিনেটগুলি পাওয়ার জন্য একটি সাধারণ নিয়ম রয়েছে: $\bf P = S C$ , কোথায় $\bf P$ হয় points X axesঋজু বেশী ম্যাট্রিক্স; $\bf S$ স্কিউ বেশী একই আকারের ম্যাট্রিক্স; এবং $\bf C$ হয় axes X axesnonorthogonal অক্ষ মধ্যে Angles (cosines) এর প্রতিসম ম্যাট্রিক্স।

$X_1$ এবং $X_2$ সঙ্গে আমাদের ক্ষেত্রে অক্ষ আছে $r_{12}$ তাদের মধ্যে কোসাইন হচ্ছে। সুতরাং, $r_1 = \beta_1 + \beta_2 r_{12}$ এবং $r_2 = \beta_1 r_{12} + \beta_2$ ।

এগুলি প্রতিস্থাপন করুন $r$ এর মাধ্যমে প্রকাশ করা $\beta$ @ করোন এর বিবৃতিতে s $R^2 = r_1 \beta_1 + r_2 \beta_2$ , এবং আপনি এটি পাবেন $R^2 = \beta_1^2 + \beta_2^2 + 2\beta_1\beta_2r_{12}$ , - যা সত্য , কারণ এটি ঠিক কীভাবে সমান্তরালগ্রামের একটি ত্রিভুজ (ছবিতে টিন্টেড) তার সংলগ্ন দিকগুলি (পরিমাণ ) দ্বারা প্রকাশ করা হয় $\beta_1\beta_2r_{12}$ স্কেলার পণ্য হচ্ছে)।

এই একই জিনিসটি যে কোনও সংখ্যক ভবিষ্যদ্বাণীকারী এক্স এর ক্ষেত্রে সত্য Unfortunately দুর্ভাগ্যক্রমে, অনেক পূর্বাভাসকীর সাথে একই চিত্র আঁকানো অসম্ভব।

— ttnphns
সূত্র

এটিও এভাবে তৈরি হয়েছিল দেখে ভাল +1, তবে এটি whuber এর উত্তরের তুলনায় ততটা অন্তর্দৃষ্টি যোগ করে না

— করোন

@ করোন, আমি কিছু "অন্তর্দৃষ্টি" যুক্ত করেছি যা আপনি নিতে পারেন।

— ttnphns

+1 সত্যিই দুর্দান্ত (আপডেটের পরে)। আমি ভেবেছিলাম স্থানাঙ্কগুলির মধ্যে রূপান্তরিত করার "সাধারণ নিয়ম" আহ্বান করা কিছুটা ওভারকিল (এবং আমার কাছে কেবল বিভ্রান্তিকর ছিল); যেমন দেখতে

r_{1} = β_{1} + β_{2} r_{12}

$r_1 = \beta_1 + \beta_2 r_{12}$ একটিতে কেবল কোসাইন সংজ্ঞাটি মনে রাখা উচিত এবং সঠিক ত্রিভুজগুলির মধ্যে একটির দিকে নজর দেওয়া উচিত।

— অ্যামিবা

সত্যিই শীতল সম্পাদনা, স্যুইচড গ্রহণযোগ্য।

— করোন