একাধিক পারস্পরিক সম্পর্কের সহগের জ্যামিতিক ব্যাখ্যা

আমি একাধিক পারস্পরিক সম্পর্কের জ্যামিতিক অর্থ আগ্রহী এবং সংকল্প সহগ রিগ্রেশনে , বা ভেক্টর স্বরলিপি, $R$ $R^2$ $y_i = \beta_1 + \beta_2 x_{2,i} + \dots + \beta_k x_{k,i} + \epsilon_i$

Y = এক্স β + + ε

$\mathbf{y} = \mathbf{X \beta} + \mathbf{\epsilon}$

এখানে নকশা ম্যাট্রিক্স হয়েছে সারি এবং কলাম, যা প্রথম , 1s একটি ভেক্টর যে ব্যাহত করার অনুরূপ । $\mathbf{X}$ $n$ $k$ $\mathbf{x}_1 = \mathbf{1}_n$ $\beta_1$

জ্যামিতিটি ডাইমেনশনাল ভেরিয়েবল স্পেসের চেয়ে ডাইমেনশনাল সাবজেক্ট স্পেসে বেশি আকর্ষণীয় । টুপি ম্যাট্রিক্স সংজ্ঞায়িত করুন: $n$ $k$

এইচ = {এক্স ({এক্স}^{⊤} এক্স)}^{- 1} {এক্স}^{⊤}

$\mathbf{H} = \mathbf{X \left(X^\top X \right)}^{-1} \mathbf{X}^\top$

এটি the এর কলাম স্পেসে অরথগোনাল প্রজেকশন , অর্থাত্ প্রতিটি ভেরিয়েবল উপস্থাপন করে ভেক্টর দ্বারা বিভক্ত উত্সের মধ্য দিয়ে ফ্ল্যাট , যার প্রথমটি । তারপরে the ফ্ল্যাটের "ছায়া" এর উপর পর্যবেক্ষণ করা প্রতিক্রিয়ার the এর ভেক্টরকে প্রজেক্ট করে , লাগানো মানগুলির ভেক্টর , এবং যদি আমরা অভিক্ষেত্রের পথটি দেখুন আমরা দেখতে পাই অবশিষ্টাংশের ভেক্টর a একটি ত্রিভুজটির তৃতীয় দিক গঠন করে। এটি আমাদের এর জ্যামিতিক ব্যাখ্যার দুটি রুট দিয়ে সজ্জিত করবে $\mathbf{X}$ $k$ $\mathbf{x}_i$ $\mathbf{1}_n$ $\mathbf{H}$ $\mathbf{y}$ $\mathbf{\hat{y}} = \mathbf{Hy}$ $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ $R^2$ :

একাধিক পারস্পরিক সম্পর্কের সহগের, বর্গ , যা মধ্যে পারস্পরিক হিসাবে সংজ্ঞায়িত করা হয় এবং। এটি কোনও কোণের কোসাইন হিসাবে জ্যামিতিকভাবে উপস্থিত হবে। $R$ $\mathbf{y}$ $\mathbf{\hat{y}}$
ভেক্টরগুলির দৈর্ঘ্যের ক্ষেত্রে: উদাহরণস্বরূপ । $SS_\text{residual} = \sum_{i=1}^{n}e_i^2 = \|\mathbf{e}\|^2$

আমি সংক্ষিপ্ত বিবরণ দেখে আনন্দিত হব যা ব্যাখ্যা করে:

(1) এবং (2) এর জন্য সূক্ষ্ম বিবরণ,
(1) এবং (2) সমান কেন,
সংক্ষেপে, জ্যামিতিক অন্তর্দৃষ্টি কীভাবে আমাদের এর মৌলিক বৈশিষ্ট্যগুলি কল্পনা করতে দেয় $R^2$ , উদাহরণস্বরূপ শব্দের ভিন্নতা 0 এ গেলে এটি কেন 1 এ চলে যায় (সর্বোপরি, আমরা যদি আমাদের দৃষ্টিভঙ্গি থেকে অনুধাবন করতে না পারি তবে এটি আর কিছু নয়) সুন্দর ছবি.)

আমি প্রশংসা করি এটি আরও সহজবোধ্য যদি ভেরিয়েবলগুলি প্রথমে কেন্দ্রীভূত হয় যা প্রশ্ন থেকে ইন্টারসেপটি সরিয়ে দেয়। যাইহোক, বেশিরভাগ পাঠ্যপুস্তকের অ্যাকাউন্টগুলিতে যা একাধিক রিগ্রেশন উপস্থাপন করে, ডিজাইন ম্যাট্রিক্স I যেমনটি আমি রেখেছিঅবশ্যই এটি ঠিক আছে যদি কোনও কেন্দ্রিক চলক দ্বারা বিস্তৃত স্থানটিতে কোনও প্রদর্শন ঘটে তবে পাঠ্যপুস্তকের রৈখিক বীজগণিত সম্পর্কে অন্তর্দৃষ্টি করার জন্য, অনির্ধারিত পরিস্থিতিতে জ্যামিতিকভাবে কী ঘটছে তার সাথে এটি ফিরে যুক্ত করতে খুব সহায়ক হবে। একটি সত্যিই অন্তর্দৃষ্টিপূর্ণ উত্তর ব্যাখ্যা পারে কি ঠিক নিচে ভঙ্গ হয় জ্যামিতিক যখন পথিমধ্যে মেয়াদ অবনমিত হয়েছে - অর্থাৎ যখন ভেক্টর $\mathbf{X}$ $\mathbf{1}_n$ বিস্তৃত সেট থেকে সরানো হয়। আমি মনে করি না এই একমাত্র কেন্দ্রিক ভেরিয়েবল বিবেচনা করে শেষ পয়েন্টটি সম্বোধন করা যেতে পারে।

— Silverfish
সূত্র

যদি মডেলটিতে একটি স্থির শব্দ থাকে তবে of (যেমন space , যা পরে কার্যকর হবে) এর কলাম স্পেসে রয়েছে । লাগানো that সেই কলাম স্থান দ্বারা গঠিত ফ্ল্যাটে পর্যবেক্ষণ করা প্রজেকশন । এই উপায়ে অবশিষ্টাংশ এর ভেক্টর ফ্ল্যাট ঋজু, তাই হয় । ডট পণ্য বিবেচনা করে আমরা দেখতে পাচ্ছি , সুতরাং of এর উপাদানগুলি অবশ্যই শূন্যের সমষ্টি। যেহেতু আমরা এই উপসংহারে $\mathbf{1_n}$ $\mathbf{X}$ $\bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}}$ $\mathbf{Y}$ $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ $\mathbf{1_n}$ $\sum_{i=1}^n e_i = 0$ $\mathbf{e}$ $Y_i = \hat{Y_i} + e_i$ $\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$ যাতে উভয় লাগানো এবং পর্যবেক্ষিত প্রতিক্রিয়ার গড় আছে । $\bar{Y}$

একাধিক প্রতিরোধের বিষয় স্পেসে ভেক্টর

চিত্রের এবং , যা কেন্দ্রিক ভেক্টরগুলি প্রতিনিধিত্ব করে পর্যবেক্ষণ এবং লাগানো প্রতিক্রিয়া জন্য। এই ভেক্টরগুলির মধ্যে কোণ কোসাইন তাই এবং corre এর পারস্পরিক সম্পর্ক হতে পারে , যা সংজ্ঞা অনুসারে একাধিক পারস্পরিক সম্পর্ক সহগের । form the ফ্ল্যাটটিতে অবস্থিত তবে এর অর্থেগোনাল এই ভেক্টরগুলি অবশিষ্টাংশের ভেক্টরের সাথে ত্রিভুজ গঠন করেঅত: পর: $\mathbf{Y} - \bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ $\theta$ $Y$ $\hat{Y}$ $R$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ $\mathbf{e}$

আর = কোসাইন্ (θ) = \frac{বিশেষণ}{hyp} = \frac{‖ \hat{ওয়াই} - \bar{ওয়াই} 1_{এন} ‖}{‖ ওয়াই - \bar{ওয়াই} 1_{এন} ‖}

$R = \cos(\theta) = \frac{\text{adj}}{\text{hyp}} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|}$

আমরা পাইথাগোরাসকে ত্রিভুজটিতে প্রয়োগ করতে পারি:

‖ ওয়াই - \bar{ওয়াই} 1_{এন} ‖^{2} = ‖ ওয়াই - \hat{ওয়াই} ‖^{2} + + ‖ \hat{ওয়াই} - \bar{ওয়াই} 1_{এন} ‖^{2}

$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$

যা আরও পরিচিত হতে পারে:

\sum_{i = 1}^{n} (Y_{i} - \bar{Y})^{2} = \sum_{i = 1}^{n} (Y_{i} - {\hat{Y}}_{i})^{2} + \sum_{i = 1}^{n} ({\hat{Y}}_{i} - \bar{Y})^{2}

$\sum_{i=1}^{n} (Y_i - \bar{Y})^2 = \sum_{i=1}^{n} (Y_i - \hat{Y}_i)^2 + \sum_{i=1}^{n} (\hat{Y}_i - \bar{Y})^2$

এই বর্গের অঙ্কের এর পচানি হয়। $SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$

সংকল্পের সহগের জন্য আদর্শ সংজ্ঞাটি হ'ল:

R^{2} = 1 - \frac{S S_{residual}}{S S_{total}} = 1 - \frac{\sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})^{2}}{\sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}} = 1 - \frac{‖ Y - \hat{Y} ‖^{2}}{‖ Y - \bar{Y} 1_{n} ‖^{2}}

$R^2 = 1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}} = 1 - \frac{\sum_{i=1}^n (y_i - \hat{y}_i)^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = 1 - \frac{\|\mathbf{Y} - \mathbf{\hat{Y}}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$

স্কোয়ারের যোগফলগুলি যখন বিভাজন করা যায় তখন এটি "বিবর্তনের অনুপাতের অনুপাত" গঠনের সমতুল্য দেখানোর জন্য কিছুটা সোজা বীজগণিত লাগে takes

R^{2} = \frac{S S_{regression}}{S S_{total}} = \frac{\sum_{i = 1}^{n} ({\hat{y}}_{i} - \bar{y})^{2}}{\sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}} = \frac{‖ \hat{Y} - \bar{Y} 1_{n} ‖^{2}}{‖ Y - \bar{Y} 1_{n} ‖^{2}}

$R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}} = \frac{\sum_{i=1}^n (\hat{y}_i - \bar{y})^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$

নূন্যতম বীজগণিত সহ ত্রিভুজ থেকে এটি দেখার একটি জ্যামিতিক উপায় রয়েছে। সংজ্ঞামূলক সূত্রটি এবং মৌলিক ত্রিকোণমিতির সাহায্যে আমরা এটিকে সহজ করতে পারি । এটি এবং মধ্যে লিঙ্ক । $R^2 = 1 - \sin^2(\theta)$ $\cos^2(\theta)$ $R^2$ $R$

এই বিশ্লেষণটির জন্য একটি ইন্টারসেপ্ট শব্দটি ফিট করা কতটা গুরুত্বপূর্ণ ছিল তা নোট করুন, যাতে কলামের in ছিল। এটি ব্যতীত, অবশিষ্টাংশগুলি শূন্যের সমষ্টি হত না এবং লাগানো মানগুলির মধ্যবর্তী মানগুলি সাথে মিলে না । সেক্ষেত্রে আমরা ত্রিভুজ আঁকতে পারি না; স্কোয়ারের পরিমাণগুলি পাইথাগোরীয় পদ্ধতিতে পচে যেতে পারত না; ঘন ঘন-উদ্ধৃত ফর্ম ছিল না কিংবা বর্গ হতে । এই পরিস্থিতিতে, কিছু সফ্টওয়্যার (সহ ) সম্পূর্ণভাবে জন্য আলাদা সূত্র ব্যবহার করে । $\mathbf{1_n}$ $Y$ $R^2$ $SS_{\text{reg}}/SS_{\text{total}}$ $R$ R $R^2$

— Silverfish
সূত্র

+1 খুব সুন্দর লেখার আপ এবং চিত্র। আমি অবাক হয়েছি যে এটিতে আমার একাকী একাকী উত্সাহ রয়েছে।

— অ্যামিবা

+1 টি। নোট করুন যে "কলাম স্পেস এক্স", ওয়াই, ওয়াইপ্রেড ভেক্টর ইত্যাদির সাথে আপনার উত্তরের চিত্রটি হ'ল মাল্টিভিয়ারেটের পরিসংখ্যানগুলিতে "(হ্রাস) বিষয় স্থানের উপস্থাপনা" ( দেখুন , আমি যেখানে এটি ব্যবহার করেছি সেখানে আরও লিঙ্ক সহ) )।

— ttnphns