সাধারণ লিনিয়ার রিগ্রেশন জন্য নমুনা পারস্পরিক সম্পর্ক এবং আর পরিসংখ্যানের সমতুল্য

Question

এটা প্রায়ই বর্ণিত আছে যে নমুনা পারস্পরিক সম্পর্কের বর্গ $r^2$ সমতূল্য $R^2$ সহজ রৈখিক রিগ্রেশনের জন্য সংকল্প সহগ। আমি নিজেই এটি প্রদর্শন করতে অক্ষম হয়েছি এবং এই সত্যতার একটি সম্পূর্ণ প্রমাণের প্রশংসা করব।

Comments

এটি যদি স্ব-অধ্যয়নের প্রশ্ন হয় তবে দয়া করে উপযুক্ত ট্যাগ যুক্ত করুন।

— অ্যান্ডি

এই প্রশ্নটি কেন জিজ্ঞাসা করে $R^2=r^2$।

— সিলভারফিশ

Answer 1

স্বীকৃতিতে কিছুটা ভিন্নতা রয়েছে বলে মনে হয়: একটি সাধারণ লিনিয়ার রিগ্রেশনে, আমি সাধারণত পর্যবেক্ষিত x এবং y মানের মধ্যে পারস্পরিক সম্পর্কের নিদর্শন হিসাবে প্রতীক সাথে "নমুনা সম্পর্কের সহগ" বাক্যাংশটি দেখেছি । আমি এই উত্তরের জন্য স্বরলিপিটি গ্রহণ করেছি। আমিও একই ফ্রেজ এবং প্রতীক পর্যবেক্ষিত মধ্যে পারস্পরিক নির্দেশ করতে ব্যবহার দেখেছি Y এবং লাগানো Y ; আমার উত্তরে আমি এটিকে "একাধিক পারস্পরিক সম্পর্ক সহগ" হিসাবে উল্লেখ করেছি এবং আর প্রতীকটি ব্যবহার করেছি । এই উত্তরটি ঠিকানাগুলি কেন সংকল্প সহগ উভয়ের বর্গাকার হয় দ এবং এর বর্গ $r$$x$$y$$y$$\hat y$$R$$r$$R$, সুতরাং কোনটি ব্যবহারের উদ্দেশ্য ছিল তা বিবেচনা করা উচিত নয়।

ফলাফলের বীজগণিত এক লাইনে অনুসরণ একবার পারস্পরিক সম্পর্ক এবং অর্থ সম্পর্কে কিছু সহজবোধ্য তথ্য আর প্রতিষ্ঠিত হয়, ফলে আপনি বাক্সযুক্ত সমীকরণ নিচে এড়িয়ে যেতে চান হতে পারে। আমি ধরে নিচ্ছি আমাদের বিশেষত: সমবায় ও বিবর্তনের প্রাথমিক বৈশিষ্ট্য প্রমাণ করতে হবে না:$r^2$$R$

ভার ( একটি এক্স + বি ) = একটি ২ ভার ( এক্স

$$\text{Cov}(aX+b, Y) = a\text{Cov}(X,Y)$$ $$\text{Var}(aX+b) = a^2\text{Var}(X)$$

নোট করুন যে পূর্ববর্তীটি পূর্বের থেকে উদ্ভূত হতে পারে, একবার আমরা জানতে পারি যে সমবায়ু প্রতিসাম্য এবং । পারস্পরিক সম্পর্ক সম্পর্কে আমরা এখান থেকে আরেকটি মৌলিক সত্য প্রকাশ করি। একটি ≠ 0 এর জন্য এবং যতক্ষণ X এবং Y এর শূন্য নয়,$\text{Var}(X)= \text{Cov}(X,X)$$a \neq 0$$X$$Y$

$$\begin{align} \text{Cor}(aX+b, Y) &= \frac{\text{Cov}(aX+b, Y)}{\sqrt{\text{Var}(aX+b) \text{Var} (Y)}} \\ &= \frac{a}{\sqrt{a^2}} \times \frac{\text{Cov}(X, Y)}{\sqrt{\text{Var}(X) \text{Var} (Y)}} \\ \text{Cor}(aX+b, Y) &= \text{sgn}(a) \, \text{Cor}(X,Y) \end{align}$$

এখানে হয় সংকেত বা চিহ্ন ফাংশন : তার মান SGN ( একটি ) = + + 1 যদি একটি > 0 এবং SGN ( একটি ) = - 1 যদি একটি < 0 । এটি সত্য যে sgn ( a ) = 0 যদি a $\text{sgn}(a)$$\text{sgn}(a) = +1$$a>0$$\text{sgn}(a) = -1$$a<0$$\text{sgn}(a) = 0$ , কিন্তু যে ক্ষেত্রে আমাদের উদ্বেগ নেই: একটি এক্স + + খ একটি ধ্রুবক হবে, তাই সরবরাহ Var $a=0$$aX+b$ ভেদে এবং আমরা পারস্পরিক সম্পর্ক গণনা করতে পারি না। সিমেট্রি আর্গুমেন্ট আমাদের জন্য এই ফলাফল সাধারণের যাক একটি $\text{Var}(aX+b) = 0$ :$a, \, c \neq 0$

$$\text{Cor}(aX+b, \, cY+d) = \text{sgn}(a) \, \text{sgn}(c) \, \text{Cor}(X,Y)$$

বর্তমান প্রশ্নের উত্তর দেওয়ার জন্য আমাদের এই আরও সাধারণ সূত্রের প্রয়োজন হবে না, তবে আমি পরিস্থিতিটির জ্যামিতির উপর জোর দেওয়ার জন্য এটি অন্তর্ভুক্ত করেছি: এটি কেবলমাত্র বলে যে ভেরিয়েবলকে ছোট বা অনুবাদ করা হয় তবে পারস্পরিক সম্পর্ক অপরিবর্তিত থাকে, তবে ভেরিয়েবল যখন হয় তখন চিহ্নটিতে বিপরীত হয় sign প্রতিফলিত।

আমরা আরও একটি সত্য প্রয়োজন: একটি ধ্রুবক মেয়াদ সহ একটি রৈখিক মডেল জন্য, সংকল্প সহগ একাধিক পারস্পরিক সম্পর্কের সহগের বর্গ হয় আর যা পর্যবেক্ষিত প্রতিক্রিয়ার মধ্যে কোরিলেশন ওয়াই এবং মডেল এর লাগানো মান ওয়াই । এই উভয় একাধিক এবং সহজ রিগ্রেশন জন্য প্রযোজ্য, কিন্তু রৈখিক মডেল সহজ আমাদের দৃষ্টি সীমাবদ্ধ দিন ওয়াই = β 0 + + β 1 এক্স । ফলাফলের পর্যবেক্ষণ থেকে অনুসরণ করে ওয়াই একটি স্কেল করা হয়, সম্ভবত প্রতিফলিত, এবং সংস্করণ অনূদিত এক্স :$R^2$$R$$Y$$\hat Y$$\hat Y = \hat \beta_0 + \hat \beta_1 X$$\hat Y$$X$

$$\boxed{R = \text{Cor}(\hat Y, Y) = \text{Cor}(\hat \beta_0 + \hat \beta_1 X, \, Y) = \text{sgn}(\hat \beta_1) \, \text{Cor}(X, Y) = \text{sgn}(\hat \beta_1) \, r}$$

তাই যেখানে চিহ্ন আনুমানিক ঢাল চিহ্ন, যা গ্যারান্টী সাথে মেলে R নেতিবাচক হতে না। স্পষ্টত আর 2$R = \pm r$$R$ ।$R^2 = r^2$

পূর্ববর্তী যুক্তিটি স্কোমের পরিমাণগুলি বিবেচনা না করে সহজ করা হয়েছিল। এটি অর্জনের জন্য, আমি এর মধ্যে সম্পর্কের বিশদটি এড়িয়ে গিয়েছিলাম , যা আমরা সাধারণত বর্গক্ষেত্রের যোগফলগুলির ক্ষেত্রে বিবেচনা করি এবং আর , যার জন্য আমরা উপযুক্ত এবং পর্যবেক্ষণের প্রতিক্রিয়ার পারস্পরিক সম্পর্ক সম্পর্কে চিন্তা করি। প্রতীকগুলি সম্পর্কটিকে আর 2 = ( আর ) 2কে টোটোলজিকাল বলে মনে করে তবে এটি হয় না এবং মডেলটিতে কোনও বাধা পদ না থাকলে সম্পর্কটি ভেঙে যায়! আমি আলাদা প্রশ্ন থেকে নেওয়া আর ও আর ২ এর মধ্যে সম্পর্ক সম্পর্কে জ্যামিতিক যুক্তির সংক্ষিপ্ত স্কেচ দেব$R^2$$R$$R^2 = (R)^2$$R$$R^2$: ডায়াগ্রামটি মাত্রিক বিষয় স্পেসে অঙ্কিত হয়েছে এন (ধ্রুবক শর্তের জন্য) এবং ব্যাখ্যামূলক ভেরিয়েবলের পর্যবেক্ষণের ভেক্টর, সুতরাং কলামের স্থানটি দ্বিমাত্রিক সমতল।$n$সুতরাং প্রতিটি অক্ষ (দেখানো হয়নি) পর্যবেক্ষণের একটি একক প্রতিনিধিত্ব করে এবং ভেরিয়েবলগুলি ভেক্টর হিসাবে দেখানো হয়। ডিজাইনের ম্যাট্রিক্স কলামগুলি ভেক্টর $\mathbf{X}$$\mathbf{1_n}$

লাগানো ওয়াই পরিলক্ষিত এর লম্ব অভিক্ষেপ হয় ওয়াই কলাম স্থান সম্মুখের এক্স । এই উপায়ে অবশিষ্টাংশ ভেক্টর ই = Y - Y ফ্ল্যাট ঋজু হয়, এবং অত: পর 1 এন । ডট পণ্য 0 = 1 n ⋅ e = ∑ n i = 1 ই i । যেমন অবশিষ্টাংশগুলি শূন্য এবং Y i = ^ Y i + e i এর সমষ্টি হয় , তারপরে ∑ n$\mathbf{\hat{Y}}$$\mathbf{Y}$$\mathbf{X}$$\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$$\mathbf{1_n}$$0 = \mathbf{1_n} \cdot \mathbf{e} = \sum_{i=1}^n e_i$$Y_i = \hat{Y_i} + e_i$ যাতে উভয় লাগানো এবং পর্যবেক্ষিত প্রতিক্রিয়ার গড় আছে ˉ ওয়াই । চিত্রটি ড্যাশ লাইন,ওয়াই- ˉ ওয়াই 1এনএবং ওয়াই - ˉ ওয়াই 1এন, অতএব হয়কেন্দ্রিকপর্যবেক্ষিত এবং লাগানো প্রতিক্রিয়া জন্য ভেক্টর, এবং কোণের কোসাইনθতাদের মধ্যে তাদের পারস্পরিক সম্পর্ক হয়আর।$\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$$\bar{Y}$$\mathbf{Y} - \bar{Y}\mathbf{1_n}$$\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$$\theta$$R$

ত্রিভুজ এই ভেক্টর অবশিষ্টাংশ এর ভেক্টর দিয়ে গঠন যেহেতু ডান-কুশলতার সাথে ওয়াই - ˉ ওয়াই 1 এন ফ্ল্যাটে মিথ্যা কিন্তু $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ এটি লম্ব হয়। পাইথাগোরাস প্রয়োগ করা:$\mathbf{e}$

$$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$$

এটি কেবল স্কোয়ারের যোগফলের পচন, । সংকল্পের সহগের জন্য প্রচলিত সূত্রটি 1 - এস এস $SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$ যা এই ত্রিভুজ হয়1-পাপ2θ=কোসাইন্2θতাই প্রকৃতপক্ষে বর্গ হয়আর। আর2=এসএস রিগ্রেশন সূত্রটির সাথে আপনি আরও পরিচিত হতে পারেন$1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}}$$1 - \sin^2 \theta = \cos^2 \theta$$R$ , যা অবিলম্বে দেয়কোসাইন্2θকিন্তু মনে রাখবেন যে1-এসএস$R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}}$$\cos^2 \theta$ আরও সাধারণ, এবংএসএস রিগ্রেশন হ্রাস করবে (যেমন আমরা কেবলমাত্র দেখেছি) reduce$1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}}$মডেলটিতে একটি ধ্রুবক পদ অন্তর্ভুক্ত করা হলে এস এস মোট ।$\frac{SS_{\text{regression}}}{SS_{\text{total}}}$

Comments

সুন্দর গণিত এবং গ্রাফ তৈরির প্রচেষ্টার জন্য +1 ধন্যবাদ !!

— হাইতাও ডু

Answer 2

হিসাবে সংজ্ঞায়িত করা হয় আর 2 = ভী ( Y আমি$R^2$ দ্য ছক নমুনা পারস্পরিক সম্পর্কের সহগের: R2(Yআমি, Y আমি)= ( Σ এন আমি = 1 ( Y আমি - ˉ Y ) ( Y আমি - ˉ Y ) )

$$R^2=\frac{\hat{V}(\hat{y}_i)}{\hat{V}(y_i)} =\frac{1/(N-1)\sum_{i=1}^N(\hat{y}_i-\bar{y})^2}{1/(N-1)\sum_{i=1}^N(y_i-\bar{y})^2}=\frac{ESS}{TSS}$$ সমতূল্য, যেমন এটিকে সহজে ব্যবহার যাচাই করা হয়েছে:ভী(Yআমি)=ভী( Y আমি)+ +ভি(ইআমি) (দেখুনVerbeek, §2.4) $$r^2(y_i,\hat{y}_i)=\frac{\left(\sum_{i=1}^N(y_i-\bar{y})(\hat{y}_i-\bar{y})\right)^2}{\left(\sum_{i=1}^N(y_i-\bar{y})^2\right)\left(\sum_{i=1}^N(\hat y_i-\bar{y})^2\right)}$$ $$\hat V(y_i)=\hat V(\hat y_i)+\hat V(e_i)$$

Comments

আপনি আরও কিছু বিশদ যুক্ত করতে পারেন। আমি এটি প্রমাণ করার চেষ্টা করেছি তবে কোনও সাফল্য ছাড়াই ...

— সমুদ্রের এক বৃদ্ধা।