লিনিয়ার রিগ্রেশন: * কেন আপনি বর্গাকার পরিমাণ বিভাজন করতে পারেন?

9

এই পোস্টটি রৈখিক মডেলকে বোঝায়, । আমি সর্বদা ত্রুটি (এসএসই) এর জন্য স্কোয়ারের মোট যোগফল (এসএসটিও) এবং onমানের ভিত্তিতে মডেল (এসএসআর) এর স্কোয়ারের যোগফলকে বিভাজন করেছিলাম, তবে একবার আমি সত্যিই এটি সম্পর্কে চিন্তাভাবনা শুরু করলে, আমি বুঝতে পারি না কেন এটি কাজ করে ... $Y_i = \beta_0 + \beta_1x_i$

অংশ আমি কি তা বুঝে দেখ

$y_i$ : y এর একটি পর্যবেক্ষণকৃত মান

$\bar{y}$ : সমস্ত পর্যবেক্ষণ করা $y_i$ s এর গড়

$\hat{y}_i$ : প্রদত্ত পর্যবেক্ষণের এক্স এর জন্য y এর লাগানো / পূর্বাভাসের মান

$y_i - \hat{y}_i$ : অবশিষ্ট / ত্রুটি (যদি স্কোয়ারযুক্ত এবং সমস্ত পর্যবেক্ষণের জন্য যোগ করা হয় তবে এটি এসএসই)

$\hat{y}_i - \bar{y}$ : মডেল লাগানো মানটি গড় থেকে কতটা পৃথক (যদি স্কোয়ারযুক্ত থাকে এবং সমস্ত পর্যবেক্ষণের জন্য এটি যোগ করা হয় তবে এটি এসএসআর)

$y_i - \bar{y}$ : একটি পর্যবেক্ষণকৃত মানটি গড় থেকে কতটা পৃথক হয় (যদি সমস্ত পর্যবেক্ষণের জন্য এটি যুক্ত করে যোগ করা হয় তবে এটি এসএসটিও)।

কেন কোনও একক পর্যবেক্ষণের জন্য, কোনও কিছু স্কোয়ার না করেই আমি বুঝতে পারি $(y_i - \bar{y}) = (\hat{y}_i - \bar{y}) + (y_i - \hat{y}_i)$ । এবং আমি বুঝতে পারি কেন, আপনি যদি সমস্ত পর্যবেক্ষণে জিনিসগুলি যুক্ত করতে চান তবে আপনাকে সেগুলি বর্গাকার করতে হবে বা তারা 0 পর্যন্ত যোগ করতে পারবে।

আমি যে অংশটি বুঝতে পারি না তা হ'ল (উদাঃ এসএসটিও = এসএসআর + এসএসই)। দেখে মনে হচ্ছে আপনার যদি পরিস্থিতি থাকে তবে , । কেন এখানে মামলা হয় না? $(y_i - \bar{y})^2 = (\hat{y}_i - \bar{y})^2 + (y_i - \hat{y}_i)^2$ $A = B + C$ $A^2 = B^2 + 2BC + C^2$ $A^2 = B^2 + C^2$

regression sums-of-squares orthogonal

— bluemouse
সূত্র

5

আপনি আপনার শেষ অনুচ্ছেদে যোগফলটি রেখে গেছেন। এসএসটি = এসএসআর + এসএসই সমষ্টি , তবে আপনার সাম্যতা আপনি তত্ক্ষণাত্ লিখেছিলেন তার আগে সেখানে সংক্ষিপ্ত চিহ্ন ছাড়া সত্য নয়।

i

$i$

— গ্লেন_বি -রিনস্টেট মনিকা 26'17

1

আপনার শেষ অনুচ্ছেদে আপনি চান (যেমন এসএসটিও = এসএসআর + এসএসই) নয় (যেমন এসএসটিও = এসএসআর + এসএসই)। "উদাহরণস্বরূপ" হ'ল ল্যাটিন বাক্যাংশ " উদাহরণস্বরূপ গ্র্যাটিয়া ," বা ইংরেজিতে "উদাহরণস্বরূপ" এর সংক্ষেপণ । "অর্থাৎ" " আইডি এস্ট " এর একটি সংক্ষেপণ এবং ইংরেজিতে "যা হয়" হিসাবে পড়া যায়।

— ম্যাথু গুন

9

দেখে মনে হচ্ছে আপনার যদি পরিস্থিতি থাকে তবে , । কেন এখানে মামলা হয় না? $A = B + C$ $A^2 = B^2 + 2BC + C^2$ $A^2 = B^2 + C^2$

ধারণাগতভাবে, ধারণাটি হল যে কারণ এবং অরথোগোনাল (অর্থাৎ লম্ব হয়)। $BC = 0$ $B$ $C$

রৈখিক রিগ্রেশনের প্রেক্ষাপটে এখানে সালে অবশিষ্টাংশ হীনমন্যতায় ভোগার যুক্তিসংগত কারণ পূর্বাভাস লম্ব হয় । রৈখিক রিগ্রেশনের থেকে পূর্বাভাস একজন লম্ব পচানি সৃষ্টি মতোই অর্থে (0,4) একটি লম্ব পচানি হয়। $\epsilon_i = y_i - \hat{y}_i$ $\hat{y}_i - \bar{y}$ $\mathbf{y}$ $(3,4) = (3,0) + (0,4)$

লিনিয়ার বীজগণিত সংস্করণ:

দিন:

z = [\begin{matrix} y_{1} - \bar{y} \\ y_{2} - \bar{y} \\ \dots \\ y_{n} - \bar{y} \end{matrix}] \hat{z} = [\begin{matrix} {\hat{y}}_{1} - \bar{y} \\ {\hat{y}}_{2} - \bar{y} \\ \dots \\ {\hat{y}}_{n} - \bar{y} \end{matrix}] ϵ = [\begin{matrix} y_{1} - {\hat{y}}_{1} \\ y_{2} - {\hat{y}}_{2} \\ \dots \\ y_{n} - {\hat{y}}_{n} \end{matrix}] = z - \hat{z}

$\mathbf{z} = \begin{bmatrix} y_1 - \bar{y} \\ y_2 - \bar{y}\\ \ldots \\ y_n - \bar{y} \end{bmatrix} \quad \quad \mathbf{\hat{z}} = \begin{bmatrix} \hat{y}_1 - \bar{y} \\ \hat{y}_2 - \bar{y} \\ \ldots \\ \hat{y}_n - \bar{y} \end{bmatrix} \quad \quad \boldsymbol{\epsilon} = \begin{bmatrix} y_1 - \hat{y}_1 \\ y_2 - \hat{y}_2 \\ \ldots \\ y_n - \hat{y}_n \end{bmatrix} = \mathbf{z} - \hat{\mathbf{z}}$

লিনিয়ার রিগ্রেশন (একটি ধ্রুবক অন্তর্ভুক্ত সহ) দুটি ভেক্টরের যোগফলকে বিভক্ত করে: একটি পূর্বাভাস এবং একটি অবশিষ্ট $\mathbf{z}$ $\hat{\mathbf{z}}$ $\boldsymbol{\epsilon}$

z = \hat{z} + ϵ

$\mathbf{z} = \hat{\mathbf{z}} + \boldsymbol{\epsilon}$

চলুন ডট পণ্যকে বোঝায় । (আরও সাধারণভাবে, অভ্যন্তরীণ পণ্য হতে পারে )) $\langle .,. \rangle$ $\langle X,Y \rangle$ $E[XY]$

\begin{aligned} ⟨ z, z ⟩ & = ⟨ \hat{z} + ϵ, \hat{z} + ϵ ⟩ \\ = ⟨ \hat{z}, \hat{z} ⟩ + 2 ⟨ \hat{z}, ϵ ⟩ + ⟨ ϵ, ϵ ⟩ \\ = ⟨ \hat{z}, \hat{z} ⟩ + ⟨ ϵ, ϵ ⟩ \end{aligned}

$\begin{align*} \langle \mathbf{z} , \mathbf{z} \rangle &= \langle \hat{\mathbf{z}} + \boldsymbol{\epsilon}, \hat{\mathbf{z}} + \boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + 2 \langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \end{align*}$

যেখানে শেষ লাইনটি (অর্থাৎ এবং the এ সত্যটি অনুসরণ করে orthogonal)আপনি প্রমাণ করতে পারেন এবং উপর ভিত্তি করে লম্ব হয় কিভাবে সাধারণ লিস্ট স্কোয়ার রিগ্রেশন নির্মান। $\langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle = 0$ $\hat{\mathbf{z}}$ $\boldsymbol{\epsilon} = \mathbf{z}- \hat{\mathbf{z}}$ $\hat{\mathbf{z}}$ $\boldsymbol{\epsilon}$ $\hat{\mathbf{z}}$

$\hat{\mathbf{z}}$ হ'ল of এর রৈখিক প্রক্ষেপণ ress , , ইত্যাদি রেজিস্ট্রারদের লিনিয়ার স্প্যান দ্বারা সংজ্ঞায়িত উপস্থানে of অবশিষ্ট that সেই পুরো উপস্থানে অর্থোগোনাল তাই (যা , , ইত্যাদির মধ্যে রয়েছে)) লম্ব করার । $\mathbf{z}$ $\mathbf{x}_1$ $\mathbf{x}_2$ $\boldsymbol{\epsilon}$ $\hat{\mathbf{z}}$ $\mathbf{x}_1$ $\mathbf{x}_2$ $\boldsymbol{\epsilon}$

মনে রাখবেন যে আমি ডট পণ্য হিসাবে হিসাবে বর্ণনা করেছি, কেবল লেখার অন্য একটি উপায় (যেমন এসএসটিও = এসএসআর + এসএসই) $\langle .,.\rangle$ $\langle \mathbf{z} , \mathbf{z} \rangle = \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle$ $\sum_i (y_i - \bar{y})^2 = \sum_i (\hat{y}_i - \bar{y})^2 + \sum_i (y_i - \hat{y}_i)^2$

— ম্যাথু গন
সূত্র

8

পুরো পয়েন্টটি দেখিয়ে দিচ্ছে যে নির্দিষ্ট ভেক্টরগুলি অর্থোগোনাল এবং তারপরে পাইথাগোরিয়ান উপপাদ ব্যবহার করুন।

আসুন আমরা মাল্টিভারিয়েট লিনিয়ার রিগ্রেশন । আমরা জানি যে ওএলএসের অনুমানকারী হ'ল। । এখন অনুমান বিবেচনা করুন $Y = X\beta + \epsilon$ $\hat{\beta} = (X^tX)^{-1}X^tY$

$\hat{Y} = X\hat{\beta} = X(X^tX)^{-1}X^tY = HY$ (এইচ ম্যাট্রিক্সকে "টুপি" ম্যাট্রিক্সও বলা হয়)

যেখানে হ'ল অर्थোগোনাল প্রক্ষেপণ ম্যাট্রিক্স । এখন আমাদের আছে $H$ $S(X)$

$Y - \hat{Y} = Y - HY = (I - H)Y$

যেখানে হ'ল অর্থোগোনাল পরিপূরকের উপর একটি প্রজেকশন ম্যাট্রিক্স যা । সুতরাং আমরা জানি যে এবং or অর্থেগোনাল। $(I-H)$ $S(X)$ $S^{\bot}(X)$ $Y-\hat{Y}$ $\hat{Y}$

এখন একটি বিবেচনা করুন $Y = X_0\beta_0 + \epsilon$

যেখানে এবং কাছে প্রজেকশন ম্যাট্রিক্স সাথে অনুমানকারী এবং অনুমান এবং । আমাদের কাছে এবং । এবং এখন $X = [X_0 | X_1 ]$ $\hat{\beta_0}$ $\hat{Y_0}$ $H_0$ $S(X_0)$ $Y - \hat{Y_0}$ $\hat{Y_0}$

$\hat{Y} - \hat{Y_0} = HY - H_0Y = HY - H_0HY = (I - H_0)HY$

যেখানে আবার হ'ল একটি প্রজেকশন ম্যাট্রিক্স যা । সুতরাং আমরা এর orthogonality আছে এবং । সুতরাং শেষ পর্যন্ত আমাদের আছে $(I-H_0)$ $S(X_0)$ $S^{\bot}(X_0)$ $\hat{Y} - \hat{Y_0}$ $\hat{Y_0}$

$||Y - \hat{Y}||^2 = ||Y||^2 - ||\hat{Y}||^2 = ||Y - \hat{Y_0}||^2 + ||\hat{Y_0}||^2 - ||\hat{Y} - \hat{Y_0}||^2 - ||\hat{Y_0}||^2$

এবং পরিশেষে $||Y - \hat{Y_0}||^2 = ||Y - \hat{Y}||^2 + ||\hat{Y} - \hat{Y_0}||^2$

শেষ , নাল মডেল বিবেচনা করার সময় গড় simply কেবলমাত্র । $\bar{Y}$ $\hat{Y_0}$ $Y = \beta_0 + e$

— Asুকাস গ্র্যাড
সূত্র

আপনার উত্তর করার জন্য আপনাকে ধন্যবাদ! এস () (আপনার পোস্টে এস (এক্স) হিসাবে) কী?

— ব্লুমাউস

S (X)

$S(X)$ হ'ল ম্যাট্রিক্স

X

$X$

— generatedukasz গ্রেড