যখন কোনও ইন্টারসেপ্ট অন্তর্ভুক্ত করা হয় তখন কেন লিনিয়ার রিগ্রেশনের অবশিষ্টাংশগুলি সর্বদা শূন্যের সমষ্টি হয়?

14

আমি রিগ্রেশন মডেলগুলির বিষয়ে একটি কোর্স নিচ্ছি এবং লিনিয়ার রিগ্রেশন প্রদানের জন্য প্রদত্ত একটি বৈশিষ্ট্য হ'ল যখন কোনও ইন্টারসেপ্ট অন্তর্ভুক্ত করা হয় তখন অবশিষ্টগুলি সর্বদা শূন্যের সমষ্টি হয়।

কেস কেন এই ঘটনাটির জন্য একটি ভাল ব্যাখ্যা সরবরাহ করতে পারে?

regression residuals

— dts86
সূত্র

3

আপনি প্রথমে অবিচ্ছিন্ন নমুনায় কেন ঘনিষ্ঠভাবে সম্পর্কিত তবে সহজ প্রশ্নটি বিবেচনা করতে পছন্দ করতে পারেন, নমুনাটি বিয়োগ করে আপনি যে অবশিষ্টাংশগুলি পেয়েছেন তা প্রতিটি মান থেকে 0 এর

— সমানও হয় (

3

আপনি যখনই বুঝতে পারবেন যে "যোগফলের শূন্য" এর অর্থ "ব্যাখ্যামূলক ভেরিয়েবলগুলির একটিতে অরথোগোনাল" উত্তর জ্যামিতিকভাবে সুস্পষ্ট হয়ে যায়।

— হোয়াট

18

এটি সাধারণ সমীকরণগুলি থেকে সরাসরি অনুসরণ করে, যেমন ওএলএসের অনুমানকারী সমাধান করে যে সমীকরণগুলি,

X^{'} \underset{e}{\underset{⏟}{(y - X b)}} = 0

$\mathbf{X}^{\prime} \underbrace{\left( \mathbf{y} - \mathbf{X} \mathbf{b} \right)}_{\mathbf{e}} = 0$

বীজগণিত পছন্দ করলে অবশ্যই প্রথম বন্ধকের অভ্যন্তরের ভেক্টরটি অবশিষ্টাংশের ভেক্টর বা কলাম স্পেসের অরথোগোনাল of এর প্রক্ষেপণ । এখন ম্যাট্রিক্সের ভেক্টর সহ , যা প্রচলিতভাবে প্রথম কলামে হওয়া উচিত নয়, যা বাড়ে $\mathbf{y}$ $X$ $\mathbf{X}$

1^{'} e = 0 ⟹ \sum_{i = 1}^{n} e_{i} = 0

$\mathbf{1}^{\prime} \mathbf{e} = 0 \implies \sum_{i=1}^n e_i = 0$

দ্বি-ভেরিয়েবল সমস্যায় এটি দেখতে আরও সহজ, যেমন স্কোয়ার অবশিষ্টাংশের যোগফলকে হ্রাস করা আমাদের দিকে নিয়ে আসে

\sum_{i = 1}^{n} (y_{i} - a - b x_{i}) = 0

$\sum_{i=1}^n \left(y_i - a - b x_i \right) = 0$

যখন আমরা বিরতি সম্মানের সাথে ডেরাইভেটিভ গ্রহণ। এর পর থেকে আমরা পরিচিত অনুমানকারী পেতে এগিয়ে চলি

a = \bar{y} - b \bar{x}

$a = \bar{y} - b \bar{x}$

যেখানে আমরা আবার দেখতে পাই যে আমাদের অনুমানকারীদের নির্মাণ এই শর্ত চাপিয়ে দেয়।

— JohnK
সূত্র

17

ক্ষেত্রে আপনি একটি বরং স্বজ্ঞাত ব্যাখ্যা খুঁজছেন।

কিছু দিক থেকে, লিনিয়ার রিগ্রেশন মডেল অভিনব মানে ছাড়া কিছুই নয়। কিছু মান উপরে গাণিতিক গড় আমরা একটি মান খুঁজে পাই যা একটি কেন্দ্রীয়তার একটি পরিমাপ যা সমস্ত বিচ্যুতির যোগফল (যেখানে প্রতিটি বিচ্যুতি হিসাবে সংজ্ঞায়িত করা ) গড় মানের ডানদিকে সেই বামদিকে সমস্ত বিচ্যুতির যোগফলের সমান। এই পরিমাপটি ভাল হওয়ার কোনও অন্তর্নিহিত কারণ নেই, একটি নমুনার গড়টি বর্ণনা করার সবচেয়ে ভাল উপায়টি ছেড়ে দিন তবে এটি অবশ্যই স্বজ্ঞাত এবং ব্যবহারিক। গুরুত্বপূর্ণ বিষয়টি হ'ল, অঙ্কটি গাণিতিক গড়কে এইভাবে সংজ্ঞায়িত করার মাধ্যমে এটি অবশ্যই অনুসরণ করে যে আমরা যখন পাটিগণিত গড় তৈরি করলাম তখন সেই অর্থ থেকে সমস্ত বিচ্যুতি সংজ্ঞা অনুসারে শূন্যের সমষ্টি হতে হবে! $\bar{x}$ $x_1, x_2, \dots, x_n$ $u_i = x_i - \bar{x}$

লিনিয়ার রিগ্রেশন-এ, এটি আলাদা নয়। আমরা লাইন মাপসই যেমন যে আমাদের লাগানো মান (যা রিগ্রেশন লাইনে হয়) এবং প্রকৃত মান যে মধ্যে সব পার্থক্যের সমষ্টি উপরে লাইন ঠিক রিগ্রেশন লাইন মধ্যে সব পার্থক্য এবং সব মান এর সমষ্টি সমান নিচে লাইন। আবার কোনও অন্তর্নিহিত কারণ নেই, কেন এটি ফিট তৈরির সর্বোত্তম উপায় তবে এটি সোজা এবং স্বজ্ঞাতভাবে আবেদনকারী। পাটিগণিত অর্থের সাথে: এইভাবে আমাদের লাগানো মানগুলি তৈরি করে, এটি প্রয়োজনীয়ভাবে নির্মাণের দ্বারা অনুসরণ করে, যে এই লাইন থেকে সমস্ত বিচ্যুতি শূন্যের সমষ্টি হতে হবে অন্যথায় এটি কেবল কোনও ওএলএস পুনর্বিবেশন হবে না।

— ম্যানুয়েল আর
সূত্র

2

সরল, সহজ এবং স্বজ্ঞাত উত্তরের জন্য +1!

দুর্দান্ত ব্যাখ্যা, তবে আমি নিশ্চিত নই, "আবার কোনও অন্তর্নিহিত কারণ নেই, কেন এটি ফিট তৈরির সর্বোত্তম উপায় তবে এটি সরল এবং স্বজ্ঞাতভাবে আবেদনময়ী।" নির্ভুল গাউস-মার্কোভ উপপাদ্য দ্বারা এটি সুপরিচিত যে ওএলএসের অনুমানকারীগুলি হ'ল: সর্বোত্তম (ন্যূনতম-প্রকরণ) লিনিয়ার নিরপেক্ষ অনুমান (ধরে নেওয়া অনুমানগুলি মেটানো হয়)। প্রায়শই, কী আবেদন করা / যুক্তিসঙ্গত তা সম্পর্কে আমাদের স্বজ্ঞাত "অনুভূতিগুলি "ও গাণিতিকভাবে ব্যাক আপ করা হয়, যেমনটি এখানে রয়েছে।

— মেগ

3

যখন কোনও বাধা একাধিক লিনিয়ার রিগ্রেশনটিতে অন্তর্ভুক্ত করা হয়, রিগ্রেশন, ত্রুটির স্কোয়ারের যোগফল হ্রাস করা হয়। আংশিক অংশ নিন এবং এটি শূন্যে সেট করার ক্ষেত্রে ।

{\hat{y}}_{i} = β_{0} + β_{1} x_{i, 1} + β_{2} x_{i, 2} + \dots + β_{p} x_{i, p}

$\hat{y}_i = \beta_0 + \beta_1x_{i,1} + \beta_2x_{i,2} +…+ \beta_px_{i,p}$

S S E = \sum_{i = 1}^{n} {(e_{i})}^{2} = \sum_{i = 1}^{n} {(y_{i} - \hat{y_{i}})}^{2} = \sum_{i = 1}^{n} {(y_{i} - β_{0} - β_{1} x_{i, 1} - β_{2} x_{i, 2} - \dots - β_{p} x_{i, p})}^{2}

$SSE=\displaystyle\sum\limits_{i=1}^n \left(e_i \right)^2= \sum_{i=1}^n\left(y_i - \hat{y_i} \right)^2= \sum_{i=1}^n\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^2$

β_{0}

$\beta_0$

\frac{\partial S S E}{\partial β_{0}} = \sum_{i = 1}^{n} 2 {(y_{i} - β_{0} - β_{1} x_{i, 1} - β_{2} x_{i, 2} - \dots - β_{p} x_{i, p})}^{1} (- 1) = - 2 \sum_{i = 1}^{n} e_{i} = 0

$\frac{\partial{SSE}}{\partial{\beta_0}} = \sum_{i=1}^n 2\left(y_i -\beta_0- \beta_1x_{i,1}-\beta_2x_{i,2}-…- \beta_px_{i,p} \right)^1 (-1) =-2\displaystyle\sum\limits_{i=1}^ne_i=0$ সুতরাং, যখন কোনও ইন্টারসেপ্টকে লিনিয়ার রিগ্রেশন অন্তর্ভুক্ত করা হয় তখন অবশিষ্টাংশগুলি সর্বদা শূন্যের সমষ্টি হয়।

— DavidCruise
সূত্র

1

একটি মূল পর্যবেক্ষণটি হ'ল মডেলটির ইন্টারসেপ্ট রয়েছে বলে, , যা ডিজাইনের ম্যাট্রিক্স প্রথম কলাম , হিসাবে লেখা যেতে পারে যেখানে সমস্ত শূন্য সহ একটি কলাম ভেক্টর তবে প্রথম উপাদানটি একটি। এছাড়াও লক্ষ করুন, ম্যাট্রিক্স স্বরলিপিতে, অবশিষ্টাংশের যোগফল মাত্র । $1$ $X$

1 = X e,

$1 = Xe,$

e

$e$

1^{T} (y - \hat{y})

$1^T(y - \hat{y})$

অতএব,

\begin{aligned} 1^{T} (y - \hat{y}) = 1^{T} (I - H) y \\ = & e^{T} X^{T} (I - X (X^{T} X)^{- 1} X^{T}) y \\ = & e^{T} (X^{T} - X^{T} X (X^{T} X)^{- 1} X^{T}) y \\ = & e^{T} (X^{T} - X^{T}) y \\ = & 0. \end{aligned}

$\begin{align} & 1^T(y - \hat{y}) = 1^T(I - H)y \\ = & e^TX^T(I - X(X^TX)^{-1}X^T)y \\ = & e^T(X^T - X^TX(X^TX)^{-1}X^T)y \\ = & e^T(X^T - X^T)y \\ = & 0. \end{align}$

— Zhanxiong
সূত্র

0

ম্যাট্রিক্স বীজগণিত ব্যবহার করে একটি সাধারণ ব্যয়:

$\sum e$ হিসাবে লেখা যেতে পারে $1^Te$

তারপর

$1^Te = 1^T(M_x y)$ যেখানে ম্যাট্রিক্স। যেহেতু তাই আমরা পুনরায় পারি যাতে $M_x$ $M_x$ $(M_x1)^Ty$

যা সমান শূন্য যদি এবং লম্ব, যা যদি হয় তাহলে regressors ম্যাট্রিক্স পথিমধ্যে রয়েছে (এর একটি ভেক্টর প্রকৃতপক্ষে)। $M_x$ $1$ $x$ $1$

— Mino
সূত্র

আমি এটা ঠিক মনে করি না।

— মাইকেল আর চেরনিক

আপনি যদি কেন তা ব্যাখ্যা করেন তবে আমি কিছু শিখতে খুশি হব

— মিনো

0

$e_i = y_i - [1, X] [a, b] = y_i - Xb - a = v_i - a$
$\frac{d}{da} \sum e_i^2 \propto \sum e_i\cdot 1 = \sum v_i - a = 0$ সুতরাং $\hat{a} = \frac{1}{n}\sum v_i$
$\sum e_i = \sum_i v_i - a = \sum_i v_i - \frac{n}{n}\sum_i v_i = 0$

..

— Hunaphu
সূত্র