সরল লিনিয়ার রিগ্রেশনটিতে প্রতিক্রিয়া পরিবর্তনযোগ্য এবং ব্যাখ্যাযোগ্য পরিবর্তনশীলের প্রভাব

48

ধরা যাক যে $y$ এবং মধ্যে কিছু "সত্য" সম্পর্ক রয়েছে $x$ যেমন $y = ax + b + \epsilon$ , যেখানে $a$ এবং $b$ ধ্রুবক এবং $\epsilon$ হ'ল স্বাভাবিক শব্দ। আমি যখন এ আর কোড থেকে এলোমেলোভাবে ডেটা উত্পন্ন করি: x <- 1:100; y <- ax + b + rnorm(length(x))এবং তারপরে যেমন একটি মডেল ফিট করি তখন y ~ xআমি অবশ্যই $a$ এবং জন্য যুক্তিসঙ্গতভাবে ভাল অনুমান পাই $b$ ।

তবে আমি যদি ভেরিয়েবলের ভূমিকাটি হিসাবে হিসাবে স্যুইচ করি (x ~ y)এবং তারপরে ফাংশন হিসাবে $y$ জন্য ফলাফলটি আবারও লিখি, ফলে slালটি সর্বদা স্টিপার হয় (হয় আরও নেতিবাচক বা আরও ইতিবাচক) যা রিগ্রেশন দ্বারা অনুমান করা হয় তার চেয়ে বেশি । আমি কেন এটি ঠিক তা বোঝার চেষ্টা করছি এবং যদি কেউ আমাকে সেখানে কী চলছে সে সম্পর্কে কোনও অন্তর্দৃষ্টি দিতে পারে তবে এটির প্রশংসা করব। $x$ y ~ x

regression

— গ্রেগ আপন্টে
সূত্র

1

সাধারণভাবে এটি সত্য নয়। সম্ভবত আপনি এটি আপনার ডেটাতে দেখছেন। এই কোডটি আটকে দিন: y = rnorm (10); x = rnorm (10); LM (Y ~ X); LM (এক্স ~ Y); বেশ কয়েকবার আর এর মধ্যে and

— ম্যাক্রো

আমি যা বর্ণনা করছি তার থেকে এটি কিছুটা আলাদা। আপনার উদাহরণে y মোটেও x এর ফাংশন ছিল না, সুতরাং আসলে কোনও "opeাল" নেই (আমার উদাহরণে 'এ')।

— গ্রেগ আপনেতে

মডেল LM (Y ~ x) এর ফিট

y = β_{0} + β_{1} x + ε

$y = \beta_{0} + \beta_{1}x + \varepsilon$ লিস্ট স্কোয়ার (এমএল প্রাক্কলন সমতূল্য যখন ত্রুটি IID স্বাভাবিক) দ্বারা। একটা opeাল আছে।

— ম্যাক্রো

2

আপনার প্রশ্নটি stats.stackexchange.com/questions/13126 এবং stats.stackexchange.com/questions/18434 এ জিজ্ঞাসা করা হয়েছে এবং এর উত্তর (সাজানো) করা হয়েছে । যাইহোক, আমি বিশ্বাস করি কেউ কিছু এখনো একটি সহজ, মধ্যে (ক) রিগ্রেশনে সম্পর্ক সুস্পষ্ট ব্যাখ্যা দিয়েছে

Y

$Y$ বনাম

X

$X$ , (খ) রিগ্রেশনে

X

$X$ বনাম

Y

$Y$ , (গ) এর পারস্পরিক সম্পর্ক বিশ্লেষণ

X

$X$ এবং

Y

$Y$ , (ঘ)

X

$X$ এবং

ত্রুটি-ইন-ভেরিয়েবলগুলি রিগ্রেশন

Y

$Y$ এবং (ঙ)

-তে বিভাজনীয় সাধারণ বিতরণ উপযুক্ত

(X, Y)

$(X,Y)$ । এটি এই জাতীয় প্রকাশের জন্য একটি ভাল জায়গা হবে :-)।

— whuber

2

অবশ্যই ম্যাক্রো সঠিক: কারণ x এবং y প্রশ্নের সমতুল্য ভূমিকা পালন করে, কোন opeালু বেশি চরম তা সুযোগের বিষয়। তবে জ্যামিতিটি (ভুলভাবে) পরামর্শ দেয় যে আমরা যখন রিগ্রেশন-এ x এবং y বিপরীত করি তখন আমাদের মূল weালের recipocal পাওয়া উচিত । X এবং y রৈখিকভাবে নির্ভরশীল ব্যতীত কখনই তা ঘটে না। এই প্রশ্নটি কেন তা জিজ্ঞাসা করে ব্যাখ্যা করা যেতে পারে।

— whuber

23

প্রদত্ত ডাটা পয়েন্টের , সমতল, আমাদের একটি সরল রেখা আঁকা যাক । আমরা ভবিষ্যদ্বাণী করা যদি মান হিসাবে এর , তারপর ত্রুটি হয় $n$ $(x_i,y_i), i = 1,2,\ldots n$ $y = ax+b$ $ax_i+b$ $\hat{y}_i$ $y_i$ ,স্কোয়ার ত্রুটিটিহ'ল , এবংমোট স্কোয়ার ত্রুটি । আমরা জিজ্ঞাসা করি $(y_i-\hat{y}_i) = (y_i-ax_i-b)$ $(y_i-ax_i-b)^2$ $\sum_{i=1}^n (y_i-ax_i-b)^2$

আপনি কি পছন্দ এবং ছোট ? $a$ $b$ $S =\displaystyle\sum_{i=1}^n (y_i-ax_i-b)^2$

যেহেতু সরল রেখা থেকে এর উল্লম্ব দূরত্ব তাই আমরা রেখার জন্য অনুরোধ করছি যাতে বিন্দুগুলির উল্লম্ব দূরত্বগুলির বর্গাকার যোগফল লাইন যতটা সম্ভব ছোট এখন উভয়ের একটি দ্বিঘাত ফাংশন এবং এবং তার সর্বনিম্ন মান attains যখন এবং যেমন যে হয় $(y_i-ax_i-b)$ $(x_i,y_i)$ $S$ $a$ $b$ $a$ $b$ দ্বিতীয় সমীকরণ থেকে, আমরাপাই

\begin{aligned} \frac{\partial S}{\partial a} & = 2 \sum_{i = 1}^{n} (y_{i} - a x_{i} - b) (- x_{i}) & = 0 \\ \frac{\partial S}{\partial b} & = 2 \sum_{i = 1}^{n} (y_{i} - a x_{i} - b) (- 1) & = 0 \end{aligned}

$\begin{align*} \frac{\partial S}{\partial a} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-x_i) &= 0\\ \frac{\partial S}{\partial b} &= 2\sum_{i=1}^n (y_i-ax_i-b)(-1) &= 0 \end{align*}$

যেখানে

b = \frac{1}{n} \sum_{i = 1}^{n} (y_{i} - a x_{i}) = μ_{y} - a μ_{x}

$b = \frac{1}{n}\sum_{i=1}^n (y_i - ax_i) = \mu_y - a\mu_x$

এর গাণিতিক গড় মান

's এবং

' যথাক্রমে s। প্রথম সমীকরণের পরিবর্তে আমরা

পাই

μ_{y} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}, μ_{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i}

$\displaystyle \mu_y = \frac{1}{n}\sum_{i=1}^n y_i, ~ \mu_x = \frac{1}{n}\sum_{i=1}^n x_i$

y_{i}

$y_i$

x_{i}

$x_i$

সুতরাং, লাইন যে ছোট

হিসাবে প্রকাশ করা যেতে পারে

a = \frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}} .

$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$

S

$S$

y = a x + b = μ_{y} + (\frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}}) (x - μ_{x}),

$y = ax+b = \mu_y + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}\right) (x - \mu_x),$

S

$S$

S_{min} = \frac{[(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}] [(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}] - {[(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}]}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}} .

$S_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2}.$

আমরা ভূমিকা অদলবদল তাহলে এবং , একটি রেখা আঁকা , এবং মান জন্য অনুরোধ এবং যে কমান অর্থাৎ আমরা লাইনটি এমনভাবে চাই যে বিন্দু থেকে অনুভূমিক দূরত্বগুলির বর্গাকার যোগফল লাইন যতটা সম্ভব ছোট, তারপরে আমরা পাই $x$ $y$ $x = \hat{a}y + \hat{b}$ $\hat{a}$ $\hat{b}$

T = \sum_{i = 1}^{n} (x_{i} - \hat{a} y_{i} - \hat{b})^{2},

$T = \sum_{i=1}^n (x_i - \hat{a}y_i - \hat{b})^2,$

x = \hat{a} y + \hat{b} = μ_{x} + (\frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}}) (y - μ_{y})

$x = \hat{a}y+\hat{b} = \mu_x + \left(\frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}\right) (y - \mu_y)$ এবং সর্বনিম্ন মান হল

T

$T$

T_{min} = \frac{[(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}] [(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}] - {[(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}]}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}} .

$T_{\min} = \frac{\left[\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2\right] \left[\left(\frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2\right] - \left[\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y\right]^2}{\left(\frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}.$

নোট করুন যে উভয় রেখাটি বিন্দুর মধ্য দিয়ে যায় তবে the general সাধারণভাবে পৃথক। প্রকৃতপক্ষে, @ শুভর একটি মন্তব্যে যেমন উল্লেখ করেছেন, সমস্ত পয়েন্ট একই সরলরেখায় থাকা অবস্থায় the সমান হয়। এটি দেখতে, দ্রষ্টব্য $(\mu_x,\mu_y)$

a = \frac{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i}^{2}) - μ_{x}^{2}}, {\hat{a}}^{- 1} = \frac{(\frac{1}{n} \sum_{i = 1}^{n} y_{i}^{2}) - μ_{y}^{2}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}}

$a = \frac{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}{ \left( \frac{1}{n}\sum_{i=1}^n x_i^2\right) -\mu_x^2},~~ \hat{a}^{-1} = \frac{ \left( \frac{1}{n}\sum_{i=1}^n y_i^2\right) -\mu_y^2}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y}$

(x_{i}, y_{i})

$(x_i,y_i)$

{\hat{a}}^{- 1} - a = \frac{S_{min}}{(\frac{1}{n} \sum_{i = 1}^{n} x_{i} y_{i}) - μ_{x} μ_{y}} = 0 \Rightarrow S_{min} = 0 \Rightarrow y_{i} = a x_{i} + b, i = 1, 2, \dots, n .

$\hat{a}^{-1} - a = \frac{S_{\min}}{\left(\frac{1}{n}\sum_{i=1}^n x_iy_i\right) -\mu_x\mu_y} = 0 \Rightarrow S_{\min} = 0 \Rightarrow y_i=ax_i+b, i=1,2,\ldots, n.$

— দিলীপ সরওয়াতে
সূত্র

ধন্যবাদ! অ্যাবস (পারস্পরিক সম্পর্ক) <1 বিপরীত ক্ষেত্রে systeালটি পদ্ধতিগতভাবে আরও বেশি খাড়া হওয়ার কারণ রয়েছে for

— গ্রেগ আপোন্টে

(+1) তবে আমি জ্যামিতিক মনের মত আপনি যা বলেছিলেন তার একটি চিত্র দিয়ে আমি একটি উত্তর যুক্ত করেছি :)

— এলভিস

শ্রেণীর উত্তর (+1)

— ডিজিও

39

কেবল দিলীপের উত্তর চিত্রিত করতে: নীচের ছবিগুলিতে,

কালো বিন্দু হ'ল ডেটা পয়েন্ট;
বামদিকে, কালো রেখাটি রেগ্রেশন রেখা দ্বারা প্রাপ্ত y ~ x, যা লাল অংশগুলির দৈর্ঘ্যের বর্গক্ষেত্রকে হ্রাস করে;
ডানদিকে, কালো রেখাটি রেগ্রেশন রেখা দ্বারা প্রাপ্ত x ~ y, যা লাল অংশগুলির দৈর্ঘ্যের বর্গক্ষেত্রকে ছোট করে।

রিগ্রেশন লাইন

সম্পাদনা করুন (অন্তত আয়তক্ষেত্রের রিগ্রেশন)

যদি কোনও "প্রতিক্রিয়া" এবং "কোভারিয়েট" চয়ন করার কোনও প্রাকৃতিক উপায় না থাকে তবে দুটি পরিবর্তনশীল পরস্পর নির্ভরশীল আপনি এবং জন্য একটি প্রতিসম ভূমিকা রক্ষা করতে চাইতে পারেন ; এই ক্ষেত্রে আপনি "সর্বনিম্ন আয়তক্ষেত্রের রিগ্রেশন" ব্যবহার করতে পারেন। $y$ $x$

লিখুন ; $Y = aX + b + \epsilon$
বোঝাতে এবং এর হিসেব শর্তসাপেক্ষ করার এবং করার শর্তাধীন ; $\hat y_i = a x_i + b$ $\hat x_i = {1\over a} (y_i - b)$ $Y_i$ $X = x_i$ $X_i$ $Y = y_i$
মিনিমাইজ করুন, যা $\sum_i | x_i - \hat x_i | \cdot | y_i - \hat y_i|$ $\hat{y} = s i g n (c o v (x, y)) \frac{{\hat{σ}}_{y}}{{\hat{σ}}_{x}} (x - \bar{x}) + \bar{y} .$ $\hat y = \mathrm{sign}\left(\mathrm{cov}(x,y)\right){\hat\sigma_y \over \hat\sigma_x} (x-\overline x) + \overline y.$

এখানে একই ডেটা পয়েন্ট সহ একটি চিত্রণ দেওয়া হয়েছে, প্রতিটি বিন্দুর জন্য, দুটি "লাল অংশের দৈর্ঘ্যের পণ্য হিসাবে একটি" আয়তক্ষেত্র "গণনা করা হয়, এবং আয়তক্ষেত্রগুলির যোগফল হ্রাস করা হয়। আমি এই রিগ্রেশনটির বৈশিষ্ট্যগুলি সম্পর্কে খুব বেশি জানি না এবং গুগলের সাথে আমি খুব বেশি কিছু পাই না।

অন্তত আয়তক্ষেত্র

— এলভিস
সূত্র

14

কিছু নোট: ( 1 ) আমার ভুল না হলে মনে হয় "ন্যূনতম আয়তক্ষেত্রের রিগ্রেশন" কেন্দ্রিককরণের পরে ম্যাট্রিক্স এর প্রথম প্রধান উপাদান গ্রহণ থেকে প্রাপ্ত সমাধানের সমান seems এবং ইউনিট বৈকল্পিক এবং তারপরে ব্যাকস্বেস্ট করার জন্য উদ্ধার করা হচ্ছে। (অবিরত)

X = (y, x)

$\mathbf X = (\mathbf y, \mathbf x)$

— কার্ডিনাল

14

(চলছে।) ( 2 ) এভাবে দেখলে এটি দেখতে যে এই "অন্তত আয়তক্ষেত্র রিগ্রেশন" একটি ফর্ম সমতূল্য সহজ লম্ব (অথবা মোট) লিস্ট স্কোয়ার এবং, এইভাবে, ( 3 ) একটি বিশেষ ক্ষেত্রে Deming রিগ্রেশন উপর কেন্দ্রিক, উদ্ধারকৃত ভেক্টররা নিচ্ছে । অর্থোগোনাল ন্যূনতম স্কোয়ারগুলি "সর্বনিম্ন-চেনাশোনা রিগ্রেশন" হিসাবে বিবেচিত হতে পারে।

δ = 1

$\delta = 1$

— কার্ডিনাল

2

@ কার্ডিনাল খুব আকর্ষণীয় মন্তব্য! (+1) আমি বিশ্বাস করি যে বড় অক্ষগুলি (রেগ। লাইন এবং সমস্ত পয়েন্টগুলির মধ্যে লম্ব দূরত্ব হ্রাস করা ) বা প্রধান অক্ষ অক্ষরণা হ্রাস করা হয়েছে , বা পি লেজেন্ড্রের দ্বারা lmodel2 আর প্যাকেজে অনুকরণীয় হিসাবে টাইপ II রিগ্রেশনও এখানে প্রাসঙ্গিক যেহেতু যখন এই কৌশলগুলি ব্যবহার করা হয় তখন কী ভূমিকা (প্রতিক্রিয়া বা ভবিষ্যদ্বাণীকারী) প্রতিটি ভেরিয়েবলের ভূমিকা পালন করে বা যখন আমরা পরিমাপের ত্রুটিগুলির জন্য অ্যাকাউন্ট করতে চাই তা বলা শক্ত।

— সিএল

1

@ সিএইচএল: (+1) হ্যাঁ, আমি বিশ্বাস করি যে আপনি ঠিক আছেন এবং উইকিপিডিয়া পৃষ্ঠায় মোট ন্যূনতম স্কোয়ারগুলিতে একই পদ্ধতির জন্য আরও বেশ কয়েকটি নাম তালিকাভুক্ত করা হয়েছে, যার সাথে আমি পরিচিত নই। এটি কমপক্ষে আর। ফ্রিশ্চে ফিরে আসে বলে মনে হয়, সম্পূর্ণ রিগ্রেশন সিস্টেমের মাধ্যমে পরিসংখ্যানীয় সঙ্গমের বিশ্লেষণ , ইউনিভার্সিটিট একনোমিস্ক ইনস্টিটিউট, ১৯৩৪ যেখানে একে ডায়াগোনাল রিগ্রেশন বলা হয়েছিল ।

— কার্ডিনাল

3

@ কার্ডিনাল উইকিপিডিয়া এন্ট্রি পড়ার সময় আমার আরও যত্নবান হওয়া উচিত ছিল ... ভবিষ্যতের রেফারেন্সের জন্য, এখানে এম লোগান দ্বারা র ব্যবহার করে বায়োস্ট্যাটালিস্টিকাল ডিজাইন এবং বিশ্লেষণ থেকে তোলা একটি ছবি (উইলি, ২০১০; চিত্র। ৮.৪, পৃষ্ঠা। ১4৪) , যা বিভিন্ন পদ্ধতির সংক্ষিপ্তসার করে, অনেকটা এলভিসের চমৎকার চিত্রের মতো।

— chl

13

আপনি কেন একটি রিগ্রেশনের জন্য slালটিকে আরও ছোট দেখেন তা সম্পর্কে একটি সংক্ষিপ্ত নোট। উভয় তিনটি সংখ্যার উপর নির্ভর করে: এবং এর স্ট্যান্ডার্ড বিচ্যুতি ( এবং ), এবং এবং ( ) এর মধ্যে পারস্পরিক সম্পর্ক । প্রতিক্রিয়া হিসাবে সাথে রিগ্রেশনটি has এবং প্রতিক্রিয়া হিসাবে সহ রিগ্রেশন , তাই দ্বিতীয়টির পারস্পরিক ক্ষেত্রে প্রথম অনুপাতটি সমান । $x$ $y$ $s_{x}$ $s_{y}$ $x$ $y$ $r$ $y$ $r\frac{s_{y}}{s_{x}}$ $x$ $r\frac{s_{x}}{s_{y}}$ $r^2\leq 1$

সুতরাং বৈকল্পিকের যত বেশি অনুপাত ব্যাখ্যা করা হয়েছে, প্রতিটি ক্ষেত্রে থেকে প্রাপ্ত opালু তত কাছাকাছি। নোট করুন যে ব্যাখ্যা করা বৈকল্পিকের অনুপাতটি সমান্তরাল এবং সাধারণ লিনিয়ার রিগ্রেশন-এ স্কোয়ার পারস্পরিক সম্পর্কের সমান।

— probabilityislogic
সূত্র

1

এটি দেখার একটি সহজ উপায় হ'ল নোট করা, যদি সত্যিকারের মডেল , আপনি দুটি প্রতিক্রিয়া চালান: $y=\alpha+\beta x+\epsilon$

$y=a_{y\sim x}+b_{y\sim x} x$
$x=a_{x\sim y}+b_{x\sim y} y$

তারপরে আমাদের কাছে, : $b_{y\sim x}=\frac{cov(x,y)}{var(x)}=\frac{cov(x,y)}{var(y)}\frac{var(y)}{var(x)}$

b_{y \sim x} = b_{x \sim y} \frac{v a r (y)}{v a r (x)}

$b_{y\sim x}=b_{x\sim y}\frac{var(y)}{var(x)}$

সুতরাং আপনি একটি steeper ঢাল পেতে বা শুধু অনুপাত উপর নির্ভর করে । এই অনুপাতটি সমান, অনুমান করা সত্য মডেলের উপর ভিত্তি করে: $\frac{var(y)}{var(x)}$

\frac{v a r (y)}{v a r (x)} = \frac{β^{2} v a r (x) + v a r (ϵ)}{v a r (x)}

$\frac{var(y)}{var(x)}=\frac{\beta^2 var(x) + var(\epsilon)}{var(x)}$

অন্যান্য উত্তরের সাথে লিঙ্ক করুন

আপনি এই ফলাফলটিকে অন্যের উত্তরের সাথে সংযুক্ত করতে পারেন, যিনি বলেছিলেন যে যখন , তখন এটি পরস্পরের উচিত। প্রকৃতপক্ষে, , এবং এছাড়াও, (কোনও অনুমানের ত্রুটি নেই), সুতরাং: $R^2=1$ $R^2=1\Rightarrow var(\epsilon) = 0$ $b_{y\sim x}=\beta$

R^{2} = 1 \Rightarrow b_{y \sim x} = b_{x \sim y} \frac{β^{2} v a r (x) + 0}{v a r (x)} = b_{x \sim y} β^{2}

$R^2=1\Rightarrow b_{y\sim x}=b_{x\sim y}\frac{\beta^2 var(x) + 0}{var(x)}=b_{x\sim y}\beta^2$

সুতরাং $b_{x\sim y}=1/\beta$

— Matifou
সূত্র

0

এটি আকর্ষণীয় হয়ে ওঠে যখন আপনার ইনপুটগুলিতেও শব্দ হয় (যা আমরা তর্ক করতে পারি সর্বদা ক্ষেত্রে, কোনও আদেশ বা পর্যবেক্ষণ কখনও নিখুঁত নয়)।

এক্স এবং y উভয় ক্ষেত্রে গাউসিয়ান শোরগোলের সাথে আমি একটি সাধারণ রৈখিক সম্পর্ক উপর ভিত্তি করে ঘটনাটি পর্যবেক্ষণ করতে কিছু সিমুলেশন তৈরি করেছি । আমি নিম্নলিখিত হিসাবে পর্যবেক্ষণ উত্পন্ন (পাইথন কোড): $x = y$

x = np.linspace(0, 1, n)
y = x

x_o = x + np.random.normal(0, 0.2, n)
y_o = y + np.random.normal(0, 0.2, n)

বিভিন্ন ফলাফল দেখুন (এখানে অদ্ভুততা অরথোগোনাল দূরত্বের রিগ্রেশন, অর্থাত্ ন্যূনতম আয়তক্ষেত্রের রিগ্রেশন সমান):

সমস্ত কোড এখানে আছে:

https://gist.github.com/jclevesque/5273ad9077d9ea93994f6d96c20b0ddd

— Levesque
সূত্র

0

রিগ্রেশন লাইন (সর্বদা) সত্য সম্পর্কের মতো নয়

আপনার কিছু 'সত্য' কার্যকারক সম্পর্ক থাকতে পারে

y = a + b x + ϵ

$y = a + bx + \epsilon$

তবে লাগানো রিগ্রেশন লাইনগুলি y ~ xবা x ~ yসেই কারণগত সম্পর্কের মতো নয় (বাস্তবায়নের ক্ষেত্রেও যদি রিগ্রেশন লাইনের কোনওটির জন্য অভিব্যক্তি কার্যকারণকারক 'সত্য' সম্পর্কের সাথে প্রকাশের সাথে মিলিত হতে পারে)

Opালুগুলির মধ্যে আরও সুনির্দিষ্ট সম্পর্ক

দুটি স্যুইচ করা সহজ লিনিয়ার রিগ্রেশনগুলির জন্য:

Y = a_{1} + b_{1} X X = a_{2} + b_{2} Y

$Y = a_1 + b_1 X\\X = a_2 + b_2 Y$

আপনি নিম্নলিখিত হিসাবে opালু সম্পর্কিত করতে পারেন:

b_{1} = ρ^{2} \frac{1}{b_{2}} \leq \frac{1}{b_{2}}

$b_1 = \rho^2 \frac{1}{b_2} \leq \frac{1}{b_2}$

সুতরাং op াল একে অপরের বিপরীত হয় না ।

স্বজ্ঞা

কারণটি হ'ল

রিগ্রেশন লাইন এবং পারস্পরিক সম্পর্ক অবশ্যই কার্যকারণ সম্পর্কের সাথে একের সাথে মিলিত হয় না ।
রিগ্রেশন লাইনগুলি শর্তযুক্ত সম্ভাবনা বা সেরা পূর্বাভাসের সাথে আরও সরাসরি সম্পর্কিত।

আপনি কল্পনা করতে পারেন যে শর্তাধীন সম্ভাবনা সম্পর্কের শক্তির সাথে সম্পর্কিত। রিগ্রেশন লাইনগুলি প্রতিফলিত করে এবং সম্পর্কের শক্তি যখন ছোট হয় তখন লাইনগুলির slালু উভয়ই অগভীর হতে পারে। Opালগুলি কেবল একে অপরের বিপরীত নয়।

উদাহরণ

এবং দুটি ভেরিয়েবল যদি একে অপরের সাথে কিছু (কার্যকরী) লিনিয়ার সম্পর্ক দ্বারা যুক্ত হয় আপনি কল্পনা করতে পারেন যে পুরোপুরি সেই সম্পর্কটিকে বিপরীত করা ভাল হবে না যদি আপনি প্রদত্ত মানের উপর ভিত্তি করে প্রকাশ করতে চান । $X$ $Y$

Y = a little bit of X + a lot of error

$Y = \text{a little bit of $X + $ a lot of error}$

X

$X$

Y

$Y$

পরিবর্তে

X = a lot of Y + a little of error

$X = \text{a lot of $Y + $ a little of error}$

এটি ব্যবহার করা ভাল

X = a little bit of Y + a lot of error

$X = \text{a little bit of $Y + $ a lot of error}$

নীচের উদাহরণগুলি বিতরণগুলি তাদের নিজ নিজ রেগ্রেশন লাইনের সাথে দেখুন। normal এবং সাথে মাল্টিভারিয়েট স্বাভাবিক $\Sigma_{11} \Sigma_{22}=1$ $\Sigma_{12} = \Sigma_{21} = \rho$

শর্তসাপেক্ষে প্রত্যাশিত মানগুলি (আপনি লিনিয়ার রিগ্রেশনটিতে কী পাবেন) হ'ল

\begin{matrix} E (Y | X) & = & ρ X \\ E (X | Y) & = & ρ Y \end{matrix}

$\begin{array}{} E(Y|X) &=& \rho X \\ E(X|Y) &=& \rho Y \end{array}$

এবং এই ক্ষেত্রে একটি বহুবিধ সাধারণ বিতরণ, তারপরে প্রান্তিক বিতরণ $X,Y$

\begin{matrix} Y & \sim & N (ρ X, 1 - ρ^{2}) \\ X & \sim & N (ρ Y, 1 - ρ^{2}) \end{matrix}

$\begin{array}{} Y & \sim & N(\rho X,1-\rho^2) \\ X & \sim & N(\rho Y,1-\rho^2) \end{array}$

সুতরাং আপনি ভেরিয়েবলটি দেখতে পাচ্ছেন যে অংশ সাথে একটি অংশ এবং অংশের শব্দ । চারপাশে অন্যভাবে একই কথা। $\rho X$ $1-\rho^2$

পারস্পরিক সম্পর্ক সহগ larger বৃহত্তর , দুটি লাইন আরও কাছাকাছি হবে। তবে পারস্পরিক সম্পর্ক যত কম হবে ততই দৃ strong় সম্পর্ক তত লাইন কম হবে (এটি উভয় লাইনের ক্ষেত্রেই সত্য এবং ) $\rho$ Y ~ XX ~ Y

— সেক্সটাস এম্পেরিকাস
সূত্র

0

সংক্ষিপ্ত উত্তর

একটি সাধারণ লিনিয়ার রিগ্রেশনের লক্ষ্যটি হল yভেরিয়েবলের সেরা পূর্বাভাস, ভেরিয়েবলের মান দেওয়া x। xভেরিয়েবলের প্রদত্ত মানগুলির পরিবর্তনের সর্বোত্তম ভবিষ্যদ্বাণী নিয়ে আসার চেষ্টা করার চেয়ে এটি ভিন্ন লক্ষ্য y।

সাধারণ লিনিয়ার রিগ্রেশন y ~ xআপনাকে yপ্রদত্ত পূর্বাভাস দেওয়ার জন্য 'সেরা' সম্ভাব্য মডেল দেয় x। সুতরাং, আপনি যদি x ~ yএটির জন্য মডেল ফিট করে এবং বীজগণিতভাবে এটি উল্টিয়ে দেন তবে সেই মডেলটি তার সেরাটি কেবলমাত্র সেই সাথে মডেলের জন্যও করতে পারে y ~ x। তবে উপযুক্ত মডেলটির জন্য উপযুক্ত মডেলকে ইনভার্ট করা x ~ yসাধারণত 'অনুকূল' মডেলের তুলনায় yপ্রদত্ত ভবিষ্যদ্বাণী xকরাতে আরও খারাপ করবে y ~ xকারণ "বিপরীত x ~ yমডেল" তৈরি করা হয়েছিল একটি অন্য উদ্দেশ্য পূরণের জন্য।

চিত্রণ

আপনার নিম্নলিখিত ডেটাसेटটি কল্পনা করুন:

আপনি যখন কোনও ওএলএস রিগ্রেশন চালান y ~ x, আপনি নীচের মডেলটি নিয়ে আসবেন

y = 0.167 + 1.5*x

এটি yনিম্নলিখিত ভবিষ্যদ্বাণীগুলির দ্বারা পূর্বাভাসকে অনুকূল করে, যার সাথে সম্পর্কিত ত্রুটি রয়েছে:

ওএলএস রিগ্রেশন এর পূর্বাভাসগুলি এই অর্থে সর্বোত্তম যে ডানদিকের কলামে মানগুলির সমষ্টি (অর্থাত বর্গের যোগফল) যতটা ছোট।

আপনি যখন কোনও ওএলএস রিগ্রেশন চালনা করেন x ~ y, আপনি একটি ভিন্ন মডেল নিয়ে আসেন:

x = -0.07 + 0.64*y

এটি সম্পর্কিত ত্রুটি সহ নিম্নলিখিত ভবিষ্যদ্বাণীগুলি করে x এর পূর্বাভাসকে অনুকূল করে তোলে।

আবার এটি এই অর্থে সর্বোত্তম যে ডানদিকের কলামের মানগুলির যোগফল যতটা সম্ভব ছোট (সমান 0.071)।

এখন, কল্পনা করুন যে আপনি প্রথম মডেলটি উল্টানোর চেষ্টা করেছিলেন y = 0.167 + 1.5*x, বীজগণিত ব্যবহার করে, আপনাকে মডেলটি দিয়েছিলেন x = -0.11 + 0.67*x।

এটি আপনাকে নিম্নলিখিত অনুমান এবং সম্পর্কিত ত্রুটিগুলি দেবে:

ডানদিকের কলামে মান এর সমষ্টি 0.074যা মডেল আপনি Y উপর এক্স regressing থেকে পেতে, IE থেকে সংশ্লিষ্ট সমষ্টি চেয়ে বড়, x ~ yমডেল। অন্য কথায়, "উল্টানো y ~ xমডেল" এর ওএলএস মডেলের তুলনায় এক্স পূর্বাভাস দেওয়ার ক্ষেত্রে আরও খারাপ কাজ করছে x ~ y।

— bschneidr
সূত্র