ওএলএস ব্যবহার করে অবশিষ্টাংশে ত্রুটিগুলি নিবারণের সময় opeালটি সর্বদা ঠিক 1 কেন হয়?

Question

আমি আর তে কিছু সাধারণ সিমুলেশন ব্যবহার করে ত্রুটিগুলি এবং অবশিষ্টাংশের মধ্যে সম্পর্কের সাথে পরীক্ষা করছিলাম One একটি জিনিস আমি খুঁজে পেয়েছি সেটি হল, নমুনার আকার বা ত্রুটির বৈচিত্র নির্বিশেষে, আপনি যখন মডেলটি ফিট করেন তখন আমি সর্বদা theালের জন্য ঠিক পাই$1$

$${\rm errors} \sim \beta_0 + \beta_1 \times {\rm residuals}$$

আমি যে সিমুলেশনটি করছিলাম তা এখানে:

n <- 10 
s <- 2.7 

x <- rnorm(n) 
e <- rnorm(n,sd=s)
y <- 0.3 + 1.2*x + e

model <- lm(y ~ x) 
r <- model$res 

summary( lm(e ~ r) )

eএবং rঅত্যন্ত (তবে পুরোপুরি নয়) পারস্পরিক সম্পর্কযুক্ত, এমনকি ছোট নমুনাগুলির জন্য, তবে কেন এটি স্বয়ংক্রিয়ভাবে ঘটে তা আমি বুঝতে পারি না। একটি গাণিতিক বা জ্যামিতিক ব্যাখ্যা প্রশংসা করা হবে।

Comments

বেস ওএক্স সহ সমতল ত্রিভুজ ওএক্সওয়াইতে, YO এবং XY এর পক্ষগুলির উচ্চতাগুলি ত্রিভুজেরই উচ্চতা। জন্য, ঐ উচ্চতায় এর কোফিসিয়েন্টস দ্বারা দেওয়া হয় lm(y~r), lm(e~r)এবং lm(r~r)যা সেইজন্য সমস্ত সমান হতে হবে। পরবর্তীটি স্পষ্টতই । এই আদেশটি তিনটি দেখতে চেষ্টা করুন। আপনার শেষ কাজটি করতে একটি অনুলিপি তৈরি করতে হবে , যেমন । রিগ্রেশন জ্যামিতিক ডায়াগ্রাম সম্পর্কে আরও তথ্যের জন্য, stats.stackexchange.com/a/113207 দেখুন । $1$Rrs<-r;lm(r~s)

— হোবার

ধন্যবাদ @ শুভ আপনি কি কোনও উত্তর চেয়ে পছন্দ করতে চান যাতে আমি এটি গ্রহণ করতে পারি, বা সম্ভবত এটির সদৃশ হিসাবে চিহ্নিত করতে পারি?

— GoF_Logistic

আমি এটি একটি সদৃশ মনে করি না, তাই আমি মন্তব্যটি উত্তরে প্রসারিত করেছি।

— whuber

Answer 1

হুঁশিয়ার উত্তর দুর্দান্ত! (+1) আমি আমার কাছে সবচেয়ে বেশি পরিচিত নোটেশনটি ব্যবহার করে সমস্যাটি সমাধান করেছি এবং (কম আকর্ষণীয়, আরও রুটিন) অনুভূতিকে এখানে অন্তর্ভুক্ত করার জন্য উপযুক্ত হতে পারে।

যাক রিগ্রেশন মডেল হয়ে উঠুক , for এর জন্য এবং শব্দটি। তারপরে এর কলামগুলির সাথে এর রিগ্রেশনটির সাধারণ সমীকরণগুলি অনুমানঅতএব রিগ্রেশন অবশিষ্টাংশ রয়েছে জন্য ।$y = X \beta^* + \epsilon$$X \in \mathbb{R}^{n \times p}$$\epsilon$$y$$X$$X^T\left(y - X \hat\beta\right) = 0,$

$$\hat\beta = \left(X^T X \right)^{-1} X^T y.$$ $$r = y - X \hat\beta = \left( I - H \right) y = \left( I - H \right) \epsilon,$$ $H = X (X^T X)^{-1} X^T$

Regressing উপর কর্তৃক প্রদত্ত আনুমানিক ঢাল ফলাফল যেহেতু প্রতিসম এবং আদর্শবান এবং প্রায় নয়।$\epsilon$$r$

$$\begin{align*} (r^T r)^{-1} r^T \epsilon & = \left( \left[ \left(I - H\right) \epsilon \right]^T \left[ \left(I - H\right) \epsilon \right] \right)^{-1} \left[ \left(I - H\right) \epsilon \right]^T \epsilon \\ & = \frac{\epsilon^T \left( I - H \right)^T \epsilon}{\epsilon^T \left( I - H \right)^T \left( I - H \right) \epsilon} \\ & = \frac{\epsilon^T \left( I - H \right) \epsilon}{\epsilon^T \left( I - H \right) \epsilon} \\ & = 1, \end{align*}$$ $I-H$$\epsilon \not\in \mathrm{im}(X)$

এছাড়াও, এই আর্গুমেন্টটিও ধরে রেখেছে যে আমরা যখন কোনও রিসেপশনগুলিকে মূল রিগ্রেশনটিতে অন্তর্ভুক্ত করা হত, যখন আমরা অবশিষ্টাংশগুলিতে ত্রুটিগুলির রিগ্রেশনটি সম্পাদন করি তখন একটি বিরতি অন্তর্ভুক্ত করি, যেহেতু কোভারিটিস অরথোগোনাল (যেমন , সাধারণ সমীকরণগুলি থেকে) )।$1^T r = 0$

Comments

+1 সমাধানটি সতর্কতার সাথে এবং পরিষ্কারভাবে কাজ করা দেখতে বরাবরই দুর্দান্ত।

— whuber

Answer 2

ধারণাগত (বা ব্যবহারিক) সাধারণতার কোনও ক্ষতি ছাড়াই, প্রথমে কীভাবে একজন "অন্যান্য ভেরিয়েবলের জন্য নিয়ন্ত্রণ" ঠিক কীভাবে বর্ণনা করা হয়েছে তা হিসাবে প্রথমে ভেরিয়েবলগুলি থেকে ধ্রুবকটি সরিয়ে ফেলুন । যাক regressor হও, ত্রুটি, প্রতিক্রিয়া, লিস্ট স্কোয়ারগুলির এর অনুমান , এবং অবশিষ্টাংশ। এই সমস্ত ভেক্টর একই প্লেনে শুয়ে আছে, আমাদের তাদের ছবি আঁকার অনুমতি দেয়। পরিস্থিতিটি এইভাবে উপস্থাপিত হতে পারে, যেখানে উত্স নির্ধারণ করে:$x$$e$$Y=\beta x + e$$b$$\beta$$r = Y - bx$$O$

এই ছবিটি দিয়ে শুরু হয়েছিল , তারপর ত্রুটি যোগ উত্পাদন করতে । এর পরে উচ্চতাটি নীচে ফেলে দেওয়া হয়েছিল, এটি সর্বনিম্ন-স্কোয়ারের অনুমান মিলিত হয়েছিল । স্পষ্টতই অবশিষ্টাংশের ভেক্টর এবং তাই লেবেলযুক্ত ।ই ওয়াই বি এক্স ওয়াই - বি এক্স $\beta x$$e$$Y$$bx$$Y-bx$$r$

ত্রিভুজটির ভিত্তি রেজিস্টার ভেক্টর সমান্তরাল । এবং এর পক্ষের উচ্চতা ত্রিভুজেরই উচ্চতা। সংজ্ঞা দ্বারা, অবশিষ্ট তাই বেস থেকে দূরে দূরত্বের সম্মুখের অভিক্ষেপ দ্বারা পাওয়া যাবে: বেস ঋজু হয় । সুতরাং ত্রিভুজটির উচ্চতা তিনটি উপায়ে যেকোন একটিতে পাওয়া যাবে: বিরুদ্ধে ( এর উচ্চতা সন্ধান করা ); regressing বিরুদ্ধে (উচ্চতা খোঁজার ), অথবা regressing বিরুদ্ধে (উচ্চতা খোঁজারও Y ( β x ) Y r r Y r y e r e r r r $x$$OY$$(\beta x)Y$$r$$r$$Y$$r$$Y$$e$$r$$e$$r$$r$$r$ )। তিনটি মানই সমান হতে হবে (আপনি এই নিবন্ধগুলি চালিয়ে পরীক্ষা করতে পারেন)। পরেরটি অবশ্যই স্পষ্টত , QED ।$1$

---

যারা বীজগণিতকে পছন্দ করেন, আমরা এই জ্যামিতিক বিশ্লেষণকে মার্জিত বীজগণিত প্রদর্শনে রূপান্তর করতে পারি। কেবল যে পালন , , এবং সবাই সর্বসম মডিউল দ্বারা উত্পন্ন subspace । অতএব তারা কোনো স্থান লম্ব করার মধ্যে সমান অনুমান থাকতে হবে যেমন দ্বারা উত্পন্ন এক হিসাবে, , যেখানে প্রজেকশন সহগ আছে , Qed । (পরিসংখ্যানগতভাবে, আমরা কেবলমাত্র তিনটি এক্সপ্রেশনের মধ্যে এর উপাদানটি "আউট" রেখে প্রতিটি ক্ষেত্রে রেখে ))ই = আর + ( β - বি ) এক্স ওয়াই = ই + β এক্স = আর + ( ২ β - বি ) এক্স এক্স এক্স আর আর ১ এক্স $r$$e=r+(\beta-b)x$$Y=e+\beta x = r + (2\beta-b)x$$x$$x$$r$$r$$1$$x$$r$