অবশিষ্টাংশগুলি অন্তর্নিহিত ঝামেলার সাথে কীভাবে সম্পর্কিত?

Question

সর্বনিম্ন স্কোয়ার পদ্ধতিতে আমরা মডেলটির অজানা পরামিতিগুলি অনুমান করতে চাই:

$$Y_j = \alpha + \beta x_j + \varepsilon_j \enspace (j=1...n)$$

একবার আমরা এটি করার পরে (কিছু পর্যবেক্ষণ করা মানগুলির জন্য), আমরা লাগানো রিগ্রেশন লাইন পাই:

$$Y_j = \hat{\alpha} + \hat{\beta}x +e_j \enspace (j =1,...n)$$

অনুমানগুলি পূরণ হয়েছে তা নিশ্চিত করার জন্য এখন আমরা কিছু প্লট পরীক্ষা করতে চাই। ধরা যাক আপনি সমকামিতা পরীক্ষা করতে চান তবে এটি করার জন্য আমরা বাস্তবে অবশিষ্টাংশগুলি পরীক্ষা । ধরা যাক আপনি অবশিষ্টগুলি বনাম পূর্বাভাসিত মানগুলির প্লটটি পরীক্ষা করেন, যদি এটি আমাদের দেখায় যে হেটেরোসেসটাস্টিটি আপাতদৃষ্টিতে প্রকাশিত হয় তবে তা কীভাবে অশান্তি শব্দ term ? অবশিষ্টাংশে হেটেরোসেসটেস্টিটিটি কি অশান্তির পদগুলিতে বিজাতীয় পদার্থকে বোঝায়? $e_j$$\varepsilon_j$

Answer 1

এটি সম্পর্কে ভাবার সহজ উপায় হ'ল আপনার কাঁচা অবশিষ্টাংশ ($e_j = y_j-\hat y_j$) সম্পর্কিত ঝামেলাগুলির অনুমান ($\hat\varepsilon_j = e_j$)। তবে কিছু অতিরিক্ত জটিলতা রয়েছে। উদাহরণস্বরূপ, যদিও আমরা স্ট্যান্ডার্ড ওএলএস মডেলটিতে ধরে নিচ্ছি যে ত্রুটিগুলি / অশান্তিগুলি স্বতন্ত্র, অবশিষ্টাংশগুলি সমস্ত হতে পারে না। সাধারণভাবে, শুধুমাত্র$N-p-1$ আপনি যেহেতু ব্যবহার করেছেন অবশিষ্টাংশগুলি স্বাধীন হতে পারে $p-1$ গড় মডেল এবং অবশিষ্টাংশের অনুমানের ক্ষেত্রে স্বাধীনতার ডিগ্রিগুলি যোগফলকে সীমাবদ্ধ $0$। তদতিরিক্ত, কাঁচা অবশিষ্টাংশের স্ট্যান্ডার্ড বিচ্যুতি আসলে ধ্রুবক নয়। সাধারণভাবে, রিগ্রেশন লাইনটি এমনভাবে লাগানো হয় যে এটি বৃহত্তর লিভারেজের সাথে points পয়েন্টগুলির গড়ের কাছাকাছি থাকবে। ফলস্বরূপ, এই পয়েন্টগুলির জন্য অবশিষ্টাংশগুলির স্ট্যান্ডার্ড বিচ্যুতি কম লিভারেজ পয়েন্টগুলির চেয়ে ছোট। (এ সম্পর্কে আরও তথ্যের জন্য এটি এখানে উত্তরগুলি পড়তে সহায়তা করতে পারে: প্লট.এলএম () এর ব্যাখ্যা এবং / অথবা এখানে: লিনিয়ার রিগ্রেশনটিতে বাইনারি / ডিকোটমাস স্বতন্ত্র ভবিষ্যদ্বাণীকারীদের জন্য কীভাবে অবশিষ্ট বিশ্লেষণ করা যায়? )

Comments

স্পষ্ট করে বলতে গেলে, বেশিরভাগ এনপি -১ এর অবশিষ্টাংশ স্বাধীন হতে পারে, তবে সাধারণত তারা সকলেই সম্পর্কযুক্ত; পরিবর্তে, তাদের রৈখিক রূপান্তর রয়েছে যার এনপি -১ স্বতন্ত্র উপাদান থাকতে পারে।

— গ্লেন_বি -রাইনস্টেট মনিকা

@ গ্লেন_ বি, ভাল কথা।

— গুং - মনিকা পুনরায়

Answer 2

মধ্যকার সম্পর্ক $\hat{\varepsilon}$ এবং $\varepsilon$ হল:

$$\hat{\varepsilon} = (I-H) \varepsilon$$

কোথায় $H$, হ্যাট ম্যাট্রিক্স, হয় $X(X^TX)^{-1}X^T$।

যা বলতে হয় $\hat{\varepsilon}_i$ সমস্ত ত্রুটির একটি লিনিয়ার সংমিশ্রণ, তবে সাধারণত ওজন বেশিরভাগ ক্ষেত্রে পড়ে on $i$- এক।

carsআর-তে থাকা ডেটা সেট ব্যবহার করে এখানে একটি উদাহরণ দেওয়া হয়েছে। বেগুনি রঙে চিহ্নিত পয়েন্টটি বিবেচনা করুন:

একে পয়েন্ট বলি $i$। অবশিষ্ট,$\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\sum_{j\neq i} w_j \varepsilon_j$, যেখানে $w_j$ অন্যান্য ত্রুটিগুলি -0.02 অঞ্চলে রয়েছে:

আমরা এটিকে আবার লিখতে পারি:

$\hat{\varepsilon}_i\approx 0.98\varepsilon_i +\eta_i$

বা আরও সাধারণভাবে

$\hat{\varepsilon}_i= (1-h_{ii})\varepsilon_i +\eta_i$

কোথায় $h_{ii}$ হয় $i$- ত্রিভুজ এর উপাদান $H$। একইভাবে,$w_j$এর উপরে আছে $h_{ij}$।

ত্রুটিগুলি iid হলে $N(0,\sigma^2)$ তারপরে এই উদাহরণে, অন্যান্য অন্যান্য ত্রুটির ওজনযুক্ত যোগফলের ত্রুটিটির প্রভাব সম্পর্কে 1/7 ম-এর সাথে সম্পর্কিত একটি স্ট্যান্ডার্ড বিচ্যুতি থাকবে $i$এর অবশিষ্টাংশ পর্যবেক্ষণ।

যা বলার অপেক্ষা রাখে না, ভাল আচরণের কারণে, অবশিষ্টাংশগুলিকে বেশিরভাগ ক্ষেত্রে ত্রুটি শর্তটি অচল করার একটি মাঝারি শোরগোল অনুমানের মতো বিবেচনা করা যেতে পারে। কেন্দ্র থেকে আরও পয়েন্টগুলি বিবেচনা করার সময়, জিনিসগুলি কিছুটা কম সুন্দরভাবে কাজ করে (অবশিষ্টগুলি ত্রুটির উপর কম ওজনযুক্ত হয়ে ওঠে এবং অন্যান্য ত্রুটির ওজনও সমান হয়ে যায়)।

অনেকগুলি পরামিতি সহ, বা সাথে $X$এত সুন্দরভাবে বিতরণ করা হয়নি, অবশিষ্টাংশগুলি ত্রুটির মতো কম হতে পারে। আপনি কিছু উদাহরণ চেষ্টা করতে পারেন।

Comments

এটি সঠিক পন্থা। এটি অতিরিক্ত যা প্রয়োজন তা একটি যুক্তি যা তির্যক উপাদানগুলির$H$সাধারণত "ছোট" হয়। এটি দেখিয়ে তৈরি করা হয়েছে যে ট্রেসটি স্বাধীন ভেরিয়েবলের সংখ্যার সমতুল্য (ইন্টারসেপ্ট সহ, যদি থাকে তবে) - যা তাত্ক্ষণিকভাবে এটি প্রজেকশন ম্যাট্রিক্স। মনে রাখবেন যে এই ফলাফলটি কোনও ব্যক্তির উপর কোনও বিতরণ অনুমানের থেকে স্বাধীন$\varepsilon_i$: এগুলি সাধারণ হওয়ার দরকার নেই। এছাড়া কোনো প্রকৃত স্বাধীন সূত্র জন্য$H$; এটি একটি মাত্রার একটি গণনার ফলাফল।

— শুক্র

পর্যবেক্ষণের সংখ্যাটি যদি অন্য পরিস্থিতিতে ত্রুটিগুলির মতো খুব কম হতে পারে তবে কী ঘটবে না? $n$ছোট? সাধারণত @ শুভর হিসাবে যে সত্যটি চিহ্নিত করা হয়েছে$H$ স্বতন্ত্র ভেরিয়েবলের সংখ্যার সমান হ'ল বোঝায় যে এর তির্যক উপাদানগুলি ছোট, তবে এটি অগত্যা যদি সংখ্যাটি হয় না $n$এই উপাদানগুলির মধ্যে নিজেই ছোট।

— অ্যাডাম বেইলি

@ অ্যাডামবাইলে নিশ্চিত যে কখন এটি ঘটে $n$ ছোট ... তবে এটাই কারণ $p/n$ তুলনামূলকভাবে বড় যদিও $p$কেবল 1 বা 2

— গ্লেন_বি -রিনস্টেট মনিকা