সাধারণ ত্রুটিগুলির অনুমানের দ্বারা কি বোঝানো হয় যে ওয়াইও সাধারণ?

12

আমি যদি ভুল না করি, লিনিয়ার মডেলটিতে, প্রতিক্রিয়ার বিতরণটি একটি নিয়মিত উপাদান এবং একটি এলোমেলো উপাদান বলে ধরে নেওয়া হয়। ত্রুটি শব্দটি এলোমেলো উপাদান ক্যাপচার করে। অতএব, আমরা যদি ধরে নিই যে ত্রুটি শব্দটি সাধারণত বিতরণ করা হয়, তবে এর দ্বারা বোঝা যাচ্ছে না যে প্রতিক্রিয়াটিও সাধারণত বিতরণ করা হয়? আমি মনে করি এটি হয় তবে তারপরে নীচের মত বিবৃতিগুলি বরং বিভ্রান্ত বলে মনে হচ্ছে:

এবং আপনি স্পষ্ট দেখতে পাচ্ছেন যে এই মডেলটিতে "স্বাভাবিকতা" এর একমাত্র অনুমান হ'ল অবশিষ্টাংশগুলি (বা "ত্রুটি" ) সাধারণত বিতরণ করা উচিত। পূর্বাভাস বা প্রতিক্রিয়া পরিবর্তনশীল এর বিতরণ সম্পর্কে কোনও ধারণা নেই । $\epsilon_i$ $x_i$ $y_i$

উত্স: ভবিষ্যদ্বাণীকারী, প্রতিক্রিয়া এবং অবশিষ্টাংশ: সাধারণভাবে কী বিতরণ করা দরকার?

regression assumptions

— আর্নেস্ট এ
সূত্র

7

যদি এর অ-স্টকাস্টিক হয় তবে ps স্বাভাবিকতা নির্ভরশীল পরিবর্তনশীলটির স্বাভাবিকতা বোঝায়। স্টোকাস্টিক স্বতন্ত্র ভেরিয়েবলগুলির জন্য এটি সাধারণভাবে ধরে রাখবে না, এটি স্বাধীন ভেরিয়েবলগুলির বিতরণের উপর নির্ভর করে।

x

$x$

ϵ

$\epsilon$

19

মান OLS ঔজ্জ্বল্যের প্রেক্ষাপটে মডেল সঙ্গে একটি জন্য সংশোধন করা হয়েছে । $Y = X \beta + \varepsilon$ $\varepsilon \sim \mathcal N(\vec 0, \sigma^2 I_n)$ $X \in \mathbb R^{n \times p}$

এর প্রকৃতপক্ষে এর অর্থ , যদিও এটি এর বিতরণে আমাদের অনুমানের একটি ফলাফল , আসলে অনুমান হওয়ার চেয়ে। এছাড়াও যে আমি এর শর্তাধীন বিতরণ বিষয়ে কথা বলছি মনে রাখা না প্রান্তিক বন্টন । আমি শর্তসাপেক্ষ বিতরণে ফোকাস করছি কারণ আমার মনে হয় আপনি সত্যই এটি জিজ্ঞাসা করছেন। $Y|\{X, \beta, \sigma^2\} \sim \mathcal N(X\beta, \sigma^2 I_n)$ $\varepsilon$ $Y$ $Y$

আমি মনে করি যে অংশটি বিভ্রান্তিকর তা হ'ল এর অর্থ এই নয় যে একটি হিস্টগ্রাম স্বাভাবিক দেখাবে। আমরা বলছি যে সমগ্র ভেক্টর একটি বহুচলকীয় সাধারন বন্টনের যেখানে প্রতিটি উপাদান একটি সম্ভাব্য অন্য কিছু বলতে আছে তার কাছ থেকে একটি একক ড্র হয় । এটি আইআইডি সাধারণ নমুনা হওয়ার মতো নয়। ত্রুটিগুলি আসলে একটি আইআইডি নমুনা তাই সেগুলির একটি হিস্টোগ্রাম স্বাভাবিক দেখায় (এবং সে কারণেই আমরা অবশিষ্টগুলির একটি কিউকিউ প্লট করি, প্রতিক্রিয়া নয়)। $Y$ $Y$ $E(Y_i|X_i) = X_i^T\beta$ $\varepsilon$

এখানে একটি উদাহরণ রয়েছে: ধরুন আমরা 6th ষ্ঠ গ্রেডার এবং দ্বাদশ গ্রেডারের নমুনার জন্য উচ্চতা পরিমাপ করছি । আমাদের মডেলটি সহ । আমরা যদি একটি হিস্টোগ্রাম তাকান আমরা হয়ত 6 ষ্ঠ graders জন্য এক শিখর এবং 12th graders জন্য এক শিখর সঙ্গে, একটি bimodal বন্টন দেখতে পাবেন, কিন্তু আমাদের অনুমানের লঙ্ঘন প্রতিনিধিত্ব করে না। $H$ $H_i = \beta_0 + \beta_1I(\text{12th grader}) + \varepsilon_i$ $\varepsilon_i \sim \ \text{iid} \ \mathcal N(0, \sigma^2)$ $H_i$

— jld
সূত্র

σ^{2} I_{n}

$\sigma^2 I_n$

n \times n

$n \times n$

σ^{2}

$\sigma^2$

n \times n

$n\times n$

11

অতএব, আমরা যদি ধরে নিই যে ত্রুটি শব্দটি সাধারণত বিতরণ করা হয় তবে এর অর্থ কী সাড়াটি সাধারণত বিতরণ করা হয় না?

দূর থেকেও নয়। আমি এটি যেভাবে মনে রাখি তা হ'ল অবশিষ্টাংশগুলি মডেলের ডিটারমিনিস্টিক অংশে স্বাভাবিক শর্তযুক্ত । বাস্তবে যা দেখতে দেখতে এটির একটি প্রদর্শন রয়েছে।

আমি এলোমেলোভাবে কিছু ডেটা উত্পন্ন করে শুরু করি। তারপরে আমি একটি ফলাফলটি সংজ্ঞায়িত করি যা পূর্বাভাসীদের একটি লিনিয়ার ফাংশন এবং একটি মডেল অনুমান করে।

N <- 100

x1 <- rbeta(N, shape1=2, shape2=10)
x2 <- rbeta(N, shape1=10, shape2=2)

x <- c(x1,x2)
plot(density(x, from=0, to=1))

y <- 1+10*x+rnorm(2*N, sd=1)

model<-lm(y~x)

এই অবশিষ্টাংশগুলি দেখতে কেমন তা একবার দেখে নেওয়া যাক। আমার সন্দেহ হয় যে এগুলি স্বাভাবিকভাবে বিতরণ করা উচিত, যেহেতু yফলাফলটির সাথে এটিতে স্বাভাবিক গোলমাল যুক্ত হয়েছিল। এবং প্রকৃতপক্ষে ক্ষেত্রে।

plot(density(model$residuals), main="Model residuals", lwd=2)
s <- seq(-5,20, len=1000)
lines(s, dnorm(s), col="red")

plot(density(y), main="KDE of y", lwd=2)
lines(s, dnorm(s, mean=mean(y), sd=sd(y)), col="red")

Y এর বিতরণ পরীক্ষা করা হচ্ছে, তবে আমরা দেখতে পাচ্ছি এটি অবশ্যই স্বাভাবিক নয়! আমি ঘনত্বের ফাংশনটিকে একই গড় এবং বৈচিত্র দিয়ে আচ্ছাদিত করেছি y, তবে এটি অবশ্যই ভয়ঙ্কর ফিট!

এই ক্ষেত্রে যে ঘটনাটি ঘটেছে তা হ'ল ইনপুট ডেটা দূরবর্তীভাবে স্বাভাবিকও হয় না। এই রিগ্রেশন মডেল সম্পর্কে কিছুই অবশিষ্টাংশগুলি ব্যতীত স্বাভাবিকতা প্রয়োজন - স্বাধীন ভেরিয়েবলের মধ্যে নয়, নির্ভরশীল ভেরিয়েবলের ক্ষেত্রেও নয়।

— সাইকোরাক্স মনিকাকে রিইনস্টেট বলে
সূত্র

8

না, তা হয় না। উদাহরণস্বরূপ, ধরুন আমাদের কাছে অলিম্পিক ক্রীড়াবিদদের ওজন সম্পর্কে ভবিষ্যদ্বাণী করা একটি মডেল রয়েছে। ওজন স্বাভাবিকভাবেই প্রতিটি খেলায় অ্যাথলিটদের মধ্যে বিতরণ করা যেতে পারে, তবে এটি সমস্ত অ্যাথলেটদের মধ্যে থাকবে না - এটি এমনকি সর্বজনীনও নাও হতে পারে।

— পিটার ফ্লুম - মনিকা পুনরায়
সূত্র