কেন লিনিয়ার রিগ্রেশন অবশেষে তবে সাধারণীকরণীয় রৈখিক মডেলটির প্রতি ধারণা নিয়ে অনুমান রয়েছে?

14

কেন লিনিয়ার রিগ্রেশন এবং জেনারেলাইজড মডেলটির বেমানান অনুমান রয়েছে?

লিনিয়ার রিগ্রেশন-এ, আমরা অনুমান করি যে অবশিষ্টাংশ আসে গাউসিয়ান রূপের
অন্যান্য রিগ্রেশন (লজিস্টিক রিগ্রেশন, বিষ রিগ্রেশন) এ আমরা ধরে নিই যে প্রতিক্রিয়াটি কিছু বন্টন (দ্বিপদী, শিরা ইত্যাদি) তৈরি করে।

কেন কখনও কখনও অনুমিত এবং অন্যান্য সময় সাড়া অনুমান? আমরা বিভিন্ন সম্পত্তি অর্জন করতে চান কারণ হয়?

সম্পাদনা: আমি মনে করি চিহ্ন 999 এর শো দুটি ফর্ম সমান। তবে আইডিতে আমার আরও একটি সন্দেহ রয়েছে:

আমার অন্যান্য প্রশ্নোত্তর, লজিস্টিক রিগ্রেশন সম্পর্কে আইডি অনুমান আছে? জেনারালাইজড লিনিয়ার মডেলটিতে আইআইডি অনুমান নেই (স্বতন্ত্র তবে অভিন্ন নয়)

যে সত্য যে রৈখিক রিগ্রেশনের, যদি আমরা ধৃষ্টতা জাহির অবশিষ্ট , আমরা IID থাকবে, কিন্তু যদি আমরা ধৃষ্টতা জাহির করা প্রতিক্রিয়া , আমরা স্বাধীন কিন্তু অভিন্ন না নমুনার (বিভিন্ন সঙ্গে বিভিন্ন গসিয়ান থাকবে $\mu$ )?

— হাইতাও ডু
সূত্র

এছাড়াও দেখুন stats.stackexchange.com/questions/295340/…

— কেজিটিল বি হালওয়ারসেন

12

গাউসিয়ান ত্রুটিযুক্ত সরল লিনিয়ার রিগ্রেশন একটি খুব দুর্দান্ত বৈশিষ্ট্য যা সাধারণত রৈখিক মডেলগুলিকে সাধারণীকরণ করে না।

সাধারণ রৈখিক মডেলগুলিতে প্রতিক্রিয়া গড় প্রদত্ত কিছু বিতরণ অনুসরণ করে । লিনিয়ার রিগ্রেশন এই প্যাটার্ন অনুসরণ করে; যদি আমাদের থাকে

$y_i = \beta_0 + \beta_1 x_i + \epsilon_i$

সঙ্গে $\epsilon_i \sim N(0, \sigma)$

তাহলে আমাদেরও আছে

$y_i \sim N(\beta_0 + \beta_1 x_i, \sigma)$

ঠিক আছে, সুতরাং প্রতিক্রিয়া সাধারণ রৈখিক মডেলগুলির জন্য প্রদত্ত বিতরণ অনুসরণ করে, তবে লিনিয়ার রিগ্রেশনের জন্য আমাদের কাছে এও রয়েছে যে অবশিষ্টাংশগুলি গাউসীয় বিতরণ অনুসরণ করে। কেন এটি জোর দেওয়া হয় যে যখন সাধারণীকরণের নিয়মটি না হয় তখন অবশিষ্টাংশগুলি স্বাভাবিক? ঠিক আছে, কারণ এটি অনেক বেশি কার্যকর নিয়ম। অবশিষ্টাংশের স্বাভাবিকতা সম্পর্কে চিন্তাভাবনা করার দুর্দান্ত জিনিসটি এটি পরীক্ষা করা আরও সহজ। যদি আমরা আনুমানিক উপায়গুলি বিয়োগ করি তবে সমস্ত অবশিষ্টাংশের মোটামুটি একই রকম বৈকল্পিক এবং মোটামুটি একই গড় (0) হওয়া উচিত এবং মোটামুটিভাবে সাধারণভাবে বিতরণ করা হবে (দ্রষ্টব্য: আমি "মোটামুটি" বলি কারণ যদি আমাদের কাছে নির্ভুল অনুমান না থাকে তবে রিগ্রেশন পরামিতি, আমরা অবশ্যই না, অনুমানের বৈকল্পিক $\epsilon_i$ এর ব্যাপ্তির উপর ভিত্তি করে বিভিন্ন রূপ থাকবে । তবে আশা করা যায় যে অনুমানের ক্ষেত্রে এটি যথাযথ নির্ভুলতা রয়েছে যে এটি উপেক্ষা করা যায়!)। $x$

অন্যদিকে, অনিয়ন্ত্রিত দিকে তাকিয়ে এর, আমরা আসলেই বলতে পারবেন না, যদি তারা সব বিভিন্ন উপায় আছে যদি তারা সাধারণ ব্যাপার। উদাহরণস্বরূপ, নিম্নলিখিত মডেলটি বিবেচনা করুন: $y_i$

$y_i = 0 + 2 \times x_i + \epsilon_i$

সঙ্গে এবং $\epsilon_i \sim N(0, 0.2)$ $x_i \sim \text{Bernoulli}(p = 0.5)$

তাহলে অত্যন্ত বিমোডাল হব, তবে রৈখিক প্রতিরোধের অনুমানগুলি লঙ্ঘন করে না! অন্যদিকে, অবশিষ্টাংশগুলি মোটামুটি স্বাভাবিক বিতরণ অনুসরণ করবে। $y_i$

Rউদাহরণস্বরূপ এখানে কিছু কোড।

x <- rbinom(1000, size = 1, prob = 0.5)
y <- 2 * x + rnorm(1000, sd = 0.2)
fit <- lm(y ~ x)
resids <- residuals(fit)
par(mfrow = c(1,2))
hist(y, main = 'Distribution of Responses')
hist(resids, main = 'Distribution of Residuals')

— ক্লিফ এবি
সূত্র

y_{i} = 1 + 2 \times x_{i} + ϵ_{i}

$y_i = 1 + 2 \times x_i + \epsilon_i$

3

@ এইচএক্সডি 1011: হ্যাঁ, প্রান্তিক বিতরণ (স্পষ্টতই স্বাভাবিক নয়) এবং শর্তসাপেক্ষ বিতরণে এক্স দেওয়া হয়েছে (আমরা জানি যে এটি এটিকে সাধারণ বলে!)। শর্তাধীন এবং প্রান্তিক বিতরণের মধ্যে পার্থক্য সম্পর্কে চিন্তা না করা একটি চরম সাধারণ ভুল।

— ক্লিফ এবি

14

$i = 1, \ldots, n$

Y_{i} = β_{0} + β_{1} X_{i 1} + \dots + β_{k} X_{i k} + ϵ_{i},

$Y_i = \beta_0 + \beta_1 X_{i1} + \ldots + \beta_k X_{ik} + \epsilon_i,$

ϵ_{i}

$\epsilon_i$

σ^{2}

$\sigma^2$

X_{i 1}, \dots, X_{i k}

$X_{i1}, \ldots, X_{ik}$

Y_{i}

$Y_i$

β_{0} + β_{1} X_{i 1} + \dots + β_{k} X_{i k}

$\beta_0 + \beta_1 X_{i1} + \ldots + \beta_k X_{ik}$

σ^{2}

$\sigma^2$

$X_{i1}, \ldots, X_{ik}$ $\beta_0 + \beta_1 X_{i1} + \ldots + \beta_k X_{ik}$

সাধারণ ত্রুটিযুক্ত সাধারণ একাধিক লিনিয়ার রিগ্রেশন মডেল হ'ল সাধারণ প্রতিক্রিয়া এবং পরিচয় লিঙ্ক সহ একটি সাধারণীকরণীয় রৈখিক মডেল।

— mark999
সূত্র