রিগ্রেশন অবশিষ্টাংশ বিতরণ অনুমান

12

ত্রুটিগুলির উপর বন্টনমূলক ধারণাটি কেন রাখা দরকার, যেমন

$y_i = X\beta + \epsilon_{i}$ , সাথে । $\epsilon_{i} \sim \mathcal{N}(0,\sigma^{2})$

কেন লিখছেন না

$y_i = X\beta + \epsilon_{i}$ with, , $y_i \sim \mathcal{N}(X\hat{\beta},\sigma^{2})$

যেখানে উভয় ক্ষেত্রে । আমি দেখেছি এটা জোর দিয়ে যে distributional অনুমানের ত্রুটি, স্থাপন করা হয় না ডেটা, কিন্তু ব্যাখ্যা ছাড়াই। $\epsilon_i = y_i - \hat{y}$

আমি এই দুটি সূত্রের মধ্যে পার্থক্যটি সত্যই বুঝতে পারি না। কিছু জায়গাগুলি আমি দেখছি যে বিতরণের অনুমানগুলি ডেটাতে স্থাপন করা হচ্ছে (বেইসিয়ান লিট এটি বেশিরভাগরকম মনে হয়) তবে বেশিরভাগ সময় ধরে নেওয়া যায় ত্রুটিগুলি।

মডেলিংয়ের সময়, কেন একজন / অন্যের অনুমান দিয়ে শুরু করা বেছে নেওয়া উচিত?

— bill_e
সূত্র

প্রথমত, এটি "প্রয়োজনীয়" নয়, এটি আপনি কী করতে চান তা নির্ভর করে। কিছু ভাল উত্তর রয়েছে, তবে আমি মনে করি ক্রুক্সটি কার্যকারিতার অন্তর্নিহিত অনুমান, Xs অর্থে "y" ঘটায় এবং আপনি যদি সেভাবে দেখেন তবে আপনি দেখতে পাবেন যে y এর বিতরণ "কারণ" দ্বারা হয়েছে আরএসএসের বিতরণ, যা এক্স এবং ত্রুটিগুলি (যদি থাকে) বলে। আপনি খুব সীমিত বিতরণ অনুমান এবং বিশেষত স্বাভাবিকতা ছাড়াই প্রচুর একনোমেট্রিক্স করতে পারেন। সৃষ্টিকর্তাকে ধন্যবাদ.

— প্যাট্রিকটি

3

\hat{y}

$\hat y$ নয় , এবং জনসংখ্যা গড় 's এটি নমুনা অনুমান হিসাবে একই নয়। কোনটি বলতে গেলে দ্বিতীয় জিনিসটি আসলে প্রথমটির মতো একই জিনিস নয় তবে আপনি যদি এটির প্রত্যাশা ( ) দিয়ে প্রতিস্থাপন করেন তবে দুটি সমতুল্য হবে।

X β

$X\beta$

y

$y$

E (\hat{y}) = E (y) = X β

$E(\hat y) = E(y) = X\beta$

— গ্লেন_বি -রিনস্টেট মনিকা

is কী ? এবং যদি সাথে পরিবর্তিত হয় তবে কেন আলাদা হয় না ? আপনি কোন ভেক্টরটি ভেক্টর বা ম্যাট্রিক্স ব্যবহার করতে চান তা অনুগ্রহ করে আপনার মন তৈরি করুন। এখন যদি আমরা ধরে নিই যে আপনার স্বরলিপি চেয়ে বেশি: অর্থাৎ তোমাদের মধ্যে বন্টন সংজ্ঞায়িত নিজেই পদ এবং সমস্ত অন্যান্য পর্যবেক্ষণ !

\hat{y}

$\hat{y}$

y_{i}

$y_i$

i

$i$

X β

$X\beta$

\hat{y} = X \hat{β}

$\hat{y}=X\hat\beta$

y_{i} \sim N (x_{i}^{'} (\sum x_{j} x_{j}^{'})^{- 1} \sum x_{j} y_{j}, σ^{2})

$y_i\sim N(x_i'(\sum x_jx_j')^{-1}\sum x_jy_j,\sigma^2)$

y_{i}

$y_i$

y_{j}

$y_j$

— এমপিক্টাস

1

আমি প্রশ্নটিকে ন্যূনতম করে দিয়েছি কারণ আমি মনে করি যে স্বরলিপিটি বিভ্রান্তিকর এবং এরই মধ্যে বেশ কয়েকটি সূক্ষ্মভাবে বিরোধমূলক উত্তর এসেছে।

— এমপিক্টাস

9

লিনিয়ার রিগ্রেশন সেটিংয়ে উপর শর্তসাপেক্ষে বিশ্লেষণ করা এবং ফলাফলগুলি পাওয়া সাধারণ , অর্থাত "ডেটা" -র শর্তসাপেক্ষে। সুতরাং, আপনার যা প্রয়োজন তা হ'ল স্বাভাবিক, আপনার স্বাভাবিক হওয়ার জন্য প্রয়োজন । পিটার ফ্লমের উদাহরণটি যেমন চিত্রিত করেছে, একজনের স্বাভাবিকতা না থাকলে স্বাভাবিকতা থাকতে পারে এবং সুতরাং, যেহেতু আপনার যা প্রয়োজন তা স্বাভাবিকতা, এটি বোধগম্য ধারণা। $X$ $y\mid X$ $\epsilon$ $\epsilon$ $y$ $\epsilon$

— ekvall
সূত্র

9

আমি দ্বিতীয় সংজ্ঞা হিসাবে লিখতে হবে

$y_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

বা (কার্ল ওসকারের পরামর্শ হিসাবে +1)

$y_i|X_i \sim \mathcal{N}(X_i\beta, \sigma^2)$

অর্থাত্ মডেলিং অনুমানটি হ'ল রেসপন্স ভেরিয়েবলটি নিয়মিত বৈকল্পিকতা সহ সাধারণত রেগ্রেশন লাইনের (যা শর্তাধীন গড়ের একটি অনুমান) চারপাশে বিতরণ করা হয় । সাধারণত বিতরণ করা হয় এমনটি পরামর্শ দেওয়ার মতো এটি নয় , কারণ বিতরণের উপর নির্ভর করে । $\sigma^2$ $y_i$ $X_i$

আমি মনে করি আমি মেশিন লার্নিং সাহিত্যে এর অনুরূপ সূত্রগুলি দেখেছি; যতদূর দেখতে পাচ্ছি এটা প্রথম সংজ্ঞা সমতূল্য, আমি কাজ করেছি দ্বিতীয় সূত্র rexpress একটু ভিন্নভাবে নিষ্কাশন করা হয় 's এবং এর। $\epsilon_i$ $\hat{y}$

— ডিকরান মার্সুপিয়াল
সূত্র

3

পার্থক্যটি উদাহরণ সহকারে বর্ণনা করা সহজ। এখানে একটি সহজ:

ধরুন, ওয়াই বিমোডাল, সাথে একটি স্বতন্ত্র ভেরিয়েবল দ্বারা পরিবর্তিত পরিমিতি। যেমন ধরুন Y এর উচ্চতা এবং আপনার নমুনা (যে কারণেই হোক না কেন) জকি এবং বাস্কেটবল খেলোয়াড় রয়েছে। যেমনR

set.seed(123)
tall <- rnorm(100, 78, 3)
short <- rnorm(100, 60, 3)

height <- c(tall, short)
sport <- c(rep("B", 100), rep("H",100))

plot(density(height))

m1 <- lm(height~sport)
plot(m1)

প্রথম ঘনত্ব খুব অ-স্বাভাবিক। তবে মডেলটির অবশিষ্টাংশগুলি স্বাভাবিকের খুব কাছাকাছি।

কেন এইভাবে বিধিনিষেধ স্থাপন করা হয়েছে - আমি অন্য কাউকে তার উত্তর দিতে দেব।

— পিটার ফ্লুম - মনিকা পুনরায়
সূত্র

1

y_{i}

$y_i$

ϵ_{i}

$\epsilon_i$

সেক্ষেত্রে, হেটেরোসেসটাস্টিটি সমস্যা হবে এবং আপনাকে অন্য কোনও রূপের রিগ্রেশন বা সম্ভবত কিছু রূপান্তর ব্যবহার করতে হবে অথবা আপনি অন্য পরিবর্তনশীল যুক্ত করতে পারেন (এই নির্বোধ উদাহরণে, বাস্কেটবলে খেলা পজিশন এটি করতে পারে)।

— পিটার ফ্লুম - মনিকা পুনরায়

আমি নিশ্চিত নই যে সূত্রটি ইঙ্গিত দিয়েছিল যে ys সাধারণত বিতরণ করা হয়, কেবলমাত্র তাদের একটি সাধারণ শর্তযুক্ত বিতরণ রয়েছে suggest

— ডিকরান মার্শুপিয়াল

2

y_{i} \sim N ({\hat{y}}_{i}, σ_{ε}^{2})

$y_i\sim\mathcal N(\hat y_i,\sigma^2_\varepsilon)$

\hat{y}

$\hat y$

x_{i}

$\bf x_i$

$\hat y_i$ $\bf x_i\boldsymbol{\hat\beta}$

y_{i} \sim N (x_{i} \hat{β}, σ_{ε}^{2})

$y_i\sim\mathcal N({\bf x_i}\boldsymbol{\hat\beta},\sigma^2_\varepsilon)$

\begin{aligned} E [x_{i} \hat{β}] & = E [x_{i} \hat{β} + E [N (0, σ_{ε}^{2})]] \\ = E [x_{i} \hat{β} + 0] \\ = E [x_{i} \hat{β}] \end{aligned}

$\begin{align} E[{\bf x_i}\boldsymbol{\hat\beta}] &= E[{\bf x_i}\boldsymbol{\hat\beta} + E[\mathcal N(0, \sigma^2_\varepsilon)]] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta} + 0] \\ &= E[{\bf x_i}\boldsymbol{\hat\beta}] \end{align}$ (এবং স্পষ্টতই রূপগুলি সমান)) অন্য কথায়, এটি অনুমানগুলির মধ্যে পার্থক্য নয় , কেবল একটি পার্থক্য নয় ational

সুতরাং প্রশ্নটি হয়ে ওঠে, প্রথম সূত্রটি ব্যবহার করে ধারণাটি উপস্থাপন করার পক্ষে কোনও কারণ আছে কি?

আমি মনে করি উত্তর দুটি কারণে হ্যাঁ :

মানুষ প্রায়ই দ্বিধায় পরে কিনা কাঁচা ডেটা স্বাভাবিকভাবে বিতরণ করা উচিত (অর্থাত, ), অথবা যদি ডেটার উপর শর্তাধীন / ত্রুটি স্বাভাবিকভাবে বিতরণ করা উচিত (অর্থাত, / ), উদাহরণস্বরূপ, দেখুন : যদি অবশিষ্টাংশগুলি সাধারণত বিতরণ করা হয় তবে y হয় না? $Y$ $\bf X$ $Y|\bf X$ $\varepsilon$
লোকেরা প্রায়শই যা স্বাধীন বলে মনে হয়, কাঁচা তথ্য বা ত্রুটিগুলি বিভ্রান্ত করে। তদুপরি, আমরা প্রায়শই এই সত্যটি উল্লেখ করি যে কোনও কিছু আইআইডি হওয়া উচিত (স্বতন্ত্র এবং একইভাবে বিতরণ করা); আপনি যদি শর্তে ভাবছেন তবে এটি বিভ্রান্তির আর একটি সম্ভাব্য উত্স হতে পারে, যেহেতু স্বাধীন হতে পারে, তবে নাল অনুমানটি ধরে না রাখলে (তবে এর অর্থটি পৃথক হতে পারে) তবে অভিন্নভাবে বিতরণ করা যায় না। $Y|\bf X$ $Y|\bf X$

আমি বিশ্বাস করি যে এই বিভ্রান্তিগুলি সম্ভবত প্রথমটির চেয়ে দ্বিতীয় সূত্রটি বেশি ব্যবহার করছে।

— gung - মনিকা পুনরায় স্থাপন করুন
সূত্র

1

@ গ্লেন_বি, আমি আপনার মন্তব্য অনুসরণ করি না। আমার দাবি নয় সমান না, বরং আরো সমান । সাবস্ক্রিপড i পর্যবেক্ষণগুলি সূচিত করে প্রাসঙ্গিক। ধারণা যে পূর্বাভাস মান হয় , একজন প্রদত্ত পর্যবেক্ষণ জন্য । এই W / জনসংখ্যা গড় কিছুই করার আছে । (মনে হচ্ছে আমি আমার বিটাতে টুপি যুক্ত করতে ভুলে গিয়েছিলাম, যদিও আমি এখনই সংশোধন করেছি।)

\hat{y}

$\hat y$

X β

$X\beta$

{\hat{y}}_{i}

$\hat y_i$

x_{i} \hat{β}

$\bf x_i\boldsymbol{\hat\beta}$

_{i}

$_i$

{\hat{y}}_{i}

$\hat y_i$

x_{i} \hat{β}

$\bf x_i\boldsymbol{\hat\beta}$

Y

$Y$

— গং - মনিকা পুনরায়

@Glen_b যদি সম্ভবও হয় নমুনা মানে এটি হবে বদলে । আমি প্রথমে স্বরলিপি পাশাপাশি বিভ্রান্তিকর, কিন্তু আসলে সেখানে পাওয়া গেছে বিবৃতি থেকে অনুসরণ করে এবং । এই দুটি জিনিসই সত্য হওয়ার জন্য, কেবলমাত্র হতে পারে ।

\bar{y}

$\bar{y}$

\hat{y}

$\hat{y}$

\hat{y} = X β

$\hat{y} = X\beta$

y_{i} = X β + ϵ_{i}

$y_i = X\beta + \epsilon_i$

ϵ_{i} = y_{i} - \hat{y}

$\epsilon_i = y_i - \hat{y}$

\hat{y}

$\hat{y}$

X β

$X\beta$

— ডিকরান মার্শুপিয়াল