ত্রুটি শব্দটির বিতরণ প্রতিক্রিয়া বিতরণকে কীভাবে প্রভাবিত করে?

14

সুতরাং যখন আমি অনুমান যে ত্রুটি পদ সাধারণত একটি রৈখিক রিগ্রেশনে বিতরণ করা হয়, এটা কি প্রতিক্রিয়া পরিবর্তনশীল জন্য মানে $y$ ?

regression distributions

— MarkDollar
সূত্র

7

হয়তো আমি বন্ধ নই কিন্তু আমি মনে করি আমরা সম্পর্কে হতাশ করা কর্তব্য , যা আমি ওপি পড়ুন। লিনিয়ার রিগ্রেশন-এর খুব সাধারণ ক্ষেত্রে যদি আপনার মডেলটি তবে আপনার মডেলের একমাত্র স্টোকাস্টিক উপাদানটি হচ্ছে ত্রুটি শব্দ। এটি নমুনা বিতরণকে নির্ধারণ করে । যদি তবে $f(y|\beta, X)$ $y=X\beta + \epsilon$ $y$ $\epsilon\sim N(0, \sigma^2I)$ । @ অ্যানিকো যা বলেছেন তা অবশ্যই ( তুলনায়সামান্য )অবশ্যই সত্য। সুতরাং এটি দাঁড়িয়ে প্রশ্নটি কিছুটা অস্পষ্ট। $y|X, \beta\sim N(X\beta, \sigma^2I)$ $f(y)$ $X, \beta$

— JMS
সূত্র

আমি সব মন্তব্য পছন্দ! এবং তারা সব ঠিক আছে বলে মনে হচ্ছে। তবে আমি কেবল সহজ উত্তরটি সন্ধান করছিলাম :) আপনি যখন ধরে নেন যে ভুল ত্রুটিটি সাধারণ বিতরণ করা হয়েছে। এটি এখন প্রায়শই বাস্তবে ঘটে যা অন্য উত্তরগুলি থেকে পরিষ্কার হয়ে যায়! অনেক ধন্যবাদ!

— মার্কডোলার

17

সংক্ষিপ্ত উত্তরটি হ'ল আপনি এর বিতরণ সম্পর্কে কোনও সিদ্ধান্তে পৌঁছাতে পারবেন না , কারণ এটি এর বিতরণ এবং সম্পর্কের শক্তি এবং আকারের উপর নির্ভর করে । আরো আনুষ্ঠানিকভাবে, বন্টন একটি "লম্ব সংমিশ্রণ", বাস্তবে প্রশংসনীয় অনেক কিছু হতে পারে যা থাকবে। $y$ $x$ $y$

এটি চিত্রিত করার জন্য এখানে দুটি চরম উদাহরণ রয়েছে:

ধরুন, কেবল দুটি সম্ভাব্য মান রয়েছে, 0 এ 1 এবং । তারপর 0 এবং 10 বাধা বিপত্তি সঙ্গে একটি জোরালোভাবে bimodal বন্টন করতে হবে। $x$ $y = 10x + N(0,1)$ $y$
এখন একই সম্পর্কটি ধরে নিন, তবে 0- এর ব্যবধানে প্রচুর মান সহ সমানভাবে বিতরণ করা যাক । তারপরে 0-10 ব্যবধানে প্রায় প্রায় সমানভাবে বিতরণ করা হবে (প্রান্তে কিছু অর্ধ-স্বাভাবিক লেজ সহ)। $x$ $y$

প্রকৃতপক্ষে, যেহেতু প্রতিটি বিতরণ স্বাভাবিকের মিশ্রণ সহ স্বেচ্ছায় আনুমানিকভাবে করা যায় তাই আপনি জন্য কোনও বিতরণ পেতে পারেন । $y$

— Aniko
সূত্র

8

+1 সর্বশেষ বিবৃতি পুনরায়: আমি একবারও এটি ভেবে ভুল করেছিলাম। গাণিতিকভাবে আপনি সঠিক তবে অনুশীলনে নরমাল (যেমন জে বা ইউ-আকারের বিতরণগুলি) সহ একটি অবিস্মরণীয় স্পাইকের অনুমান করা প্রায় অসম্ভব: স্প্রাইকগুলির ঘনত্ব ক্যাপচার করার জন্য নরমালগুলি তাদের শিখরে খুব সমতল। আপনার উপায় অনেক বেশি উপাদান প্রয়োজন। সাধারণগুলি ডিস্ট্রিবিউশনের জন্য ভাল যার পিডিএফগুলি খুব মসৃণ।

— হোবার

1

@ ভুবার সম্মত অনুশীলনে যে কোনও বিতরণের জন্য আমি একটি সাধারণ মিশ্রণের সান্নিধ্য ব্যবহার করার পরামর্শ দেব না, আমি কেবল চরম পাল্টা-উদাহরণ দেওয়ার চেষ্টা করছিলাম।

— আনিকো

5

আমরা বাস্তব ডেটাতে একটি কল্পিত মডেল চাপিয়ে ত্রুটি শব্দটি আবিষ্কার করি; ত্রুটি শব্দটির বিতরণ প্রতিক্রিয়া বিতরণকে প্রভাবিত করে না।

আমরা প্রায়শই ধরে নিয়েছি যে ত্রুটিটি সাধারণত বিতরণ করা হয় এবং এভাবে আমাদের আনুমানিক অবশিষ্টাংশগুলি সাধারণত বিতরণ করা হয় এমন মডেলটি তৈরির চেষ্টা করি। কিছু বিতরণের জন্য এটি কঠিন হতে পারে । এই ক্ষেত্রে, আমি মনে করি আপনি বলতে পারেন যে প্রতিক্রিয়া বিতরণ ত্রুটি শব্দটি প্রভাবিত করে। $y$

— টমাস লেভাইন
সূত্র

2

"আমরা প্রায়ই মডেল যেমন যে আমাদের ত্রুটি শব্দটি স্বাভাবিকভাবে বিতরণ করা হয় গঠন করা চেষ্টা" - ভালো হবে, আমি মনে করি আপনি অবশিষ্টাংশ উল্লেখ করা হয়

। এগুলি হল অনুমান একই ভাবে ত্রুটি পদ যে

এর একটি অনুমান

। আমরা অবশিষ্টাংশগুলি দেখতে স্বাভাবিক দেখতে চাই কারণ ত্রুটি শর্তগুলি নিয়ে এটিই আমরা ধরে নিয়েছিলাম। আমরা কোনও মডেল নির্দিষ্ট করে এটির শর্তটি "উদ্ভাবন" করি না, এটি ফিট না করে।

y - X \hat{β}

$y-X\hat\beta$

X \hat{β}

$X\hat\beta$

E (y) = X β

$\mathbb{E}(y)=X\beta$

— জেএমএস

আমি আপনার নির্ভুলতার সাথে একমত, জেএমএস। +1 এবং আমি আমার উত্তর সামঞ্জস্য করব।

— থমাস লেভাইন

2

আপনি যেমন প্রতিক্রিয়া লিখতে কোথায় "মডেল" (জন্য ভবিষ্যদ্বাণী ) এবং "ত্রুটিগুলি" হয়, তাহলে এই পুনরায় সাজানো ইঙ্গিত হতে পারে । সুতরাং ত্রুটিগুলির জন্য একটি বিতরণ বরাদ্দ করা আপনার মডেলটি কীভাবে অসম্পূর্ণ তা নির্দেশ করে। এটিকে অন্যভাবে বলতে গেলে এটি নির্দেশ করে যে আপনি যে পরিমাণ পর্যবেক্ষণ করছেন তা কেন জানেন না যে পর্যবেক্ষিত প্রতিক্রিয়াটি আসলে এটির মূল্য কী ছিল, এবং মডেলটির পূর্বাভাসটি নয় not যদি আপনি জানতেন যে আপনার মডেলটি নিখুঁত, তবে আপনি ত্রুটিগুলির জন্য শূন্যের উপর তার সমস্ত ভর সহ একটি সম্ভাব্যতা বিতরণ বরাদ্দ করবেন। একটি বরাদ্দ করা

y = m + e

$\bf{y}=m+e$

m

$\bf{m}$

y

$\bf{y}$

e

$\bf{e}$

y - m = e

$\bf{y}-m=e$

মূলত বলছেন যে ত্রুটি ইউনিট ছোট

। ধারণা যে মডেল ভবিষ্যৎবাণী "ভুল" বিভিন্ন পর্যবেক্ষণের জন্য অনুরূপ পরিমাণ দ্বারা হতে থাকে, এবং স্কেল এ "সঠিক" হয়

। একটি বৈসাদৃশ্য হিসাবে, একটি বিকল্প নিয়োগ হয়

যা বলছেন যে ত্রুটি অধিকাংশ ছোট, কিন্তু কিছু ত্রুটি বেশ বড় হয় - মডেল অনিয়মিত "সাঙ্ঘাতিক ভুল" বা পদ "অখাদ্য" আছে প্রতিক্রিয়া পূর্বাভাস।

N (0, σ^{2})

$N(0,\sigma^{2})$

σ

$\sigma$

σ

$\sigma$

C a u c h y (0, γ)

$Cauchy(0,\gamma)$

এক অর্থে ত্রুটি বিতরণ প্রতিক্রিয়ার চেয়ে মডেলের সাথে আরও জড়িত। এই উপরে সমীকরণের অ identifiability থেকে দেখা যায়, যদি উভয়ের জন্য এবং অজানা তারপর একটি অবাধ ভেক্টর যোগ এবং তা থেকে বিয়োগ বিশালাকার একই মান , $\bf{m}$ $\bf{e}$ $\bf{m}$ $\bf{e}$ $\bf{y}$ $\bf{y}=m+e=(m+b)+(e-b)=m'+e'$ । একটি ত্রুটি বিতরণ এবং একটি মডেল সমীকরণের কার্যভার মূলত বলা হয় কোন স্বেচ্ছাসেবক ভেক্টর অন্যদের তুলনায় বেশি প্রশংসনীয়।

— probabilityislogic
সূত্র

"This seems strange because you will only observe y once and only once (y is the complete vector/matrix/etc. of responses). How can this be "distributed"? In my view it can only be distributed in some imaginary ensemble, nothing to do with your actual observed response. At the very least, any such presumption of the response "being distributed" is untestable" I'm confused; are you saying we can't test

H_{0} : y \sim f_{0}

$H_0: y\sim f_0$ vs

H_{1} : y \sim f_{1}

$H_1: y\sim f_1$ ?

— JMS

no, sorry, that can't be what you're saying. I'm still confused though. Maybe it's slightly imprecise, but the way I read it he's got

n

$n$ samples of

y_{i}

$y_i$ from

Y

$Y$ with fixed

x_{i}

$x_i$ , his model is

Y = X β + ϵ

$Y = X\beta + \epsilon$ , and he's wondering what the assumed distribution of

ϵ

$\epsilon$ implies about the distribution of

Y | β, X

$Y|\beta, X$ under his model. Here it would imply that it's normal; we can test that with our sample

— JMS

@JMS - I think I might delete that first paragraph. I don't think it adds anything to my answer (besides confusion).

— probabilityislogic

one of my favorite things to add to my answers :)

— JMS