72

রৈখিক প্রতিরোধের জন্য সাধারণ অনুমানগুলি কী কী?

তারা কি অন্তর্ভুক্ত:

স্বাধীন এবং নির্ভরশীল ভেরিয়েবলের মধ্যে একটি লিনিয়ার সম্পর্ক
স্বাধীন ত্রুটি
ত্রুটিগুলির সাধারণ বিতরণ
homoscedasticity

অন্য কেউ আছে?

regression assumptions

— টনি
সূত্র

3

উইলিয়াম বেরির ছোট্ট বই "রিগ্রেশন অনুমিতি বোঝার"

3

উত্তরদাতারা কিছু ভাল সংস্থান তালিকাভুক্ত করার সময়, এই ফর্ম্যাটটিতে উত্তর দেওয়া একটি কঠিন প্রশ্ন এবং (অনেক) বই কেবলমাত্র এই বিষয়টিতেই উত্সর্গীকৃত হয়েছে। কোনও রান্নার বই নেই, এমন কি লিনিয়ার রিগ্রেশন অন্তর্ভুক্ত করতে পারে এমন সম্ভাব্য বিভিন্ন ধরণের পরিস্থিতি দেওয়া উচিত নয়।

— অ্যান্ডি ডাব্লু

3

প্রযুক্তিগতভাবে, (সাধারণ) লিনিয়ার রিগ্রেশন , iid ফর্মের একটি মডেল । সেই সাধারণ গাণিতিক বিবৃতি সমস্ত অনুমানকে ঘিরে রেখেছে । এটি আমাকে অ্যান্ডি ডাব্লু ভাবতে পরিচালিত করে, আপনি সম্ভবত প্রশ্নটির আরও বিস্তৃতভাবে ব্যাখ্যা করতে পারেন, সম্ভবত শিল্পের অনুভূতির শিল্প এবং অনুশীলনের অর্থে। এটি সম্পর্কে আপনার আরও চিন্তাভাবনাগুলি এখানে কার্যকর হতে পারে।

E [Y_{i}] = X_{i} β

$\mathbb{E}[Y_i] = \mathbf{X}_i \beta$

Y_{i}

$Y_i$

— শুক্র

2

@ অ্যান্ডি ডাব্লুআই আপনার ব্যাখ্যাটি ভুল বলে প্রস্তাব দেওয়ার চেষ্টা করছিল না। আপনার মন্তব্যটি প্রশ্নটি সম্পর্কে চিন্তাভাবনার একটি উপায় প্রস্তাব করেছে যা প্রযুক্তিগত অনুমানের বাইরে চলেছে, সম্ভবত রিগ্রেশন ফলাফলগুলির বৈধ ব্যাখ্যার জন্য কী প্রয়োজন হতে পারে তার দিকে ইঙ্গিত করে। প্রতিক্রিয়া হিসাবে একটি গ্রন্থটি লেখার প্রয়োজন হবে না, তবে এমন কয়েকটি বিস্তৃত সমস্যার একটি তালিকাও আলোকিত হতে পারে এবং এই থ্রেডের আওতা এবং আগ্রহকে প্রসারিত করতে পারে।

— whuber

1

@ শুভ্র, যদি অর্থ হ'ল উপায়গুলি ভিন্ন জন্য আলাদা , তাই যায় না :)

E Y_{i} = X_{i} β

$EY_i=X_i\beta$

i

$i$

Y_{i}

$Y_i$

— এমপিটকাস

78

আপনি সম্পূর্ণ এবং স্বাভাবিক কীভাবে সংজ্ঞায়িত করেন তার উপরে উত্তরটি নির্ভর করে depends ধরুন আমরা নিম্নরূপে রৈখিক রিগ্রেশন মডেলটি লিখি: $\newcommand{\x}{\mathbf{x}} \newcommand{\bet}{\boldsymbol\beta} \DeclareMathOperator{\E}{\mathbb{E}} \DeclareMathOperator{\Var}{Var} \DeclareMathOperator{\Cov}{Cov} \DeclareMathOperator{\Tr}{Tr}$

y_{i} = x_{i}^{'} β + u_{i}

$y_i = \x_i'\bet + u_i$

যেখানে হলেন প্রেডিকটর ভেরিয়েবলের ভেক্টর, হ'ল প্যারামিটার, হ'ল রেসপন্স ভেরিয়েবল এবং ঝামেলা। সম্ভাব্য অনুমানগুলির মধ্যে একটি হ'ল ন্যূনতম স্কোয়ারের অনুমান: $\mathbf{x}_i$ $\beta$ $y_i$ $u_i$ $\beta$

\hat{β} = {argmin}_{β} \sum (y_{i} - x_{i} β)^{2} = {(\sum x_{i} x_{i}^{'})}^{- 1} \sum x_{i} y_{i} .

$\hat\bet = \textrm{argmin}_{\bet}\sum(y_i-\x_i\bet)^2 = \left(\sum \x_i \x_i'\right)^{-1} \sum \x_i y_i .$

এখন কার্যত সমস্ত পাঠ্যপুস্তক অনুমানগুলি নিয়ে কাজ করে যখন এই অনুমান পক্ষপাতদুষ্টতা, ধারাবাহিকতা, দক্ষতা, কিছু বিতরণমূলক বৈশিষ্ট্য ইত্যাদি des $\hat\bet$

এই বৈশিষ্ট্যগুলির প্রত্যেকটির জন্য নির্দিষ্ট অনুমানের প্রয়োজন হয়, যা একই নয়। সুতরাং উত্তম প্রশ্নটি হ'ল এলএস অনুমানের প্রয়োজনীয় বৈশিষ্ট্যের জন্য কোন অনুমানের প্রয়োজন তা জিজ্ঞাসা করা হবে।

আমি উপরে উল্লিখিত বৈশিষ্ট্যগুলির জন্য রিগ্রেশনটির জন্য কিছু সম্ভাবনার মডেল প্রয়োজন। এবং এখানে আমাদের পরিস্থিতি রয়েছে যেখানে বিভিন্ন প্রয়োগের ক্ষেত্রে বিভিন্ন মডেল ব্যবহার করা হয়।

সহজ ক্ষেত্রে হ'ল কে একটি স্বতন্ত্র র্যান্ডম ভেরিয়েবল হিসাবে বিবেচনা করা হবে , যার সাথে এলোমেলো। আমি স্বাভাবিক শব্দটি পছন্দ করি না, তবে আমরা বলতে পারি যে এটি বেশিরভাগ প্রয়োগকৃত ক্ষেত্রে (যতদূর আমি জানি) এটি সাধারণ ক্ষেত্রে। $y_i$ $\x_i$

এখানে পরিসংখ্যানগত প্রাক্কলনগুলির কিছু পছন্দসই বৈশিষ্ট্যের তালিকা রয়েছে:

অনুমান বিদ্যমান।
নিরপেক্ষতা: । $E\hat\bet=\bet$
ধারাবাহিকতা: হিসাবে ( এখানে একটি ডেটা নমুনার আকার)। $\hat\bet \to \bet$ $n\to\infty$ $n$
দক্ষতা: চেয়ে ছোট বিকল্প অনুমান এর । $\Var(\hat\bet)$ $\Var(\tilde\bet)$ $\tilde\bet$ $\bet$
বিতরণ কার্যের আনুমানিক বা গণনা করার ক্ষমতা । $\hat\bet$

অস্তিত্ব

অস্তিত্বের সম্পত্তিটি অদ্ভুত বলে মনে হতে পারে তবে এটি খুব গুরুত্বপূর্ণ। সংজ্ঞা অনুসারে আমরা ম্যাট্রিক্স $\hat\beta$ $\sum \x_i \x_i'.$

এর সমস্ত সম্ভাব্য ভেরিয়েন্টের জন্য এই ম্যাট্রিক্সের বিপরীতমুখী উপস্থিত রয়েছে তা গ্যারান্টিযুক্ত নয় । সুতরাং আমরা তাত্ক্ষণিকভাবে আমাদের প্রথম অনুমানটি পেয়েছি: $\x_i$

ম্যাট্রিক্স সম্পূর্ণ পদমর্যাদায় হওয়া উচিত, অর্থাত্ বিবর্তনীয়। $\sum \x_i \x_i'$

Unbiasedness

আমাদের কাছে যদি

E \hat{β} = {(\sum x_{i} x_{i}^{'})}^{- 1} (\sum x_{i} E y_{i}) = β,

$\E\hat\bet = \left(\sum \x_i \x_i' \right)^{-1}\left(\sum \x_i \E y_i \right) = \bet,$

E y_{i} = x_{i} β .

$\E y_i = \x_i \bet.$

আমরা এটি দ্বিতীয় অনুমানটিকে সংখ্যায়িত করতে পারি, তবে আমরা এটি একেবারেই বলেছি, যেহেতু রৈখিক সম্পর্ককে সংজ্ঞায়নের একটি প্রাকৃতিক উপায়।

নোট করুন যে পক্ষপাতহীনতা পেতে আমাদের কেবলমাত্র all সকলের জন্য এবং ধ্রুবক। স্বাধীনতার সম্পত্তি প্রয়োজন হয় না। $\E y_i = \x_i \bet$ $i$ $\x_i$

দৃঢ়তা

দৃঢ়তা জন্য অনুমানের পেয়ে আমরা আরও স্পষ্টভাবে আমরা ঠিক কী বোঝাতে চেয়েছেন রাষ্ট্র প্রয়োজন । এলোমেলো ভেরিয়েবলের ক্রমগুলির জন্য আমাদের একত্রিতকরণের বিভিন্ন পদ্ধতি রয়েছে: সম্ভাবনা হিসাবে, প্রায় অবশ্যই, বিতরণে এবং মূহুর্তের অর্থে। মনে করুন আমরা সম্ভাবনার মধ্যে রূপান্তর পেতে চাই। আমরা হয় প্রচুর সংখ্যক আইন ব্যবহার করতে পারি, বা সরাসরি বহুবিধ চেবিশেভ বৈষম্য ব্যবহার করতে পারি ( এই বিষয়টি নিযুক্ত করে ): $\to$ $p$ $\E \hat\bet = \bet$

Pr (‖ \hat{β} - β ‖ > ε) \leq \frac{Tr (Var (\hat{β}))}{ε^{2}} .

$\Pr(\lVert \hat\bet - \bet \rVert >\varepsilon)\le \frac{\Tr(\Var(\hat\bet))}{\varepsilon^2}.$

(বৈষম্যের এই রূপটি সরাসরি মার্কভের প্রয়োগ করে আসে , ) $\lVert \hat\bet - \bet\rVert^2$ $\E \lVert \hat\bet - \bet\rVert^2 = \Tr \Var(\hat\bet)$

যেহেতু সম্ভাবনার মধ্যে অভিব্যক্তির অর্থ বাম হাতের শব্দটি কোনও কে হিসাবে অবশ্যই বিলুপ্ত হবে , তাই আমাদের হিসাবে । এটি পুরোপুরি যুক্তিযুক্ত যেহেতু আমাদের বেশি হিসাবের সাথে নির্ভুলতার সাথে বাড়ানো উচিত। $\varepsilon>0$ $n\to\infty$ $\Var(\hat\bet)\to 0$ $n\to\infty$ $\bet$

আমাদের কাছে সেই

Var (\hat{β}) = {(\sum x_{i} x_{i}^{'})}^{- 1} (\sum_{i} \sum_{j} x_{i} x_{j}^{'} Cov (y_{i}, y_{j})) {(\sum x_{i} x_{i}^{'})}^{- 1} .

$\Var(\hat\bet) =\left( \sum \x_i \x_i' \right)^{-1} \left( \sum_i \sum_j \x_i \x_j' \Cov(y_i, y_j) \right) \left(\sum \mathbf{x}_i\mathbf{x}_i'\right)^{-1}.$

স্বতন্ত্রতা নিশ্চিত করে যে , সুতরাং অভিব্যক্তিটি $\Cov(y_i, y_j) = 0$

Var (\hat{β}) = {(\sum x_{i} x_{i}^{'})}^{- 1} (\sum_{i} x_{i} x_{i}^{'} Var (y_{i})) {(\sum x_{i} x_{i}^{'})}^{- 1} .

$\Var(\hat\bet) = \left( \sum \x_i \x_i' \right)^{-1} \left( \sum_i \x_i \x_i' \Var(y_i) \right) \left( \sum \x_i \x_i' \right)^{-1} .$

এখন ধরে নিন , তারপরে $\Var(y_i) = \text{const}$

Var (\hat{β}) = {(\sum x_{i} x_{i}^{'})}^{- 1} Var (y_{i}) .

$\Var(\hat\beta) = \left(\sum \x_i \x_i' \right)^{-1} \Var(y_i) .$

এখন যদি আমাদের অতিরিক্তভাবে প্রয়োজন হয় যে প্রতিটি জন্য আবদ্ধ হয় , আমরা তত্ক্ষণাত $\frac{1}{n} \sum \x_i \x_i'$ $n$

Var (β) \to 0 as n \to \infty .

$\Var(\bet) \to 0 \text{ as } n \to \infty.$

সুতরাং ধারাবাহিকতা পেতে আমরা ধরে নিয়েছিলাম যে কোনও স্ব- নেই ( ), বৈকল্পিক স্থির থাকে এবং খুব বেশি বৃদ্ধি পায় না। যদি স্বতন্ত্র নমুনা থেকে আসে তবে প্রথম অনুমানটি সন্তুষ্ট । $\Cov(y_i, y_j) = 0$ $\Var(y_i)$ $\x_i$ $y_i$

দক্ষতা

ক্লাসিক ফলাফল গাউস-মার্কভ উপপাদ্য । এর শর্তগুলি হ'ল ধারাবাহিকতার জন্য প্রথম দুটি শর্ত এবং পক্ষপাতহীনতার শর্ত।

বিতরণযোগ্য সম্পত্তি

যদি স্বাভাবিক থাকে তবে আমরা তত্ক্ষণাত্ স্বাভাবিক, কারণ এটি সাধারণ র্যান্ডম ভেরিয়েবলগুলির একটি লিনিয়ার সংমিশ্রণ। যদি আমরা স্বতন্ত্রতার পূর্বের অনুমানগুলি, অসাম্প্রদায়িকতা এবং ধ্রুবক বৈকল্পিকতা অনুমান করি তবে আমরা সেই যেখানে । $y_i$ $\hat\bet$

\hat{β} \sim N (β, σ^{2} {(\sum x_{i} x_{i}^{'})}^{- 1})

$\hat\bet \sim \mathcal{N}\left(\bet, \sigma^2\left(\sum \x_i \x_i' \right)^{-1} \right)$

Var (y_{i}) = σ^{2}

$\Var(y_i)=\sigma^2$

যদি সাধারণ না হয় তবে স্বতন্ত্র থাকে তবে আমরা কেন্দ্রীয় সীমাবদ্ধতা উপপাদকে ধন্যবাদ আনুমানিক বন্টন পেতে পারি । এর জন্য আমরা যে অনুমান করা প্রয়োজন কিছু ম্যাট্রিক্স জন্য । অ্যাসিপটোটিক স্বাভাবিকতার জন্য ধ্রুবক পরিবর্তনের প্রয়োজন হয় না যদি আমরা ধরে নিই যে $y_i$ $\hat\bet$

lim_{n \to \infty} \frac{1}{n} \sum x_{i} x_{i}^{'} \to A

$\lim_{n \to \infty} \frac{1}{n} \sum \x_i \x_i' \to A$

A

$A$

lim_{n \to \infty} \frac{1}{n} \sum x_{i} x_{i}^{'} Var (y_{i}) \to B .

$\lim_{n \to \infty} \frac{1}{n} \sum \x_i \x_i' \Var(y_i) \to B.$

নোট করুন যে ধ্রুবক প্রকরণের সাথে আমাদের কাছে । কেন্দ্রীয় সীমাবদ্ধ তত্ত্বটি তখন আমাদের নিম্নলিখিত ফলাফল দেয়: $y$ $B = \sigma^2 A$

\sqrt{n} (\hat{β} - β) \to N (0, A^{- 1} B A^{- 1}) .

$\sqrt{n}(\hat\bet - \bet) \to \mathcal{N}\left(0, A^{-1} B A^{-1} \right).$

সুতরাং এ থেকে আমরা দেখতে পাচ্ছি যে জন্য স্বাধীনতা এবং ধ্রুবক বৈকল্পিকতা এবং জন্য কিছু ধারনা আমাদের এলএস অনুমান । জন্য প্রচুর দরকারী বৈশিষ্ট্য দেয় । $y_i$ $\mathbf{x}_i$ $\hat\bet$

বিষয়টি হ'ল এই অনুমানগুলি শিথিল করা যায়। উদাহরণস্বরূপ আমাদের প্রয়োজন যে এলোমেলো পরিবর্তনশীল নয়। একনোমেট্রিক অ্যাপ্লিকেশনগুলিতে এই অনুমান করা সম্ভব নয়। যদি আমরা এলোমেলো হতে পারি, শর্তাধীন প্রত্যাশা ব্যবহার করে এবং এলোমেলোতার বিষয়টি বিবেচনায় নিলে আমরা একই রকম ফলাফল পেতে পারি । স্বাধীনতা অনুমান এছাড়াও শিথিল করা যেতে পারে। আমরা ইতিমধ্যে দেখিয়েছি যে কখনও কখনও কেবল অসামঞ্জস্যতার প্রয়োজন হয়। এমনকি এটি আরও স্বাচ্ছন্দ্যযুক্ত হতে পারে এবং এটি এখনও দেখানো সম্ভব যে এলএস অনুমানটি সামঞ্জস্যপূর্ণ এবং অ্যাসিপোটোটিকাল স্বাভাবিক হবে। আরও বিশদের জন্য হোয়াইটের বই উদাহরণস্বরূপ দেখুন । $\x_i$ $\x_i$ $\x_i$

— mpiktas
সূত্র

গাউস-মার্কভ উপপাদ্য সম্পর্কে একটি মন্তব্য। এটি কেবলমাত্র লিখিতভাবেই জানিয়েছে যে ওএলএস অন্যান্য অনুমানকারীগুলির চেয়ে ভাল যা ডেটা লিনিয়ার ফাংশন। তবে, বেশিরভাগ সাধারণভাবে ব্যবহৃত অনুমানক, বিশেষত সর্বাধিক সম্ভাবনা (এমএল) তথ্যগুলির লিনিয়ার ফাংশন নয় এবং গাউস-মার্কভ তত্ত্বের শর্তে ওএলএসের তুলনায় অনেক বেশি কার্যকর হতে পারে।

— পিটার ওয়েস্টফল

@ পিটারওয়েস্টফল গাউসিয়ান সাধারণ ত্রুটির জন্য, এমএলই হল ওল্ডস :) এবং আপনি এমএলইয়ের চেয়ে বেশি দক্ষ হতে পারবেন না। আমি এই পোস্টে গাণিতিক বিশদ সহ হালকা হওয়ার চেষ্টা করেছি।

— এমপিটিকাস

1

আমার বক্তব্যটি হ'ল জিএম শর্তগুলি ধরে রাখলে অ-স্বাভাবিক বিতরণের অধীনে ওএলএসের তুলনায় অনেক বেশি দক্ষ অনুমানক রয়েছে। জিএম একটি বিবৃতি হিসাবে মূলত অকেজো যে ওএলএস-অ-স্বাভাবিকতার অধীনে "ভাল", কারণ অ-নরমাল ক্ষেত্রে সেরা অনুমানকারীগুলি ডেটাগুলির অন-লাইন কাজ করে।

— পিটার ওয়েস্টফল

@mpiktas সুতরাং আমরা we এলোমেলো হিসাবে গ্রহণ করি না, এবং অনুমানকারী esti use ব্যবহার করি বা আমরা এলোমেলো হিসাবে গ্রহণ করি এবং অনুমানকারী ?

x

$\mathbf x$

\hat{Y}

$\mathbf{\hat{Y}}$

x

$\mathbf x$

\hat{Y | x}

$\mathbf{\hat{Y|x}}$

— পার্থিব রাজেন্দ্রন

16

এখানে বেশ কয়েকটি ভাল উত্তর রয়েছে। আমার কাছে এটি ঘটে যে একটি অনুমান আছে যা অবশ্য বলা হয়নি (কমপক্ষে স্পষ্ট করে বলা হয়নি)। বিশেষত, একটি রিগ্রেশন মডেল ধরে নেয় যে (আপনার বর্ণনামূলক / ভবিষ্যদ্বাণীকারী ভেরিয়েবলের মান) স্থির এবং জ্ঞাত এবং পরিস্থিতিটির সমস্ত অনিশ্চয়তা ভেরিয়েবলের মধ্যে বিদ্যমান । তদতিরিক্ত, এই অনিশ্চয়তা কেবলমাত্র নমুনা ত্রুটি বলে ধরে নেওয়া হয় । $\mathbf X$ $Y$

এখানে এই সম্পর্কে দুটি ভাবার উপায় রয়েছে: আপনি যদি একটি ব্যাখ্যামূলক মডেল (পরীক্ষামূলক ফলাফলের মডেলিং) তৈরি করছেন তবে স্বতন্ত্র ভেরিয়েবলগুলির মাত্রা কী তা আপনি ঠিক জানেন, কারণ আপনি সেগুলি চালিত / পরিচালনা করেছিলেন। তদুপরি, আপনি সিদ্ধান্ত নিয়েছিলেন যে আপনি কখনই ডেটা সংগ্রহ করা শুরু করার আগে এই স্তরগুলি কী হবে। সুতরাং আপনি সম্পর্কের সমস্ত অনিশ্চয়তার প্রতিক্রিয়াটির মধ্যে বিদ্যমান হিসাবে ধারণাই করছেন। অন্যদিকে, আপনি যদি ভবিষ্যদ্বাণীমূলক মডেলটি তৈরি করে থাকেন তবে এটি সত্য যে পরিস্থিতিটি পৃথক, তবে আপনি এখনও ভবিষ্যদ্বাণীকারীদের সাথে এমন আচরণ করেছিলেন যেমন তারা স্থির এবং জানা ছিল, কারণ, ভবিষ্যতে যখন আপনি ভবিষ্যদ্বাণী করার জন্য মডেলটি ব্যবহার করেন এর সম্ভাব্য মান সম্পর্কে আপনার একটি ভেক্টর থাকবে $y$ $\mathbf x$ , এবং মডেলগুলি সেই মানগুলি সঠিক হিসাবে দেখানোর জন্য ডিজাইন করা হয়েছে। এটি হ'ল, আপনি অজানা মান হিসাবে অনিশ্চয়তা প্রকাশ করবেন । $y$

এই অনুমানগুলি প্রোটোটাইপিকাল রিগ্রেশন মডেলের সমীকরণে দেখা যেতে পারে: অনিশ্চয়তার (সম্ভবত পরিমাপের ত্রুটির কারণে) মডেলটির একই ডেটা উত্পাদন প্রক্রিয়া থাকতে পারে, তবে মডেল অনুমান করা হয়েছে এটি এর মতো দেখাবে: যেখানে এলোমেলো পরিমাপের ত্রুটি উপস্থাপন করে। (আধুনিক ভালো পরিস্থিতিতে কাজ করতে হয়েছে ভেরিয়েবল মডেলের ত্রুটি ; মৌলিক ফল যে যদি সেখানে পরিমাপ ত্রুটি , সরল

y_{i} = β_{0} + β_{1} x_{i} + ε_{i}

$y_i = \beta_0 + \beta_1x_i + \varepsilon_i$

x

$x$

y_{i} = {\hat{β}}_{0} + {\hat{β}}_{1} (x_{i} + η_{i}) + {\hat{ε}}_{i},

$y_i = \hat\beta_0 + \hat\beta_1(x_i + \eta_i) + \hat\varepsilon_i,$

η

$\eta$

x

$x$

{\hat{β}}_{1}

$\hat\beta_1$ এটেনিউটেড হবে - এটির আসল মানের চেয়ে 0 এর কাছাকাছি এবং যদি পরিমাপের ত্রুটি থাকে তবে বিটা'র পরিসংখ্যানগত পরীক্ষাগুলি ক্ষমতায়িত হবে, তবে অন্যথায় নিরপেক্ষ হবে))

y

$y$

\hat{β}

$\hat\beta$

টিপিক্যাল ধৃষ্টতা মধ্যে অসামঞ্জস্য স্বকীয় এক ব্যবহারিক পরিণতি হবে এই যে regressing হয় উপর regressing থেকে ভিন্ন উপর । (আমার উত্তর এখানে দেখুন: y এর সাথে x বনাম x এর সাথে লিনিয়ার রিগ্রেশন করার সাথে কী পার্থক্য? এই সত্যের আরও বিশদ আলোচনার জন্য।) $y$ $x$ $x$ $y$

— gung
সূত্র

এর অর্থ "স্থির" | সরল ভাষায় "এলোমেলো" ? এবং স্থির এবং এলোমেলো প্রভাবগুলির মধ্যে কীভাবে পার্থক্য করবেন (= কারণগুলি)? আমি মনে করি যে আমার ডিজাইনে 5 টি স্তরের সাথে 1 স্থির পরিচিত ফ্যাক্টর রয়েছে। রাইট?

— stan

1

@ এস্তান, আমি আপনার বিভ্রান্তি চিনতে পেরেছি পরিসংখ্যানগুলির পরিভাষা প্রায়শই বিভ্রান্তিকর এবং অহেতুক হয়। এই ক্ষেত্রে, "fixed" পুরোপুরি একই হিসাবে নয় সংশোধন 'সংশোধন প্রভাব & র্যান্ডম প্রভাব' থেকে (যদিও তারা সম্পর্কিত হয়)। এখানে আমরা প্রভাবগুলির বিষয়ে কথা বলছি না - আমরা ডেটা, অর্থাৎ আপনার ভবিষ্যদ্বাণী / ব্যাখ্যামূলক ভেরিয়েবল সম্পর্কে কথা বলছি । আপনার ডেটা স্থির হওয়ার ধারণাটি বোঝার সহজ উপায় হ'ল একটি পরিকল্পিত পরীক্ষার কথা ভাবা। আপনি কিছু করার আগে, আপনি যখন পরীক্ষাটি ডিজাইন করছেন, আপনি সিদ্ধান্ত নেবেন যে আপনার ব্যাখ্যার মাত্রাগুলি কী হবে, আপনি সেগুলি আবিষ্কার করতে পারবেন না।

X

$X$

X

$X$

— গাং

ডাব্লু / ভবিষ্যদ্বাণীমূলক মডেলিং, এটি একেবারে সত্য নয়, তবে আমরা ভবিষ্যতে আমাদের ডেটাটিকে সেইভাবে আচরণ করব , যখন আমরা মডেলটি পূর্বাভাস দেওয়ার জন্য ব্যবহার করি।

X

$X$

— গাং

Equs এবং in এর নীচের সমীকরণে টুপি রয়েছে তবে শীর্ষে নেই?

— ব্যবহারকারী1205901

2

@ ব্যবহারকারী1205901, শীর্ষ মডেলটি ডেটা উত্পাদন প্রক্রিয়াটির, নীচে এটির আপনার অনুমান।

— গাং

8

শাস্ত্রীয় লিনিয়ার রিগ্রেশন মডেলের অনুমানগুলির মধ্যে রয়েছে:

লিনিয়ার প্যারামিটার এবং সঠিক মডেল স্পেসিফিকেশন
এক্স ম্যাট্রিক্সের পুরো র‌্যাঙ্ক
ব্যাখ্যামূলক চলক অবশ্যই বহিরাগত হতে হবে
স্বতন্ত্র এবং সনাক্ত করে বিতরণ করা ত্রুটির শর্তাদি
জনসংখ্যায় সাধারণ বিতরণ ত্রুটির শর্তাদি

যদিও এখানে উত্তরগুলি ইতিমধ্যে শাস্ত্রীয় ওএলএস অনুমানের একটি ভাল ওভারভিউ সরবরাহ করে, আপনি এখানে শাস্ত্রীয় লিনিয়ার রিগ্রেশন মডেল অনুমানের আরও বিস্তৃত বিবরণ পেতে পারেন:

https://economictheoryblog.com/2015/04/01/ols_assumptions/

তদ্ব্যতীত, নিবন্ধটি নির্দিষ্ট কিছু অনুমান লঙ্ঘনের ক্ষেত্রে পরিণতিগুলি বর্ণনা করে।

— ত্রিস্টিয়ান ওনারি
সূত্র

6

ওএলএসকে ন্যায়সঙ্গত করতে বিভিন্ন অনুমান ব্যবহার করা যেতে পারে

কিছু পরিস্থিতিতে, একজন লেখক স্বাভাবিকতার জন্য অবশিষ্টাংশগুলি পরীক্ষা করেন।
- তবে অন্যান্য পরিস্থিতিতে, অবশিষ্টাংশগুলি স্বাভাবিক নয় এবং লেখক যাইহোক ওএলএস ব্যবহার করেন!
আপনি পাঠ্য দেখতে পাবেন যে সমকামিতা একটি অনুমান is
- সমকামিতা লঙ্ঘন করা হয় তবে আপনি গবেষকরা ওএলএস ব্যবহার করে দেখেন।

কি দেয়?!

একটি উত্তর হল কিছুটা পৃথক অনুমানের সেটকে সাধারণ সর্বনিম্ন স্কোয়ার (ওএলএস) অনুমানের ব্যবহারকে ন্যায়সঙ্গত করতে ব্যবহার করা যেতে পারে। ওএলএস একটি হাতুড়ির মতো একটি সরঞ্জাম: আপনি নখের উপর হাতুড়ি ব্যবহার করতে পারেন তবে বরফ ইত্যাদি ছিন্ন করার জন্য আপনি এটি খোঁচায় ব্যবহার করতে পারেন ...

অনুমানের দুটি বিস্তৃত বিভাগ হ'ল যা ছোট নমুনাগুলির ক্ষেত্রে প্রযোজ্য এবং সেগুলি যা বড় নমুনাগুলির উপর নির্ভর করে যাতে কেন্দ্রীয় সীমাবদ্ধ তত্ত্বটি প্রয়োগ করা যায়।

1. ছোট নমুনা অনুমান

হায়াশি (2000) এ আলোচিত ছোট নমুনা অনুমানগুলি হ'ল:

রৈখিকতা
কঠোর exogeneity
কোনও বহুবিধ লাইন নেই
গোলাকার ত্রুটি (সমকামিতা)

(1) - (4) এর অধীনে গাউস-মার্কোভ উপপাদ্য প্রয়োগ হয় এবং সাধারণ সর্বনিম্ন স্কোয়ারের অনুমানকারী হ'ল সেরা লিনিয়ার নিরপেক্ষ অনুমানক।

ত্রুটির শর্তগুলির স্বাভাবিকতা

সাধারণ ত্রুটির শর্তাবলী ধরে ধরে অনুমানের পরীক্ষার অনুমতি দেয় । যদি ত্রুটির শর্তগুলি শর্তসাপেক্ষে স্বাভাবিক হয়, তবে ওএলএসের অনুমানের বিতরণও শর্তাধীন স্বাভাবিক।

আরেকটি লক্ষণীয় বিষয় হ'ল স্বাভাবিকতার সাথে, ওএলএসের অনুমানকারীও সর্বাধিক সম্ভাবনার অনুমানকারী ।

2. বড় নমুনা অনুমান

এই অনুমানগুলি সংশোধন / শিথিল করা যায় যদি আমাদের কাছে পর্যাপ্ত পরিমাণে নমুনা থাকে যাতে আমরা প্রচুর সংখ্যার আইনের উপর নির্ভর করতে পারি (ওএলএস অনুমানের ধারাবাহিকতার জন্য) এবং কেন্দ্রীয় সীমাবদ্ধ তত্ত্বটি (যাতে ওএলএসের অনুমানের নমুনা বিতরণ রূপান্তরিত হয়) সাধারণ বিতরণ এবং আমরা অনুমানের পরীক্ষা করতে পারি, পি-মান ইত্যাদি সম্পর্কে কথা বলতে পারি ...) talk

হায়াশি একটি সামষ্টিক অর্থনীতিবিদ এবং তার বৃহত নমুনা অনুমানগুলি সময় সিরিজের প্রসঙ্গটি মাথায় রেখে তৈরি করা হয়েছে:

রৈখিকতা
অহংকার স্টেশনারিটি
পূর্বনির্ধারিত রেজিস্ট্রারগুলি: ত্রুটি-পদগুলি তাদের সমসাময়িক ত্রুটির শর্তগুলির জন্য অরথোগোনাল।
$\operatorname{E}[\mathbf{x}\mathbf{x}']$ সম্পূর্ণ পদ
$\mathbf{x}_i \epsilon_i$ সীমাবদ্ধ দ্বিতীয় মুহুর্তের সাথে একটি মার্টিংলে পার্থক্য ক্রম ।
রেজিস্ট্রারদের সীমাবদ্ধ চতুর্থ মুহুর্ত

আপনি এই অনুমানগুলির শক্তিশালী সংস্করণগুলির মুখোমুখি হতে পারেন, উদাহরণস্বরূপ, ত্রুটির শর্তগুলি স্বাধীন।

যথাযথ বৃহৎ নমুনা অনুমানের OLS ঔজ্জ্বল্যের প্রেক্ষাপটে মূল্নির্ধারক যে একটি স্যাম্পলিং বিতরণের আপনি পেতে এসিম্পটোটিকভাবে স্বাভাবিক।

তথ্যসূত্র

হায়াশি, ফুমিও, 2000, একোমেট্রিক্স

— ম্যাথু গন
সূত্র

5

আপনি আপনার মডেলটির সাথে যা করতে চান তা সবই। আপনার ত্রুটিগুলি ইতিবাচকভাবে স্কিউড / অ-স্বাভাবিক ছিল কিনা তা কল্পনা করুন। আপনি যদি ভবিষ্যদ্বাণী ব্যবধান করতে চান, আপনি টি-বিতরণ ব্যবহার করার চেয়ে আরও ভাল করতে পারেন। যদি আপনার ভেরিয়েন্সটি ছোট পূর্বাভাসিত মানগুলিতে আরও ছোট হয় তবে আপনি ভবিষ্যদ্বাণী ব্যবধানটি খুব বড় করে তুলবেন।

অনুমান কেন আছে তা বোঝা ভাল।

— আদম
সূত্র

4

নিম্নলিখিত চিত্রগুলি দেখায় যে সীমাবদ্ধ এবং অ্যাসিপোটোটিক দৃশ্যে কোন প্রভাব ফেলতে কোন অনুমানের প্রয়োজন।

আমি মনে করি যে কেবল অনুমানগুলি কী তা নয়, তবে এই অনুমানগুলির প্রভাব কী about উদাহরণস্বরূপ, যদি আপনি কেবল নিরপেক্ষ সহগ রাখার বিষয়ে চিন্তা করেন তবে আপনার সমকামিতা দরকার নেই need

— DVL
সূত্র

2

নিম্নে লিনিয়ার রিগ্রেশন বিশ্লেষণের অনুমানগুলি রয়েছে।

সঠিক স্পেসিফিকেশন । রৈখিক কার্যকরী ফর্মটি সঠিকভাবে নির্দিষ্ট করা হয়েছে।

কঠোর exogeneity । রিগ্রেশন-এর ত্রুটিগুলির শর্তসাপেক্ষে শূন্য হওয়া উচিত।

কোনও বহুবিধ লাইন নেই । এক্স-এ রেজিস্ট্রারগুলি অবশ্যই লিনিয়ারে স্বতন্ত্র থাকতে হবে।

হোমোসেসডেস্টিটি যার অর্থ ত্রুটি শব্দটির প্রতিটি পর্যবেক্ষণে একই বৈচিত্র রয়েছে।

কোনও স্বতঃসংশ্লিষ্ট নয় : ত্রুটিগুলি পর্যবেক্ষণের মধ্যে সংযুক্ত নয়।

স্বাভাবিক। কখনও কখনও এটি অতিরিক্ত হিসাবে ধরে নেওয়া হয় যে ত্রুটিগুলির রেজিস্ট্রারগুলিতে শর্তসাপেক্ষে সাধারণ বিতরণ রয়েছে।

আইড পর্যবেক্ষণ : স্বতন্ত্র, এবং সমস্ত জন্য এর সমান বিতরণ রয়েছে । $(x_i, y_i)$ $(x_j, y_j)$ $i\neq j$

আরও তথ্যের জন্য এই পৃষ্ঠায় যান ।

— প্রেম-পরিসংখ্যান
সূত্র

4

"কোন বহুবিশেষের" না হয়ে আমি বলতাম "কোনও লিনিয়ার নির্ভরতা নেই"। ধারাবাহিকতা প্রায়শই শ্রেণিবদ্ধ পরিমাপের চেয়ে ধ্রুবক হিসাবে ব্যবহৃত হয়। এটি কেবলমাত্র কঠোর বা সঠিক সমান্তরালতা যা নিষিদ্ধ।

— পিটার ফ্লুম

2

টাইম সিরিজ রিগ্রেশন সম্পর্কে কি? জেনারেলাইজড ন্যূনতম স্কোয়ারগুলি কী? আপনার তালিকাটি কমান্ডের তালিকার মতো কিছুটা পড়বে যখন বাস্তবে শেষ 4 অনুমানগুলি খুব সীমাবদ্ধ হতে পারে যদি আমরা কেবলমাত্র কমপক্ষে স্কোয়ারের অনুমানের ধারাবাহিকতা এবং অ্যাসিপটোটিক স্বাভাবিকতার বিষয়ে চিন্তা করি।

— এমপিটকাস

1

মাল্টিকোলাইনারিটি ব্যাখ্যার সমস্যা উত্থাপন করে (কিছু পরামিতিগুলির সনাক্তকরণের সাথে সম্পর্কিত) তবে এটি অবশ্যই লিনিয়ার রিগ্রেশন মডেলগুলির একটি আদর্শ অনুমিতি নয় । মাল্টিকোলাইনারিটির নিকটবর্তীত্ব প্রাথমিকভাবে একটি গণনার সমস্যা তবে এটি ব্যাখ্যা করার অনুরূপ বিষয়ও উত্থাপন করে।

— হোবার

@ শুভ ও পিটার ফ্লুম: আমি গুজরাটি বইয়ের নং পৃষ্ঠায় পড়েছি। 65-75। tiny.cc/cwb2g এটি "কোনও বহুবিশ্লেষ্যতা "টিকে রিগ্রেশন বিশ্লেষণের অনুমান হিসাবে গণ্য করে।

— প্রেমের পরিসংখ্যান

@ এমপিক্টাস: আপনি যদি উত্তরটিতে প্রদত্ত ইউআরএল পরিদর্শন করেন তবে আপনি সময় সিরিজের রিগ্রেশন সম্পর্কে ধারণা পাবেন।

— love-stats

2

অনুমানের একক তালিকার মতো জিনিস নেই, কমপক্ষে 2 থাকবে: একটি স্থির জন্য এবং একটি এলোমেলো ডিজাইনের ম্যাট্রিক্সের জন্য। এছাড়াও আপনি সময় সিরিজের জন্য অনুমানগুলি দেখতে চাইতে পারেন (পৃষ্ঠা 13 দেখুন)

কেস যখন নকশা ম্যাট্রিক্স হয় সংশোধন করা হয়েছে সবচেয়ে সাধারণ এক হতে পারে, এবং তার অনুমানের প্রায়ই একটি হিসাবে প্রকাশ করা হয় গাউস-মার্কভ উপপাদ্য । স্থির নকশার অর্থ হল আপনি সত্যিকার অর্থে নিবন্ধকদের নিয়ন্ত্রণ করতে পারেন। উদাহরণস্বরূপ, আপনি একটি গবেষণা পরিচালনা এবং যেমন তাপমাত্রা, চাপ ইত্যাদি পরামিতি পি .13 সেট করতে পারেন আরও দেখুন এখানে । $X$

দুর্ভাগ্যক্রমে, অর্থনীতি হিসাবে সামাজিক বিজ্ঞানে আপনি খুব কমই পরীক্ষার পরামিতিগুলি নিয়ন্ত্রণ করতে পারেন। সাধারণত, আপনি অর্থনীতিতে যা ঘটে তা পর্যবেক্ষণ করেন, পরিবেশের মেট্রিকগুলি রেকর্ড করুন, তারপরে তাদের প্রতি প্রতিক্রিয়া জানান। দেখা যাচ্ছে যে এটি একটি খুব আলাদা এবং আরও কঠিন পরিস্থিতি, যাকে এলোমেলো নকশা বলা হয় । এই ক্ষেত্রে গাউস-মার্কভ উপপাদ্য হয় পরিবর্তিত এছাড়াও p.12 দেখতে এখানে । আপনি দেখতে পাচ্ছেন যে শর্তাবলী এখন কীভাবে শর্তাধীন সম্ভাবনার শর্তে প্রকাশ করা হয় , যা কোনও নিরীহ পরিবর্তন নয়।

অর্থনীতিতে অনুমানের নাম রয়েছে:

রৈখিকতা
কঠোর exogeneity
কোন বহুবিধ লাইন
গোলাকৃতির ত্রুটির বৈকল্পিকতা (সমকামিতা এবং কোনও সম্পর্ক নেই)

লক্ষ্য করুন যে আমি কখনও স্বাভাবিকতার কথা উল্লেখ করি নি। এটি কোনও মানক ধারণা নয়। এটি প্রায়শই ইনট্রো রিগ্রেশন কোর্সে ব্যবহৃত হয় কারণ এটি কিছু অনুভূতিকে সহজ করে তোলে তবে রিগ্রেশনটির পক্ষে কাজ করার প্রয়োজন হয় না এবং সুন্দর বৈশিষ্ট্য থাকে।

— Aksakal
সূত্র

1

রৈখিকতার অনুমান হ'ল পরামিতিগুলিতে মডেলটি লিনিয়ার। স্বতন্ত্র ভেরিয়েবলের পাওয়ার ফাংশন যতক্ষণ না লিনিয়ার অ্যাডিটিভ মডেলের অংশ হয় ততক্ষণ চতুর্ভুজ বা উচ্চতর আদেশের প্রভাবগুলির সাথে একটি রিগ্রেশন মডেল রাখা ভাল। মডেলটিতে যখন এটি হওয়া উচিত তখন উচ্চতর অর্ডার শর্তাদি না থাকে, তবে অবশিষ্টাংশের প্লটটিতে ফিটের অভাব স্পষ্ট হবে। তবে, স্ট্যান্ডার্ড রিগ্রেশন মডেলগুলি এমন মডেলগুলিকে অন্তর্ভুক্ত করে না যেখানে স্বতন্ত্র পরিবর্তনশীল একটি প্যারামিটারের শক্তিতে উত্থাপিত হয় (যদিও এই জাতীয় মডেলগুলি মূল্যায়নের জন্য এমন অন্যান্য পদ্ধতি রয়েছে)। এই জাতীয় মডেলগুলিতে অ-রৈখিক পরামিতি থাকে।

— পরিসংখ্যান ডক পরামর্শ
সূত্র

1

সর্বনিম্ন স্কোয়ারের রিগ্রেশন কোফিলিটি কোনও ধরণের ডেটাতে প্রথম ক্রমের প্রবণতা সংক্ষিপ্ত করার একটি উপায় সরবরাহ করে। @ এমপিক্টাস জবাব হ'ল সেই অবস্থার একটি সম্পূর্ণ চিকিত্সা যার অধীনে কমপক্ষে স্কোয়ারগুলি ক্রমবর্ধমান অনুকূল। আমি অন্য পথে যেতে চাই এবং সর্বনিম্ন স্কোয়ারগুলি কাজ করার সময় সর্বাধিক সাধারণ কেসটি দেখাতে চাই। আসুন স্বল্প-বর্গ সমীকরণের সর্বাধিক সাধারণ সূত্রটি দেখুন:

E [Y | X] = α + β X

$E[Y|X] = \alpha + \beta X$

প্রতিক্রিয়ার শর্তসাপেক্ষ গড়ের জন্য এটি কেবল একটি রৈখিক মডেল।

দ্রষ্টব্য আমি ত্রুটি শব্দটি পেয়েছি। আপনি যদি অনিশ্চয়তা সংক্ষিপ্ত করতে চান , তবে আপনাকে অবশ্যই কেন্দ্রীয় সীমাবদ্ধ তত্ত্বটির কাছে আবেদন করতে হবে। লিন্ডবার্গের শর্তটি পূরণ হলে সর্বনিম্ন বর্গ অনুমানের সবচেয়ে সাধারণ শ্রেণীর স্বাভাবিকের মধ্যে রূপান্তরিত হয় : সিদ্ধ হয়ে যায়, কমপক্ষে স্কোয়ারের জন্য লিন্ডবার্গের অবস্থার প্রয়োজন হয় বর্গাকার অবশিষ্টাংশের যোগফলের যোগফলের বৃহত্তম স্কোয়ার অবশিষ্টাংশের ভগ্নাংশটি 0 হিসাবে যেতে হবে । যদি আপনার নকশাটি আরও বড় এবং বৃহত্তর অবশিষ্টাংশের নমুনা বজায় রাখে, তবে পরীক্ষাটি "পানিতে মরে" is $\beta$ $n \rightarrow \infty$

লিন্ডবার্গের শর্তটি যখন পূরণ করা হয় তখন রিগ্রেশন প্যারামিটার ভালভাবে সংজ্ঞায়িত হয় এবং অনুমানকারী an এমন একটি নিরপেক্ষ অনুমানক যার পরিচিত আনুমানিক বিতরণ রয়েছে। আরও কার্যকর অনুমানক উপস্থিত থাকতে পারে। হেটেরোসেসটেস্টিটি, বা পারস্পরিক সম্পর্কযুক্ত ডেটার ক্ষেত্রে সাধারণত একটি ওজনযুক্ত অনুমানক আরও কার্যকর । এই কারণেই যখন ভালতর উপলব্ধ থাকে তখন আমি কখনই নিষ্প্রভ পদ্ধতি ব্যবহার করার পক্ষে পরামর্শ দেব না। তবে তারা প্রায়শই হয় না! $\beta$ $\hat{\beta}$

— Adamo
সূত্র

1

অর্থনীতিবিদদের জন্য: এটি উল্লেখ করার মতো যে এই শর্তটি কঠোর exogeneity বোঝায়, তাই কঠোর exogeneity শর্তাধীন গড় মডেল হিসাবে অনুমান হিসাবে বলা প্রয়োজন হবে না। এটি স্বয়ংক্রিয়ভাবে গাণিতিকভাবে সত্য। (এখানে কথা বলার তত্ত্ব, অনুমান নয়))

— পিটার ওয়েস্টফল 18

লিনিয়ার রিগ্রেশন সম্পর্কিত সাধারণ অনুমানের একটি সম্পূর্ণ তালিকা কী?

ওএলএসকে ন্যায়সঙ্গত করতে বিভিন্ন অনুমান ব্যবহার করা যেতে পারে

1. ছোট নমুনা অনুমান

2. বড় নমুনা অনুমান

তথ্যসূত্র