ওএলএসের অনুমানকারীকে অনুমান করার জন্য অনুমান

কেউ কি আমার জন্য সংক্ষেপে ব্যাখ্যা করতে পারেন, কেন ওএলএসের অনুমানকারীকে গণনা করার জন্য ছয়টি অনুমানের প্রতিটি প্রয়োজন? আমি কেবল বহুবিধ লাইনারিটি সম্পর্কেই পেয়েছি it এটি উপস্থিত থাকলে আমরা ম্যাট্রিক্সকে (X'X) বিপরীত করতে পারি না এবং পরিবর্তে সামগ্রিক অনুমানকটি অনুমান করতে পারি। অন্যদের সম্পর্কে কী (যেমন, রৈখিকতা, শূন্যের অর্থ ত্রুটি ইত্যাদি)?

least-squares assumptions

— Ieva
সূত্র

সম্পর্কিত: লিনিয়ার রিগ্রেশন সম্পর্কিত সাধারণ অনুমানের একটি সম্পূর্ণ তালিকা কী?

— গুং - মনিকা পুনরায়

আপনি কি একটি ধারণামূলক ব্যাখ্যা খুঁজছেন, বা আপনার গাণিতিক প্রদর্শন দরকার?

— গুং - মনিকা পুনরায়

সাধারণ সর্বনিম্ন স্কোয়ারগুলি একটি সাংখ্যিক পদ্ধতি, এটির গণনা করার জন্য আপনার খুব বেশি অনুমানের প্রয়োজন হবে না (ইনভারটিভিটিটি ছাড়াও)। অনুমানের ন্যায্যতা প্রতিপাদন করা প্রয়োজন হয় অনুমান : এটা উপর ভিত্তি করে, আমার উত্তর গতকাল দেখুন stats.stackexchange.com/questions/148803/...

— kjetil খ halvorsen

ঠিক কোন "ছয় অনুমান" আপনি উল্লেখ করছেন? আপনি কেবল তিনটি উল্লেখ করেন।

— whuber

আমি 1) লিনিয়ারিটি 2) বহুবিধ লাইনারিটির অনুপস্থিতি 3) শূন্যের অর্থ ত্রুটিগুলি 4) গোলাকার ত্রুটিগুলি (সমকামিতা এবং অটোকরাইলেশন) 5) নন-স্টোকাস্টিক রেজিস্ট্রার এবং 6) সাধারণ বিতরণ। সুতরাং আমি যেমন নীচের উত্তরটি থেকে বুঝতে পেরেছি, অনুমানকারী উত্পন্ন করার জন্য কেবল প্রথম তিনটি প্রয়োজনীয় এবং অন্যান্য কেবলমাত্র অনুমানকারীটি ন্যূনর তা নিশ্চিত করার জন্য প্রয়োজনীয়?

— আইভা

উত্তর:

আপনি যখন নির্ভুল মাল্টিকোলাইনারিটি থাকবেন তখন কেসটি বাদ দিয়ে আপনি সর্বদা ওএলএসের অনুমানকারীকে গণনা করতে পারেন। এই ক্ষেত্রে, আপনার এক্স ম্যাট্রিক্সে আপনার নিখুঁত মাল্টলাইনারি নির্ভরতা রয়েছে। ফলস্বরূপ, সম্পূর্ণ পদমর্যাদাগুলি অনুমান করা যায় নি এবং আপনি ওএলএসের প্রাক্কলনকারীকে গণনা করতে পারবেন না, কারণ ইনভারটিবিলিটি ইস্যু।

প্রযুক্তিগতভাবে, ওএলএসের অনুমানকারী গণনা করার জন্য আপনার অন্যান্য ওএলএস অনুমানের দরকার নেই। তবে গাউস – মার্কভের উপপাদ্য অনুসারে আপনার অনুমানককে ব্লু করার জন্য আপনাকে ওএলএস অনুমান (ক্লার্ম অনুমান) পূরণ করতে হবে।

আপনি গাউস মার্কোভের উপপাদ্য এবং এর গাণিতিক উত্স সম্পর্কে একটি বিস্তৃত আলোচনা এখানে পাবেন:

http://economictheoryblog.com/2015/02/26/markov_theorem/

তদুপরি, আপনি যদি ওএলএস অনুমানের একটি ওভারভিউ খুঁজছেন, যেমন সেখানে কতগুলি রয়েছে, তাদের কী প্রয়োজন এবং আপনি যদি একক ওএলএস অনুমান লঙ্ঘন করেন তবে এখানে একটি বিস্তৃত আলোচনা খুঁজে পেতে পারে:

http://economictheoryblog.com/2015/04/01/ols_assumptions/

আমি আশা করি যে সাহায্য করে, চিয়ার্স!

— সাইমন দেগোন্ডা
সূত্র

সাধারণ ক্রস বিভাগগুলির ভিত্তিতে নিম্নলিখিত সময় সিরিজ এবং প্যানেলগুলির জন্য কিছুটা আলাদা।

জনসংখ্যায় এবং সুতরাং নমুনায়, মডেলটি এইভাবে লেখা যেতে পারে: এই রৈখিকতা ধৃষ্টতা যাকে মাঝে মাঝে অনেকেই ভুল বুঝে ভাবেন করা হয়। মডেলটি পরামিতিগুলিতে রৈখিক হওয়া উচিত - যথা। আপনার সাথে যা ইচ্ছে করতে বিনামূল্যেনিজেদের। লগস, স্কোয়্যারস ইত্যাদি যদি এটি না হয় তবে মডেলটি ওএলএস দ্বারা অনুমান করা যায় না - আপনার আরও কিছু ননলাইনার অনুমানকারী প্রয়োজন। $\begin{aligned} Y & = β_{0} + β_{1} x_{1} + \dots + β_{k} x_{k} + u \\ = X β + u \end{aligned}$ $\begin{align} \newcommand{\Var}{\rm Var} \newcommand{\Cov}{\rm Cov} Y &= \beta_0 + \beta_1 x_1 + … + \beta_k x_k + u \\ &= X\beta + u \end{align}$ $\beta_k$ $x_i$
একটি এলোমেলো নমুনা (ক্রস বিভাগগুলির জন্য) অনুমান এবং নমুনার বৈশিষ্ট্যের জন্য এটি প্রয়োজন। এটি ওএলএসের খাঁটি যান্ত্রিকগুলির জন্য কিছুটা অপ্রাসঙ্গিক।
নিখুঁত কোন প্রান্তিককরণের অর্থ এই নয় যে মধ্যে কোনও নিখুঁত সম্পর্ক থাকতে পারে না । এটি এমন অনুমান যা নিশ্চিত করে যে , যেমন বিদ্যমান। $x_i$ $(X’X)$ $(X’X)^{-1}$
শূন্য শর্তাধীন গড়: । এর অর্থ হ'ল আপনি সঠিকভাবে মডেলটি নির্দিষ্ট করেছেন যেমন: কোনও বাদ পড়া ভেরিয়েবল নেই এবং আপনি যে ফাংশনাল ফর্মটি অনুমান করেছেন তা (অজানা) জনসংখ্যার মডেলের তুলনায় সঠিক। এটি সর্বদা ওএলএসের সাথে সমস্যাযুক্ত অনুমান, যেহেতু এটি বৈধ কিনা তা জানার কোনও উপায় নেই। $E(u|X) = 0$
ত্রুটি শর্তের বৈচিত্রটি স্থির, সমস্ত শর্তসাপেক্ষে : আবার এর অর্থ ওএলএস এর যান্ত্রিকতার জন্য কিছুই নয়, তবে এটি নিশ্চিত করে যে স্বাভাবিক স্ট্যান্ডার্ড ত্রুটিগুলি বৈধ কিনা। $X_i$ $\Var(u|X)=\sigma^2$
স্বাভাবিক; ত্রুটি শব্দটি আপনি স্বতন্ত্র এবং অনুসরণ করে । আবার এই OLS ঔজ্জ্বল্যের প্রেক্ষাপটে বলবিজ্ঞান জন্য অপ্রাসঙ্গিক, কিন্তু নিশ্চিত করে যে নমুনা বন্টন স্বাভাবিক, । $X_i$ $u \sim N(0,\sigma^2)$ $\beta_k$ $\hat{\beta_k} \sim N(\beta_k , \Var(\hat{\beta_k}))$

নিহিততার জন্য এখন।

1 - 6 এর অধীনে (ধ্রুপদী রৈখিক মডেল অনুমান) ওএলএস হ্রাস (সেরা লিনিয়ার নিরপেক্ষ অনুমানক), সর্বনিম্ন বৈকল্পিকতার দিক থেকে সেরা। এটি সমস্ত লিনিয়ার অনুমানকারীগুলির পাশাপাশি এক্স এর কিছু ফাংশন ব্যবহার করে এমন সমস্ত অনুমানকারীগুলির মধ্যেও দক্ষ। আরও গুরুত্বপূর্ণভাবে 1 - 6 এর নীচে, ওএলএস হ'ল ন্যূনতম বৈকল্পিক নিরপেক্ষ অনুমানকও। এর অর্থ হ'ল সমস্ত পক্ষপাতহীন অনুমানকারীগুলির মধ্যে (কেবল লিনিয়ার নয়) ওএলএসের ক্ষুদ্রতম প্রকরণ রয়েছে। ওএলএসও সামঞ্জস্যপূর্ণ।
1 - 5 এর অধীনে (গাউস-মার্কভ অনুমান) ওএলএস নিখুঁত এবং দক্ষ (উপরে বর্ণিত হিসাবে)।
1 - 4 এর নিচে, ওএলএস নিরপেক্ষ, এবং সামঞ্জস্যপূর্ণ।

আসলে ওএলএস চেয়ে দুর্বল অনুমানের অধীনেও সামঞ্জস্যপূর্ণ : এবং । অনুমান 4 থেকে পার্থক্য হ'ল, এই অনুমানের অধীনে, আপনাকে কার্যকরী সম্পর্কের পুরোপুরি পেরেক দেওয়ার দরকার নেই। $(4)$ $(1)\ E(u) = 0$ $(2)\ \Cov(x_j , u) = 0$

— Repmat
সূত্র

আমি মনে করি আপনি শূন্য মানে অবস্থা সম্পর্কে খুব গা dark় ছবি আঁকেন। যদি কোনও পক্ষপাতিত্ব থাকে, তবে স্কোয়ার বিচ্যুতির যোগফলকে হ্রাস করা উপযুক্ত জিনিস হবে না তবে অন্যদিকে, আপনি রিগ্রেশন সমীকরণটি (

বিভক্ত করে ) স্থানান্তর করে পক্ষপাতটি ক্যাপচার করতে পারেন , এবং তারপরে আপনি কি 4 যাচাই করার জন্য উভয় অসম্ভব এবং তাকে উপেক্ষা করা সহজ হয় অন্য কথায় আছে গড় 0.।

β_{0}

$\beta_0$

— ব্যবহারকারী3697176

আমি দুঃখিত, কিন্তু আমি রাজি হই না। নাকি আমি শুধু তোমাকে ভুল বুঝাব? আপনি হয় বর্ণনামূলক বা একটি রেফারেন্স দিতে পারেন।

— পুনঃনির্মাণ করুন

আমি ইচ্ছাকৃতভাবে বিকৃত অনুমান সম্পর্কে কথা বলছি না (যেমন রিজ রিগ্রেশন), যা আমি বিশ্বাস করি যে ওপিতে আগ্রহী নয় I আমি

ফর্মের একটি মডেল সম্পর্কে কথা বলছি

যা --- কিছু অদ্ভুত কারণে --- অবশিষ্ট

গড় হয়েছে

।

আনুষ্ঠানিক রূপান্তর করা সহজ

y = β_{0} + β_{1} x_{1} + \dots + β_{x} x_{n} + ϵ

$y=\beta_0 +\beta_1x_1+\ldots+\beta_x x_n + \epsilon$

ϵ

$\epsilon$

α \neq 0

$\alpha\ne0$

, যেখানে

এর

শূন্য।

y = α + β_{0} + β_{1} x_{1} + \dots + β_{x} x_{n} + η

$y=\alpha+\beta_0 +\beta_1x_1+\ldots+\beta_x x_n + \eta$

η

$\eta$

— user3697176

@ user3697176 আপনি যা লিখছেন তা সঠিক নয়। আমি কেন একটি কারণ পোস্ট করার জন্য একটি উত্তর পোস্ট করেছি।

— অ্যালেকোস পাপাদোপল্লোস

যদি অনুমান 1 সন্তুষ্ট না হয়, আমরা এখনও জনসংখ্যার উগ্রপন্থাটি নির্ধারণের জন্য ওএলএস ব্যবহার করতে পারি না (যদিও আমরা জানি যে কোনও রৈখিক সম্পর্ক নেই)?

— সর্বাধিক

অন্য প্রশ্নের একটি মন্তব্যে শর্তটির গুরুত্ব সম্পর্কে সন্দেহ উত্থাপিত হয়েছিল , যুক্তি দিয়ে যে এটি রিগ্রেশন স্পেসিফিকেশনে একটি ধ্রুবক পদ অন্তর্ভুক্তির মাধ্যমে সংশোধন করা যেতে পারে এবং তাই "এটি সহজেই উপেক্ষা করা যায়"। $E(\mathbf u \mid \mathbf X) =0$

এটা তাই না। রিগ্রেশনটিতে একটি ধ্রুবক পদ অন্তর্ভুক্তি ত্রুটি শর্তের সম্ভবত অ-শূন্য শর্তসাপেক্ষ গড়টি শোষণ করবে যদি আমরা ধরে নিই যে এই শর্তসাপেক্ষ অর্থটি ইতিমধ্যে একটি ধ্রুবক এবং নিবন্ধকের কোনও কার্য নয় । এটি আমরা একটি ধ্রুবক শব্দ অন্তর্ভুক্ত কিনা তা স্বতন্ত্রভাবে করা উচিত যে গুরুত্বপূর্ণ অনুমান :

E (u ∣ X) = c o n s t .

$E(\mathbf u \mid \mathbf X) =const.$

যদি এটি ধরে রাখে, তবে অ-শূন্য মানে একটি উপদ্রব হয়ে যায় যা আমরা কেবল একটি ধ্রুবক পদকে অন্তর্ভুক্ত করে সমাধান করতে পারি।

তবে এটি যদি ধরে না রাখে (যেমন শর্তসাপেক্ষ মানে শূন্য বা অ-শূন্য ধ্রুবক না হয় ), ধ্রুবক পদটির অন্তর্ভুক্তি সমস্যার সমাধান করে না: এই ক্ষেত্রে এটি "শোষণ" করবে কী পরিমাণ যা রেজিস্ট্রারগুলির নির্দিষ্ট নমুনা এবং আদায় নির্ভর করে। প্রকৃতপক্ষে অজানা সহগগুলি সেই ধারাবাহিকের সাথে যুক্ত, ত্রুটি শর্তের অ-ধ্রুবক শর্তসাপেক্ষ মাধ্যমের মাধ্যমে রেজিস্ট্রারগুলির উপর নির্ভর করে সত্যিকার অর্থে ধ্রুবক কিন্তু পরিবর্তনশীল নয়।

এটি কি বোঝায়? সরলকরণের জন্য, সবচেয়ে সহজ কেসটি ধরে নিন, যেখানে ( পর্যবেক্ষণকে সূচক করে) তবে সে । অর্থ্যাৎ ত্রুটি শব্দটি এর সমসাময়িকগুলি বাদ দিয়ে রেজিস্ট্রারদের কাছ থেকে স্বতন্ত্র-স্বাধীন ( আমরা কয়েকটি ধারাবাহিক অন্তর্ভুক্ত করি না )। $E(u_i \mid \mathbf X_{-i})=0$ $i$ $E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)$ $\mathbf X$

ধরে নিন যে আমরা একটি ধ্রুবক পদ (অন্তর্ভুক্তের একটি ধারাবাহিকের একজন রেজিস্ট্রার) অন্তর্ভুক্তির সাথে সংযোজনকে নির্দিষ্ট করে দিয়েছি।

y = a + X β + ε

$\mathbf y = \mathbf a + \mathbf X\mathbf β + \mathbf ε$

এবং কমপ্যাক্ট স্বরলিপি

y = Z γ + ε

$\mathbf y = \mathbf Z\mathbf γ + \mathbf ε$

যেখানে , , , । $\mathbf a = (a,a,a...)'$ $\mathbf Z = [\mathbf 1: \mathbf X]$ $\mathbf γ = (a, \mathbf β)'$ $\mathbf ε = \mathbf u - \mathbf a$

তারপরে ওএলএসের অনুমানকারী হবে

\hat{γ} = γ + {(Z^{'} Z)}^{- 1} Z^{'} ε

$\hat {\mathbf γ} = \mathbf γ + \left(\mathbf Z'\mathbf Z\right)^{-1}\mathbf Z'\mathbf ε$

$E\left[\mathbf ε\mid \mathbf Z\right] =0$

E [ε_{i} ∣ x_{i}] = E [u_{i} - a ∣ x_{i}] = h (x_{i}) - a

$E\left[ ε_i\mid \mathbf x_i\right] = E\left[u_i-a\mid \mathbf x_i\right] = h(\mathbf x_i)-a$

$i$ $h(\mathbf x_i)$

E [ε ∣ Z] \neq 0 ⟹ E (\hat{γ}) \neq γ

$E\left[\mathbf ε\mid \mathbf Z\right] \neq 0 \implies E(\hat {\mathbf γ}) \neq \mathbf γ$

এবং

$E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)\neq h(\mathbf x_j)=E(u_j \mid \mathbf x_{j})$

$\mathbf ε$ $i$ $i$

$u_i$ $\hat {\mathbf γ} - \mathbf γ$

$E(u_i \mid \mathbf x_{i})=h(\mathbf x_i)\neq h(\mathbf x_j)=E(u_j \mid \mathbf x_{j})$

অন্য কথায়, "সসীম-নমুনা" বৈশিষ্ট্যগুলি সর্বস্বান্ত হয়ে যায়।

আমরা কেবল তাত্পর্যপূর্ণভাবে বৈধ অনুক্রমটি অবলম্বন করার বিকল্পটি রেখেছি , যার জন্য আমাদের অতিরিক্ত অনুমান করতে হবে।

সুতরাং সহজ কথায় কথায় কথায় কথায় কথায় কথায় কথায় কথায় প্রকাশ্যতা সহজেই উপেক্ষা করা যায় না ।

— আলেকোস পাপাদোপল্লোস
সূত্র

আমি পুরোপুরি নিশ্চিত নই যে আমি এটি বুঝতে পেরেছি। মানে কি ধরে নেওয়া হচ্ছে না যে সমকামীত্বকে ধরে নেওয়ার সমতুল্য রেজিস্ট্রারদের কোনও কাজ নয়?

— ব্যাটম্যান

@ ব্যাটম্যান আমার পোস্টের কোন অংশে আপনি উল্লেখ করছেন?

— অ্যালেকোস পাপাদোপল্লোস

আপনি যখন বলবেন "রিগ্রেশনটিতে একটি ধ্রুবক পদ অন্তর্ভুক্তি ত্রুটি শর্তের সম্ভবত অ-শূন্য শর্তসাপেক্ষ মাধ্যমকে গ্রহণ করবে যদি আমরা ধরে নিই যে এই শর্তসাপেক্ষ অর্থটি ইতিমধ্যে একটি ধ্রুবক এবং রেজিস্ট্রারদের কোনও ক্রিয়াকলাপ নয় This এটিই একটি গুরুত্বপূর্ণ অনুমান is আমরা অবশ্যই একটি ধ্রুবক পদ অন্তর্ভুক্ত করি কিনা তা স্বাধীনভাবে তৈরি করতে হবে। " শর্তসাপেক্ষ মানে ধরে নেওয়া কি এই নয় যে আমরা সমকামীত্ব অনুমান করার সময় যা অনুমান করছি ঠিক তা রেজিস্ট্রারদের কাজ নয়?

— ব্যাটম্যান

@ ব্যাটম্যান হোমসকেডাস্টিটি হ'ল বৈচিত্র সম্পর্কে ধারণা। গড়-নির্ভরতা ধরে নিলে তা বোঝায় না

E (u_{j}^{2} ∣ x)

$E(u^2_j \mid \mathbf x)$ এটি একটি ধ্রুবকও, যা শর্তাধীন সমজাতীয়তার জন্যও প্রয়োজনীয়। আসলে, গড়-স্বাধীনতা,

E (u ∣ x) = c o n s t .

$E(u \mid x) =const.$ শর্তসাপেক্ষ বৈষম্যবাদীতার সাথে একসাথে,

E (u^{2} ∣ x) = g (x)

$E(u^2 \mid x) = g(x)$ একটি স্ট্যান্ডার্ড মডেল বৈকল্পিক।

— অ্যালেকোস পাপাদোপল্লোস