লিনিয়ার রিগ্রেশন-এ ত্রুটি শর্তে অ-ধ্রুবক প্রকরণের পরিণতিগুলি কী কী?

লিনিয়ার রিগ্রেশন-এর একটি অনুমান হ'ল ত্রুটির শর্তগুলির মধ্যে একটি ধ্রুবক পার্থক্য থাকা উচিত এবং মডেলের সাথে যুক্ত আত্মবিশ্বাসের অন্তর এবং অনুমানের পরীক্ষাগুলি এই অনুমানের উপর নির্ভর করে। ত্রুটির শর্তগুলির একটি ধ্রুবক বৈকল্পিকতা না রাখলে ঠিক কী ঘটে?

— Kira
সূত্র

ভিন্ন ভিন্নতার পরিণতিগুলি হ'ল:

সাধারণ সর্বনিম্ন স্কোয়ার (ওএলএস) অনুমানক $\hat{\mathbf{b}} = \left(X'X \right)X'\mathbf{y}$ এখনও সামঞ্জস্যপূর্ণ তবে এটি আর দক্ষ নয় ।
অনুমান $\hat{\mathrm{Var}}\left(\mathbf{b} \right) = \left( X'X\right)^{-1} \hat{\sigma}^2$ কোথায় $\hat{\sigma}^2 = \frac{1}{n-k} \mathbf{e'}{\mathbf{e}}$ হয় না একটি সামঞ্জস্যপূর্ণ মূল্নির্ধারক আর আপনার মূল্নির্ধারক কোভ্যারিয়েন্স ম্যাট্রিক্স জন্য $\hat{\mathbf{b}}$ । এটি পক্ষপাতদুষ্ট এবং বেমানান উভয়ই হতে পারে। এবং অনুশীলনে, এটি বৈকল্পিকতাটিকে যথেষ্ট পরিমাণে হ্রাস করতে পারে।

পয়েন্ট (1) কোনও বড় সমস্যা নাও হতে পারে; লোকেরা প্রায়শই সাধারণ ওএলএসের প্রাক্কলনকারীকে যাইহোক ব্যবহার করে। তবে পয়েন্ট (2) এর সমাধান করতে হবে। কি করো?

আপনার হেটেরোসিসেস্টাস্টিটি-সামঞ্জস্যপূর্ণ মান ত্রুটিগুলি দরকার । স্ট্যান্ডার্ড পদ্ধতিটি হ'ল বড়-নমুনা অনুমানগুলি, অ্যাসিপোটোটিক ফলাফলগুলিতে ঝুঁকে পড়া এবং এর বৈচিত্রটি অনুমান করা $\mathbf{b}$ ব্যবহার:

\hat{V a r} (b) = \frac{1}{n} {(\frac{X^{'} X}{n})}^{- 1} S {(\frac{X^{'} X}{n})}^{- 1}

$\hat{\mathrm{Var}}\left(\mathbf{b}\right)=\frac{1}{n}\left( \frac{X'X}{n} \right)^{-1} S \left( \frac{X'X}{n} \right)^{-1}$ কোথায়

S

$S$ হিসাবে অনুমান করা হয়

S = \frac{1}{n - k} \sum_{i} (x_{i} e_{i}) {(x_{i} e_{i})}^{'}

$S = \frac{1}{n-k}\sum_i \left(\mathbf{x}_i e_i\right) \left(\mathbf{x}_i e_i \right)'$ ।

এটি হিটারোস্কেস্টেটিসিটি-সামঞ্জস্যপূর্ণ মান ত্রুটিগুলি দেয়। এগুলি হুবার-হোয়াইট স্ট্যান্ডার্ড ত্রুটি, শক্তসমর্থ স্ট্যান্ডার্ড ত্রুটি, "স্যান্ডউইচ" অনুমানকারী ইত্যাদি নামে পরিচিত ... এটা ব্যবহার করো!

কিছু অতিরিক্ত মন্তব্য (আপডেট)

হিটারোস্কেস্টাস্টিটি যদি যথেষ্ট পরিমাণে বড় হয় তবে নিয়মিত ওএলএস অনুমানের ক্ষেত্রে বড় ধরনের ব্যবহারিক সমস্যা হতে পারে। এখনও একটি সামঞ্জস্যপূর্ণ অনুমানক থাকাকালীন আপনার সামান্য নমুনা সমস্যা থাকতে পারে যেখানে আপনার সম্পূর্ণ অনুমান কয়েকটি, উচ্চতর বৈকল্পিক পর্যবেক্ষণ দ্বারা চালিত হয়। (এটিই @ সিএনভি 507 মন্তব্যে ইঙ্গিত করছে)। ওএলএসের অনুমানকটি এটির তুলনায় অদক্ষ যে এটি অনুকূলতার চেয়ে উচ্চতর বৈকল্পিক পর্যবেক্ষণকে আরও বেশি ওজন দিচ্ছে। অনুমানটি চরম শোরগোল হতে পারে।

অদক্ষতাটি ঠিক করার চেষ্টা করার সাথে একটি সমস্যা হ'ল আপনি সম্ভবত ত্রুটির শর্তগুলির জন্য কোভারিয়েন্স ম্যাট্রিক্সটি জানেন না, তাই GLS এর মতো কিছু ব্যবহার করা জিনিসকে আরও খারাপ করে দিতে পারে যদি আপনার ত্রুটি শব্দটি কোভারিয়েন্স ম্যাট্রিক্সের অনুমানটি আবর্জনা হয়।

এছাড়াও, আমি উপরে হুবার-হোয়াইট স্ট্যান্ডার্ড ত্রুটিগুলি ছোট ছোট নমুনাগুলিতে বড় সমস্যা হতে পারে। এই বিষয়ে একটি দীর্ঘ সাহিত্য আছে। যেমন। Imbens and Kolesar (2016), "ছোট উদাহরণগুলিতে শক্তসমর্থ স্ট্যান্ডার্ড ত্রুটি: কিছু ব্যবহারিক পরামর্শ" see

আরও অধ্যয়নের জন্য দিকনির্দেশ:

যদি এটি স্ব-অধ্যয়ন হয় তবে পরবর্তী ব্যবহারিক জিনিসটি ক্লাস্টার স্ট্যান্ডার্ড ত্রুটি। এটি ক্লাস্টারগুলির মধ্যে স্বেচ্ছাসেবী সম্পর্কের জন্য সঠিক।

— ম্যাথু গন
সূত্র

ম্যাথু - আমি মনে করি আরও ব্যবহারিক সমস্যাগুলি পয়েন্টটি স্পষ্ট করবে (1)। উদাহরণস্বরূপ, উচ্চতর বৈকল্পিকতাগুলির সাথে সেই অঞ্চলের দিকে অনুমানকারী 'পক্ষপাতদুষ্ট' হবে না? - যদি সেই অঞ্চলগুলি উচ্চতর লাভের কারণ হিসাবে দূরে থাকে তবে এটি আরও বড় সমস্যা হবে।

— seanv507

@ Seanv507 হিটারোস্কেস্টাস্টিটি ওএলএস অনুমানটিকে পক্ষপাতিত্ব করে না। আমার মনে হয় আপনি যেটিকে উল্লেখ করছেন সেটি হ'ল অদক্ষতা। উচ্চ-বৈকল্পিক পর্যবেক্ষণ এবং নিম্ন-বৈকল্পিক পর্যবেক্ষণকে সমানভাবে ওজন করে ওএলএসের অনুমানকারীটির বিপরীত বৈকল্পিক ওজন যেমন কিছু তাত্ত্বিকভাবে অর্জনযোগ্য তুলনায় উচ্চতর বৈকল্পিকতা রয়েছে । আপনি আপনার অনুমান ব্যবহার করতে চান কিনা

σ_{i}^{2}

$\sigma^2_i$ অনুমানের পর্বে (যেমন অনুমানের জন্য

b

$\mathbf{b}$ ) আপনি কতটা বিশ্বাস করেন তার উপর নির্ভর করে

σ_{i}^{2}

$\sigma^2_i$ ।

— ম্যাথিউ গন

ম্যাথিউ, আমি জানি না এর পক্ষপাতিত্ব চালু করা হচ্ছে না (উদ্ধৃতিতে এই শব্দটি ব্যবহার করার জন্য আমি [আপনাকে এবং অপের কাছে ক্ষমা চাইছি :) আমি উপযুক্ত শব্দটি ভাবতে পারি না)। তবে আমি ব্যবহারিক নিদর্শনগুলি বের করার চেষ্টা করছি (এবং পরামর্শ দিচ্ছি যে ওপি সেগুলি বুঝতে চায়) - কখন / কেন পয়েন্ট (1) কোনও বড় বিষয় নয়। আপনি কি রাজি হন না যে সেই প্রভাবটি তখনই

b

$\mathbb b$ আপনি স্বজ্ঞাতভাবে প্রত্যাশা / পছন্দ করার চেয়ে উচ্চতর বৈচিত্রের অঞ্চলের উপর বেশি নির্ভর করে (

— seanv507

@ seanv507 আপনার নিজের উত্তর যুক্ত করতে নির্দ্বিধায়!

— ম্যাথু গন

Heteroskedasticity-শক্তসমর্থ মান ত্রুটি (যা এড Leamer তার 2010 কাগজে ব্যবহারের স্থানে "Tantalus Asymptopia রাস্তা এ" কল সাদা ওয়াশিং ), একটি আরো heteroskedasticity জন্য দ্বারা (ভ্যারিয়েন্স অনুমান একসাথে) বিন্দু অনুমান সংশোধন করার চেষ্টা করে দেখতে পারেন WLS। এটি আপনার উত্তরে উল্লেখ করার মতো হতে পারে।

— রিচার্ড হার্ডি

ভাল সংক্ষিপ্ত উত্তরটি হ'ল মূলত আপনার মডেলটি ভুল

সাধারণ ন্যূনতম স্কোয়ারগুলির জন্য বি ইস্ট এল ইনয়ার ইউ এনবিএডেড ই স্টিমটার হতে ত্রুটির শর্তগুলির ধ্রুবক প্রকরণটি ধরে নেওয়া হয়।
গাউস-মার্কভ অনুমান - যদি তা পূরণ হয় - আপনাকে গ্যারান্টি দেয় যে সহগের জন্য ন্যূনতম স্কোয়ারের অনুমানকারী $\beta$ পক্ষপাতহীন এবং সমস্ত পক্ষপাতহীন রৈখিক অনুমানকারীর মধ্যে একটি নূন্যতম পার্থক্য রয়েছে।

সুতরাং বৈকল্পিক-কোভেরিয়েন্স ম্যাট্রিক্সের অনুমানের সাথে ভিন্ন ভিন্ন সমস্যার ক্ষেত্রে ঘটে যা সহগের ভুল মানের ত্রুটি ঘটায়, যার ফলস্বরূপ ভুল টি-পরিসংখ্যান এবং পি-ভ্যালু বাড়ে। সংক্ষেপে বলতে গেলে, যদি আপনার ত্রুটির শর্তগুলিতে ধ্রুব বৈকল্পিকতা না থাকে তবে সাধারণ ন্যূনতম স্কোয়ারগুলি অনুমানের জন্য সবচেয়ে কার্যকর উপায় নয়। কটাক্ষপাত আছে এই সংশ্লিষ্ট প্রশ্ন।

— davidski
সূত্র

"হেটেরোসেসটেস্টেটিটি" পূর্বাভাস ত্রুটির সত্যিকারের আদর্শ বিচ্যুতি অনুমান করা কঠিন করে তোলে। এটি আত্মবিশ্বাসের অন্তরগুলিকে নিয়ে যেতে পারে যা খুব প্রশস্ত বা খুব সংকীর্ণ (বিশেষত ত্রুটির বৈকল্পিকতা যদি সময়ের সাথে বাড়তে থাকে তবে নমুনা বহির্ভূত পূর্বাভাসগুলির জন্য তারা খুব সংকীর্ণ হবে)।

এছাড়াও, রিগ্রেশন মডেল ডেটার একটি উপসেটটিতে খুব বেশি ফোকাস করতে পারে।

ভাল রেফারেন্স: লিনিয়ার রিগ্রেশন টেস্ট অনুমান

— oW_
সূত্র