ওএলএস হিস্টেরোসেসটাস্টিটির অধীনে অসম্পূর্ণভাবে দক্ষ

আমি জানি যে ওএলএস পক্ষপাতহীন তবে লিনিয়ার রিগ্রেশন সেটিং-এ heteroscedasticity এর অধীনে দক্ষ নয়।

উইকিপিডিয়ায়

http://en.wikipedia.org/wiki/Minimum_mean_square_error

এমএমএসই অনুমানকারী অনিচ্ছাকৃতভাবে পক্ষপাতহীন এবং এটি বিতরণকে সাধারণ বিতরণে রূপান্তরিত করে: , যেখানে আমি (এক্স) হ'ল এক্স এর ফিশার তথ্য। সুতরাং, এমএমএসই অনুমানক অসম্পূর্ণভাবে দক্ষ। $\sqrt{n}(\hat{x} - x) \xrightarrow{d} \mathcal{N}\left(0 , I^{-1}(x)\right)$

এমএমএসই দাবী করা হয়েছে যে অ্যাসেম্পোটোটিকভাবে দক্ষ। আমি এখানে একটু বিভ্রান্ত।

এর অর্থ কি ওএলএস সীমাবদ্ধ নমুনায় দক্ষ নয়, তবে অসিস্টোপোটিকভাবে হিটারোসেসটাস্টিকির অধীনে দক্ষ?

বর্তমান উত্তরের সমালোচনা: এখনও পর্যন্ত প্রস্তাবিত উত্তরগুলি সীমিত বন্টনকে সম্বোধন করে না।

আগাম ধন্যবাদ

least-squares heteroscedasticity efficiency

— ক্যাগডাস ওজজেঙ্ক
সূত্র

এটি বেশ দীর্ঘ উইকিপিডিয়া নিবন্ধ। যেহেতু, এগুলি ছাড়াও এগুলি পরিবর্তন সাপেক্ষে, আপনি কি উত্তরণটি বিভ্রান্তির কারণ হিসাবে উল্লেখ করে আপত্তি করবেন?

— হিজসেব

ফিশার তথ্য সম্ভাবনা ফাংশন থেকে প্রাপ্ত। সুতরাং এটি স্পষ্টতই বোঝাচ্ছে যে সম্ভাবনাটি সঠিকভাবে নির্দিষ্ট করা হয়েছিল। অর্থাত্ আপনার যে বক্তব্যটি উল্লেখ করা হয়েছে তা ধরে নিচ্ছে, যদি কোনও ভিন্ন ভিন্ন উপায়ে থাকে তবে আধিপত্যটি এমনভাবে ওজনিত হয়েছিল যাতে ভিন্ন ভিন্ন উপায়ে সঠিকভাবে নির্দিষ্ট করা হয়েছিল। En.wikedia.org/wiki/Lestast_squares#Wightlight_least_squares দেখুন । অনুশীলনে আমরা প্রায়শই হিটারোসেসিস্টাস্টিটির রূপটি জানি না, তাই আমরা মাঝে মাঝে অদক্ষতা মেনে চলার পরিবর্তে ওয়েটিং স্কিমগুলি মিস করে রেজিস্ট্রেশনকে পক্ষপাতদুষ্ট করার সুযোগ না দিয়ে।

— জাকারি ব্লুমেনফিল্ড

@ জাচারি ব্লুমেনফিল্ড নিবন্ধে এক্স বিতরণের বিষয়ে কোনও ধারণা ছিল না। আমরা কীভাবে ফিশারের তথ্য দিয়ে শেষ করেছি?

— ক্যাগডাস ওজজেঙ্ক

দেখুন এন.ইউইকিপিডিয়া.আর / উইকি / ফিশার_ইনফর্মেশন নিবন্ধটি বিতরণকে বোঝায়

x

$x$ এবং

e

$e$ যখন এটি সংজ্ঞা বিভাগে প্রত্যাশা নেয়। নোট করুন যে সমকামিতা সেখানে কখনও অনুমান করা হয়নি। ওএলএসের প্রসঙ্গে, সমকামিতা গ্রহণ করা হয়েছিল

e \sim N (0, σ I)

$\mathbf{e} \sim N(0,\sigma I)$ ,

I

$I$ পরিচয় ম্যাট্রিক্স। হিটারোসেসড্যাকটিসিটি এর জন্য অনুমতি দেয়

e \sim N (0, D)

$\mathbf{e} \sim N(0,D)$ যে কোনও

D

$D$ তির্যক ইতিবাচক আধা-নির্দিষ্ট। ব্যবহার

D

$D$ ব্যবহারের চেয়ে আলাদা ফিশারের তথ্য আসবে

σ I

$\sigma I$ ।

— জাকারি ব্লুমেনফিল্ড

"এমএমএসই সাধারণ বিতরণে বিতরণে রূপান্তরিত করে" এই সত্যের প্রমাণ আমি কোথায় দেখতে পাব?

— হাজির

উত্তর:

সংজ্ঞাটি নিবন্ধটি কখনও হোমোস্কাডাস্টিক্যটিকে ধরে নেয়নি। নিবন্ধের প্রসঙ্গে এটি রাখতে, সমকামিতা বলতে হবে

E {(\hat{x} - x) (\hat{x} - x)^{T}} = σ I

$E\{(\hat x-x)(\hat x-x)^T\}=\sigma I$ কোথায়

I

$I$ হয়

n \times n

$n\times n$ পরিচয় ম্যাট্রিক্স এবং

σ

$\sigma$ একটি স্কেলার পজিটিভ সংখ্যা। হেটেরোস্ক্যাডাস্টিটি অনুমতি দেয়

ই {(\hat{এক্স} - এক্স) (\hat{এক্স} - এক্স)^{টি}} = ডি

$E\{(\hat x-x)(\hat x-x)^T\}=D$

কোন $D$ ধনাত্মক সুনির্দিষ্ট নিবন্ধটি কোভরিয়েন্স ম্যাট্রিক্সকে সর্বাধিক সাধারণভাবে সংজ্ঞায়িত করেছে, কিছু অন্তর্নিহিত বহু-তাত্পর্য বিতরণের কেন্দ্রিক দ্বিতীয় মুহুর্ত হিসাবে। আমরা অবশ্যই এর বহুবিধ বিতরণ জানতে পারি $e$ একটি asyptotically দক্ষ এবং ধারাবাহিক অনুমান পেতে $\hat x$ । এটি একটি সম্ভাবনা ফাংশন থেকে আসবে (যা উত্তরের একটি বাধ্যতামূলক উপাদান)। যেমন ধরুন $e \sim N(0,\Sigma)$ (অর্থাত $E\{(\hat x-x)(\hat x-x)^T\}=\Sigma$ । তারপরে সম্ভাব্য সম্ভাবনা কাজটি হয়

লগ [এল] = লগ [φ (\hat{এক্স} - এক্স, Σ)]

$\log[L]=\log[\phi(\hat x -x, \Sigma)]$ কোথায়

ϕ

$\phi$ মাল্টিভারিয়েট নরমাল পিডিএফ হ'ল।

ফিশারের তথ্য ম্যাট্রিক্স হিসাবে লেখা যেতে পারে

আমি (এক্স) = ই [(\frac{\partial}{\partial এক্স} লগ [এল])^{2} | এক্স]

$I(x)=E\bigg[\bigg(\frac{\partial}{\partial x}\log[L]\bigg)^2 \,\bigg|\,x \bigg]$ আরও জানতে এন.ইউইকিপিডিয়া.org / উইকি / ফিশার_আইনফর্মেশন দেখুন। এটি এখান থেকেই আমরা অর্জন করতে পারি

\sqrt{এন} (\hat{এক্স} - এক্স) \to^{ঘ} এন (0, {আমি}^{- 1} (এক্স))

$\sqrt{n}(\hat x -x) \rightarrow^d N(0, I^{-1}(x))$ উপরের অংশটি চতুর্ভুজ ক্ষতির ফাংশন ব্যবহার করছে তবে সমকামিতা অনুমান করে না ।

ওএলএসের প্রসঙ্গে, যেখানে আমরা প্রতিক্রিয়া জানাই $y$ চালু $x$ আমরা মনে করি

ই {Y | এক্স} = {এক্স}^{'} β

$E\{y|x\}=x'\beta$ সম্ভাব্য বোঝা হয়

লগ [এল] = লগ [φ (Y - {এক্স}^{'} β, σ আমি)]

$\log[L]=\log[\phi(y-x'\beta, \sigma I)]$ যা সুবিধামত পুনরায় লেখা যেতে পারে

লগ [এল] = Σ_{আমি = 1}^{এন} লগ [φ (Y - {এক্স}^{'} β, σ)]

$\log[L]=\sum_{i=1}^n\log[\varphi(y-x'\beta, \sigma)]$

φ

$\varphi$ অবিচ্ছিন্ন সাধারণ পিডিএফ। ফিশারের তথ্য তখন

আমি (β) = [σ (এক্স {এক্স}^{'})^{- 1}]^{- 1}

$I(\beta)=[\sigma (xx')^{-1}]^{-1}$

যদি হোমোসেক্টেস্টিটিটি পূরণ না হয় তবে উল্লিখিত ফিশারের তথ্য নির্দিষ্ট করা মিস (তবে শর্তসাপেক্ষ প্রত্যাশা ফাংশনটি এখনও সঠিক) সুতরাং এর অনুমানগুলি $\beta$ ধারাবাহিক তবে অদক্ষ হবে। আমরা heteroskacticity জন্য অ্যাকাউন্টে সম্ভাবনা পুনর্লিখন পারে এবং রিগ্রেশন হয় দক্ষ অর্থাত আমরা লিখতে পারি

লগ [এল] = লগ [φ (Y - {এক্স}^{'} β, ডি)]

$\log[L]=\log[\phi(y-x'\beta, D)]$ এটি জেনারেলাইজড লেস্ট স্কোয়ারগুলির নির্দিষ্ট ফর্মগুলির সমতুল্য, যেমন ওজনযুক্ত সর্বনিম্ন স্কোয়ার। তবে, এই হবে এটি ফিশারের তথ্য ম্যাট্রিক্সকে পরিবর্তন । অনুশীলনে আমরা প্রায়শই হিটারোসেসিস্টাস্টিটির ফর্মটি জানি না তাই আমরা মাঝে মাঝে ওয়েটিং স্কিমগুলি মিস করে রেজিস্ট্রেশনটিকে পক্ষপাতদুষ্ট করার পরিবর্তে অদক্ষতা গ্রহণ করতে পছন্দ করি। যেমন ক্ষেত্রে asympotic covarانس

β

$\beta$ হয় না

\frac{1}{n} I^{- 1} (β)

$\frac{1}{n}I^{-1}(\beta)$ উপরে উল্লিখিত হিসাবে।

— জাচারি ব্লুমেনফিল্ড
সূত্র

আপনি যত সময় কাটিয়েছেন তার জন্য ধন্যবাদ। তবে আমি মনে করি যে উইকি এন্ট্রি হ'ল সম্পূর্ণ বাজে। এমএমএসই দক্ষতা দেবে না, এবং কোথাও এটি নির্দিষ্ট করা হয়নি যে নমুনাগুলি যথাযথভাবে ওজন করা হয়েছে। তবুও যদি আমরা ধরে নিই যে নমুনাগুলিগুলি ওজনযুক্ত, তবে এটি বিতরণ গাউসিয়ান না হলে এটি একটি কার্যকর অনুমানকারী নয়, যা নির্দিষ্ট করে দেওয়া হয়নি।

— ক্যাগডাস ওজজেঙ্ক

@ ক্যাগডাস ওজেনেঙ্ক আমি শ্রদ্ধার সাথে একমত নই। নিবন্ধটি একটি সাধারণ বায়েশিয়ান উপায়ে বর্ণিত হয়েছে যার মধ্যে রিগ্রেশন অন্তর্ভুক্ত থাকতে পারে, তবে আরও অনেক মডেল রয়েছে (এটি কলমেন ফিল্টারটির দিকে আরও লক্ষ্য করা যায় বলে মনে হয়)। সম্ভাবনা সবচেয়ে কার্যকর অনুমানক হয় যখন এটি জানা যায়, এটি সম্ভাবনার একটি প্রাথমিক সম্পত্তি। আপনার বক্তব্যটি রিগ্রেশন মডেলগুলির (এমনকি সর্বাধিক প্রয়োগিত মডেলগুলির মধ্যে থাকা) একটি সাবসেটের ক্ষেত্রে কঠোরভাবে প্রযোজ্য যেখানে প্রথম অর্ডার শর্ত প্রাপ্তির পরে স্বাভাবিকতা ধরা হয়।

— জাচারি ব্লুমেনফিল্ড

আপনি নিজেই বলেছেন। দুর্ভাগ্যক্রমে নিবন্ধটি সম্ভাবনা অনুমানকারী সম্পর্কে নয়। এটি সর্বনিম্ন গড় স্কোয়ার অনুমানক যা নির্দিষ্ট শর্তগুলি সন্তুষ্ট হলে কার্যকর।

— ক্যাগডাস ওজজেঙ্ক

ঠিক আছে আমি একমত হতে সম্মত নই :) সম্ভবত এমএমএসইয়ের সংজ্ঞাটি কীভাবে এটি ফ্রিকোয়েনস্ট রেজিস্ট্রেশনে ব্যবহৃত হয় এবং এখানে কীভাবে এটি আরও বেশি বেইসিয়ান সেটিংয়ে প্রয়োগ করা হয় তার মধ্যে বিরোধ রয়েছে। সম্ভবত তাদের এটির জন্য একটি নতুন নাম উদ্ভাবন করা উচিত। তবুও সম্ভাবনাগুলি (বা সম্ভবত অন্যান্য অ-প্যারাম্যাট্রিক অনুমানগুলি) প্রতিটি একক স্কোয়ার অবশিষ্টের উপর স্বতন্ত্র প্রত্যাশা গ্রহণের সময় নিহিত থাকে। বিশেষত বায়েশিয়ান সেটিংয়ে (অন্যথায় আমরা কীভাবে এটি অনুমান করব?)। গুগলিংয়ের পরে আমি উইকিপিডিয়ায় একটির সাথে অনেক মিল খুঁজে পেয়েছি। যেভাবেই হোক আমি একমত যে পরিভাষাটি অপব্যবহার করা হচ্ছে।

— জ্যাকারি ব্লুমেনফিল্ড

না, ওএলএস হিটারোসেসডাস্টিকটির অধীনে দক্ষ নয়। অন্য সম্ভাব্য অনুমানকারীদের মধ্যে যদি অনুমানকারীর মধ্যে স্বল্পতম পার্থক্য থাকে তবে কোনও অনুমানকারীর দক্ষতা পাওয়া যায়। ওএলএস-এর দক্ষতা সম্পর্কে বিবৃতিগুলি কোনও অনুমানকারকের সীমিত বিতরণকে বিবেচনা না করেই করা হয়।

— random_guy
সূত্র