মডেলটি সত্য না হলেও এমএলই অনুমানটি কি অ্যাসিম্পোটোটিকভাবে স্বাভাবিক এবং দক্ষ?

জায়গা: এটি একটি বোকা প্রশ্ন হতে পারে। আমি কেবল এমএলই অ্যাসিপটোটিক বৈশিষ্ট্য সম্পর্কে বিবৃতি জানি, তবে আমি কখনই তার প্রমাণগুলি অধ্যয়ন করি নি। যদি আমি তা করি, তবে আমি এই প্রশ্নগুলি জিজ্ঞাসা করব না, বা আমি বুঝতে পারি যে এই প্রশ্নগুলির কোনও অর্থ হয় না ... তাই দয়া করে আমার দিকে সহজ করুন :)

আমি প্রায়শই এমন বিবৃতি দেখেছি যা বলে যে কোনও মডেলের পরামিতিগুলির এমএলই অনুমানক অসম্পূর্ণভাবে স্বাভাবিক এবং দক্ষ। বিবৃতি সাধারণত হিসাবে লেখা হয়

$\hat{\theta}\xrightarrow[]{d}\mathcal{N}(\theta_0,\mathbf{I}(\theta_0)^{-1})$ হিসাবে $N\to\infty$

যেখানে হ'ল নমুনার সংখ্যা, ফিশারের তথ্য এবং হ'ল প্যারামিটার (ভেক্টর) আসল মান । এখন, যেহেতু সত্যিকারের মডেলের রেফারেন্স রয়েছে, এর অর্থ কি মডেলটি সত্য না হলে ফলাফল রাখা হবে না? $N$ $\mathbf{I}$ $\theta_0$

উদাহরণ: ধরুন আমি বায়ু টারবাইন থেকে পাওয়ার আউটপুটটি বায়ুর গতি প্লাস অ্যাডেটিভ গাউসিয়ান আওয়াজের ফাংশন হিসাবে মডেল করি $P$ $V$

$P=\beta_0+\beta_1V+\beta_2V^2+\epsilon$

আমি জানি মডেলটি ভুল, কমপক্ষে দুটি কারণে: 1) সত্যই এর তৃতীয় শক্তির সাথে সমানুপাতিক এবং 2) ত্রুটিটি সংযোজক নয়, কারণ আমি অন্যান্য ভবিষ্যদ্বাণীকে অবহেলা করেছি যা বাতাসের গতির সাথে সম্পর্কযুক্ত নয় (আমি এটিও জানি) যে 0 হওয়া উচিত কারণ 0 বায়ুর গতিতে কোনও শক্তি উত্পন্ন হয় না, তবে এটি এখানে প্রাসঙ্গিক নয়)। এখন, ধরুন আমার আমার উইন্ড টারবাইন থেকে পাওয়ার এবং বায়ুর গতির ডেটার একটি অসীম ডাটাবেস আছে। আমি যতটা আকারের চাই, আমি যতগুলি নমুনা আঁকতে পারি। ধরুন আমি ১০০ টি আকারের প্রতিটি 1000 টি নমুনা এবং গণনা , এমএলই অনুমান করি $P$ $V$ $\beta_0$ $\hat{\boldsymbol{\beta}}_{100}$ $\boldsymbol{\beta}=(\beta_0,\beta_1,\beta_2)$ (যা আমার মডেলের অধীনে কেবল ওএলএস অনুমান হবে)। আমি এইভাবে বিতরণের 1000 নমুনা আছে $\hat{\boldsymbol{\beta}}_{100}$ । আমি দিয়ে অনুশীলনটি পুনরাবৃত্তি করতে পারি $N=500,1000,1500,\dots$ । হিসাবে $N\to\infty$ , বিতরণের উচিত $\hat{\boldsymbol{\beta}}_{N}$ বিবৃত গড় এবং ভ্যারিয়েন্স সঙ্গে এসিম্পটোটিকভাবে স্বাভাবিক, হতে থাকে? বা মডেলটি ভুল হওয়ার বিষয়টি কী এই ফলাফলটিকে অকার্যকর করে?

আমি জিজ্ঞাসার কারণটি হ'ল অ্যাপ্লিকেশনগুলিতে খুব কমই (যদি কখনও হয়) মডেল "সত্য"। মডেলটি সত্য না হলে যদি এমএলই-এর অ্যাসিপটোটিক বৈশিষ্ট্যগুলি হারিয়ে যায়, তবে বিভিন্ন অনুমানের নীতিগুলি ব্যবহার করা বোধগম্য হতে পারে, যা মডেলটি সঠিক যেখানে সেটিংয়ে কম শক্তিশালী হয়, অন্য ক্ষেত্রে এমএলইয়ের চেয়ে আরও ভাল অভিনয় করতে পারে।

সম্পাদনা : এটি মন্তব্যে উল্লেখ করা হয়েছিল যে সত্য মডেলের ধারণাটি সমস্যাযুক্ত হতে পারে। আমি মনে নিম্নলিখিত সংজ্ঞা ছিল: মডেলের একটি পরিবার প্রদত্ত প্যারামিটার ভেক্টর দ্বারা indicized , পরিবার প্রতিটি মডেল জন্য সবসময় আপনি যা করতে পারেন লেখ $f_{\boldsymbol{\theta}}(x)$ $\boldsymbol{\theta}$

$Y=f_{\boldsymbol{\theta}}(X)+\epsilon$

simply কেবল হিসাবে সংজ্ঞায়িত করে । তবে, সাধারণভাবে ত্রুটিটি অরথোগোনাল হবে না , এর অর্থ 0 হবে এবং এটি অবশ্যই বিতরণটি মডেলটির বংশোদ্ভূত হিসাবে গ্রহণ করবে না। অস্তিত্ব থাকে একটি মান যেমন যে এই দুটি বৈশিষ্ট্য, সেইসাথে অধিকৃত বন্টন আছে, আমি বলতে হবে মডেল সত্য। আমি মনে করি এটি সরাসরি বলার সাথে সম্পর্কিত , কারণ পচনের ক্ষেত্রে ত্রুটি শব্দটি $\epsilon$ $Y-f_{\boldsymbol{\theta}}(X)$ $X$ $\boldsymbol{\theta_0}$ $\epsilon$ $f_{\boldsymbol{\theta_0}}(X)=E[Y|X]$

$Y=E[Y|X]+\epsilon$

উপরে উল্লিখিত দুটি বৈশিষ্ট্য রয়েছে।

maximum-likelihood model asymptotics

— DeltaIV
সূত্র

মডেলটি সত্য না হলেও এমএলই অনুমান প্রায়শই অসম্পূর্ণভাবে স্বাভাবিক হয়, উদাহরণস্বরূপ, এটি "সর্বনিম্ন মিথ্যা" পরামিতি মানগুলির জন্য সামঞ্জস্যপূর্ণ হতে পারে। তবে এই জাতীয় ক্ষেত্রে দক্ষতা বা অন্যান্য অনুকূল বৈশিষ্ট্যগুলি দেখাতে অসুবিধা হবে।

— কেজেটিল বি হালওয়ারসেন

দক্ষতার আগে আমাদের ধারাবাহিকতার দিকে নজর দেওয়া উচিত। একটি দৃশ্যে যখন সত্য আপনার অনুসন্ধানের জায়গাতে না থাকে আমাদের ধারাবাহিকতার একটি আলাদা সংজ্ঞা প্রয়োজন যেমন: ডি (পি *, পি), যেখানে ডি একটি বিচ্যুতি হয় পি * ডি এর দিক থেকে নিকটতম মডেল, এবং পি সত্য হয়। যখন ডি কেএল ডাইভার্জেন হয় (যা এমএলই হ্রাস করছে) উদাহরণস্বরূপ জানা যায় যে মডেল উত্তল না হলে বায়েশিয়ান পদ্ধতিগুলি বেমানান (নিকটতম মডেলটিতে পৌঁছাতে পারে না)। অতএব আমি ধরে নেব যে এমএলই এছাড়াও বেমানান হবে। সুতরাং দক্ষতা অসুস্থ সংজ্ঞায়িত হয়। homepage.tudelft.nl/19j49/benelearn/papers/Paper_Grunwald.pdf

— Cagdas Ozgenc

@ ক্যাগডাস ওজজেঙ্ক: অনেক ক্ষেত্রে (যেমন লজিস্টিক রিগ্রেশন) এমএলই "ন্যূনতম মিথ্যা" পরামিতিগুলির জন্য এখনও সামঞ্জস্যপূর্ণ। ননকনভেক্স ক্ষেত্রে আপনার অসামঞ্জস্যতা সম্পর্কে আপনার দাবির জন্য কোনও উল্লেখ রয়েছে? খুব আগ্রহী হবে? (লজিস্টিক রিগ্রেশনের সম্ভাবনা ফাংশন উত্তল)

— কেজিটিল বি হালওয়ারসেন

@kjetilbhalvorsen homepages.cwi.nl/~pdg/ftp/inconsistency.pdf এটা আমার মাথার উপর উপায়, কিন্তু এটা আমি বুঝতে হয়। যদি আমার বোঝাপড়াটি মিথ্যা হয় তবে দয়া করে আমাকে সংশোধন করুন। আমি সব পরে শুধু একটি শখের।

— ক্যাগডাস ওজজেনেক

আমি মনে করি যখন আমরা "মডেলটি সত্য" বা "সর্বনিম্ন মিথ্যা" এর মতো শব্দ ব্যবহার করি তখন আমরা সমস্যায় পড়ি। অনুশীলনে মডেলগুলির সাথে কাজ করার সময় তারা সমস্ত আনুমানিক। আমরা যদি কিছু অনুমান করি তবে আমরা পরিসংখ্যানগত বৈশিষ্ট্যগুলি দেখানোর জন্য গণিত ব্যবহার করতে পারি। সম্ভাবনার গণিত এবং ব্যবহারিক ডেটা বিশ্লেষণের মধ্যে এখানে সর্বদা একটি দ্বন্দ্ব রয়েছে।

— মাইকেল আর। চেরনিক

আমি বিশ্বাস করি না যে এই প্রশ্নের একক উত্তর আছে।

সর্বাধিক সম্ভাবনার প্রাক্কলন প্রয়োগ করার সময় আমরা সম্ভাব্য বন্টনমূলক অপব্যবহারের বিষয়টি বিবেচনা করি, তখন আমরা "কোয়াসি-সর্বাধিক সম্ভাবনা" অনুমানকারী (কিউএমএল) বলে থাকি। কিছু ক্ষেত্রে QMLE উভয়ই সামঞ্জস্যপূর্ণ এবং অ্যাসিপোটোটিকভাবে স্বাভাবিক।

এটি যা নিশ্চিততার সাথে হারায় তা হ'ল অ্যাসিপটোটিক দক্ষতা। এটি কারণ (এটি এমন পরিমাণ যা একটি y নয়, একটি asympotic বিতরণ রয়েছে ), সমস্ত ক্ষেত্রে, $\sqrt n (\hat \theta - \theta)$ $\hat \theta$

\begin{matrix} (1) & Avar [\sqrt{n} (\hat{θ} - θ)] = plim ([\hat{H}]^{- 1} [\hat{S} {\hat{S}}^{T}] [\hat{H}]^{- 1}) \end{matrix}

$\text{Avar}[\sqrt n (\hat \theta - \theta)] = \text{plim}\Big( [\hat H]^{-1}[\hat S \hat S^T][\hat H]^{-1}\Big) \tag{1}$

যেখানে লগ-সম্ভাবনার হেসিয়ান ম্যাট্রিক্স এবং হ'ল গ্রেডিয়েন্ট এবং টুপিটি নমুনা অনুমানকে নির্দেশ করে। $H$ $S$

এখন, যদি আমাদের সঠিক স্পেসিফিকেশন থাকে তবে আমরা প্রথমে এটি পাই

\begin{matrix} (2) & Avar [\sqrt{n} (\hat{θ} - θ)] = (E [H_{0}])^{- 1} E [S_{0} S_{0}^{T}] (E [H_{0}])^{- 1} \end{matrix}

$\text{Avar}[\sqrt n (\hat \theta - \theta)] = (\mathbb E[H_0])^{-1}\mathbb E[S_0S_0^T](\mathbb E[H_0])^{-1} \tag{2}$

যেখানে " " সাবস্ক্রিপ্ট সত্য প্যারামিটারগুলিতে মূল্যায়ন বোঝায় (এবং নোট করুন যে মধ্যবর্তী শব্দটি ফিশারের তথ্যের সংজ্ঞা) এবং দ্বিতীয়টি, " ইনফরমেশন ম্যাট্রিক্স সমতা " ধারণ করে এবং বলেছে যে , যার অর্থ বৈকল্পিকতা অবশেষে হবে $0$ $-\mathbb E[H_0] = \mathbb E[S_0S_0^T]$

\begin{matrix} (3) & Avar [\sqrt{n} (\hat{θ} - θ)] = - (E [H_{0}])^{- 1} \end{matrix}

$\text{Avar}[\sqrt n (\hat \theta - \theta)] = -(\mathbb E[H_0])^{-1} \tag{3}$

যা ফিশারের তথ্যের বিপরীত।

তবে আমাদের যদি ভুল বানান থাকে তবে প্রকাশ প্রকাশের বাড়ে না (কারণ এর প্রথম এবং দ্বিতীয় ডেরিভেটিভসগুলি ভুল সম্ভাবনার ভিত্তিতে উদ্ভূত হয়েছে)। এর পরিবর্তে সূচিত হয় যে তথ্য ম্যাট্রিক্সের বৈষম্য ধারণ করে না, যে আমরা এক্সপ্রেশন শেষ করি না এবং (Q) এমএলই সম্পূর্ণ অসম্পূর্ণ দক্ষতা অর্জন করে না। $(1)$ $(2)$ $(1)$ $(3)$

— আলেকোস পাপাদোপল্লোস
সূত্র

Avar

$\text{Avar}$ এলোমেলো পরিবর্তনশীলের অ্যাসিম্পোটিক বৈকল্পিক, এবং সম্ভাবনার ক্ষেত্রে জন্য দাঁড়িয়েছে, তাই না? আপনার উত্তর খুব আকর্ষণীয় মনে হলেও আমি বুঝতে পারছি না কি আপনার প্রসঙ্গে হয়। আমি এমন একটি ক্ষেত্রে উল্লেখ করছিলাম যেখানে সঠিক মানটি কেবল বিদ্যমান না: আমার বায়ু টারবাইন উদাহরণ দেখুন, যেখানে এর মান যাই হোক না কেন , নেই is মানটি মডেলটিকে সঠিক করে তোলে কারণ কোনও পদ নেই এবং এর সাথে সম্পর্কিত অন্যান্য ভবিষ্যদ্বাণী অনুপস্থিত। এই প্রসঙ্গে বলতে কী বোঝায়?

plim

$\text{plim}$

θ

$\theta$

θ

$\theta$

β = (β_{0}, β_{1}, β_{2})

$\boldsymbol{\beta}=(\beta_0,\beta_1,\beta_2)$

β_{3}

$\beta_3$

V

$V$

θ

$\theta$

— ডেলটাইভ

দুঃখিত, আমার মন্তব্যের প্রথম সংস্করণটি বোধগম্য ছিল: এখন আমার বক্তব্যটি পরিষ্কার হওয়া উচিত। অন্য কথায়, "সত্য" , we অভিব্যক্তিতে we হিসাবে আমাদের কী ব্যাখ্যা করা উচিত ?

θ

$\theta$

θ

$\theta$

\sqrt{n} (\hat{θ} - θ)

$\sqrt n (\hat \theta - \theta)$

— ডেল্টাভ

@ দেলতাভ জিরো কিউএমএলই "এই" ধরবে? এটি নির্ভর করে যে এটি সামঞ্জস্যপূর্ণ হবে বা না আবারও

— আলেকোস পাপাদোপল্লোস

আমি বুঝেছি. সুতরাং কিউএমএলইএর (যদি সামঞ্জস্যপূর্ণ হয়) থেইটা রূপান্তর করা উচিত : আমি ভেবেছি এটি @Kjetilbhalvorsen এর পরামর্শ অনুসারে কিছু "কমপক্ষে মিথ্যা" পরামিতি মানের রূপান্তর করবে। আপনি কিউএমএলএল এবং আপনার লিখেছেন সমীকরণ সম্পর্কে কোনও রেফারেন্স বলতে পারেন? ধন্যবাদ

θ = 0

$\theta=0$

— ডেল্টাভ

@ দেলতাভ আমি হায়াসি সিএইচ-তে প্রকাশের পরামর্শ দেব। এমএলইর ধারাবাহিকতা, স্বাভাবিকতা ইত্যাদি সম্পর্কে 7 এক্সট্রিমাম এস্টিমেটারগুলি সম্পর্কে QMLE সম্পর্কিত বিষয়টি বরং বিস্তৃত। উদাহরণস্বরূপ, "কিউএমএলই" এর অধীনে আমাদের সত্যই এমন পরিস্থিতি থাকতে পারে যেখানে আমরা শুরু থেকেই স্বীকার করি যে আমরা যে পরামিতিগুলি অনুমান করছি তার কোনও "সত্য পরামিতি" এর সাথে সুস্পষ্ট সংযোগ থাকতে পারে না (তবে অনুশীলনটি এখনও আনুমানিক হিসাবে বৈধ) valid এবং সুতরাং প্রস্তাবিত হিসাবে "সর্বনিম্ন মিথ্যা" ভেক্টর পান।

— অ্যালেকোস পাপাদোপল্লো