ফিশার ইনফরমেশন ম্যাট্রিক্স এবং হেসিয়ান এবং স্ট্যান্ডার্ড ত্রুটির সাথে সম্পর্ক সম্পর্কিত প্রাথমিক প্রশ্ন

54

ঠিক আছে, এটি বেশ বেসিক প্রশ্ন, তবে আমি কিছুটা বিভ্রান্ত হয়ে পড়েছি। আমার থিসিসে আমি লিখি:

(পর্যবেক্ষণ) ফিশার ইনফরমেশন ম্যাট্রিক্সের তির্যক উপাদানগুলির বর্গমূলের বিপরীত গণনা করে স্ট্যান্ডার্ড ত্রুটিগুলি পাওয়া যায়:

যেহেতু দ অপ্টিমাইজেশান কমান্ড ছোট(উদযাপিত) ফিশার তথ্য ম্যাট্রিক্স চট বিপরীত গণনা করে পাওয়া যাবে:

\begin{aligned} s_{\hat{μ}, {\hat{σ}}^{2}} = \frac{1}{\sqrt{I (\hat{μ}, {\hat{σ}}^{2})}} \end{aligned}

$\begin{align*} s_{\hat{\mu},\hat{\sigma}^2}=\frac{1}{\sqrt{\mathbf{I}(\hat{\mu},\hat{\sigma}^2)}} \end{align*}$

- \log L

$-\log\mathcal{L}$

\begin{aligned} I (\hat{μ}, {\hat{σ}}^{2}) = H^{- 1} \end{aligned}

$\begin{align*} \mathbf{I}(\hat{\mu},\hat{\sigma}^2)=\mathbf{H}^{-1} \end{align*}$

আমার মূল প্রশ্ন: আমি যা বলছি এটি কি সঠিক ?

আমি কিছুটা বিভ্রান্ত হয়ে পড়েছি, কারণ this পৃষ্ঠায় এই উত্সটিতে বলা হয়েছে:

ইনফরমেশন ম্যাট্রিক্স হেসিয়ান ম্যাট্রিক্সের প্রত্যাশিত মানের নেতিবাচক

(সুতরাং হেসিয়ান কোনও বিপরীত।)

এই যেখানে উৎস পৃষ্ঠা 7 (পাদটীকা 5) এটা বলেছেন করুন:

$(-H)^{-1}$

(সুতরাং এখানে বিপরীত।)

আমি বিয়োগ চিহ্নটি সম্পর্কে সচেতন এবং কখন এটি ব্যবহার করব এবং কখন নয় তবে কেন বিপরীতমুখী হওয়ার ক্ষেত্রে পার্থক্য রয়েছে বা নেই?

maximum-likelihood fisher-information

— জেন বোহোল্ড
সূত্র

@COOLSerdash আপনার সংশোধন এবং +1 এর জন্য ধন্যবাদ, তবে এই উত্স: unc.edu/~monogan/compting/r/MLE_in_R.pdf পৃষ্ঠা 7 পরিষ্কারভাবে বলেছে যে পর্যবেক্ষিত ফিশার তথ্য হেসিয়ানের ইনভারসের সমান?

— জেন বোহল্ড

@COOLSerdash ঠিক আছে, আপনি এটি একটি উত্তর হিসাবে পোস্ট করতে পারেন।

— জেন বোহল্ড

75

ইউদি পাভিটান তাঁর সমস্ত সম্ভাবনা বইয়ে লিখেছেন যে সর্বাধিক সম্ভাবনার প্রাক্কলন অনুসারে লগ-সম্ভাবনার দ্বিতীয় ডেরাইভেটিভ (এমএলই) হ'ল পর্যবেক্ষণ করা ফিশারের তথ্য ( এই নথিটিও পৃষ্ঠা 2 দেখুন)। এই ঠিক কি মত সবচেয়ে অপ্টিমাইজেশান আলগোরিদিম হয় optimমধ্যে Rচট MLE এ মূল্যায়ন: ফিরে। যখন নেতিবাচকলগ-সম্ভাবনা হ্রাস করা হয়, নেতিবাচক হেসিয়ান ফিরে আসে। আপনি যেমনটি সঠিকভাবে উল্লেখ করেছেন, এমএলইর আনুমানিক মান ত্রুটিগুলি পর্যবেক্ষিত ফিশার তথ্য ম্যাট্রিক্সের বিপরীতটির তির্যক উপাদানগুলির বর্গাকার শিকড়। অন্য কথায়: হেসিয়ান (বা নেতিবাচক essণাত্মক) এর বিপরীতের তির্যক উপাদানগুলির বর্গাকার শিকড়গুলি আনুমানিক স্ট্যান্ডার্ড ত্রুটি।

সারাংশ

এমএলইতে মূল্যায়ন করা নেতিবাচক হেসিয়ান এমএলইতে পর্যবেক্ষণ করা ফিশার তথ্য ম্যাট্রিক্সের সমান same
আপনার মূল প্রশ্নটি সম্পর্কে: না, এটি সঠিক নয় যে পর্যবেক্ষণ করা ফিশারের তথ্য (নেতিবাচক) হেসিয়ানকে উল্টিয়ে খুঁজে পাওয়া যায়।
আপনার দ্বিতীয় প্রশ্নটি সম্পর্কে: হেসিয়ান ইনভার্স (নেতিবাচক) হ'ল asympotic covariance ম্যাট্রিক্সের একটি অনুমানকারী। সুতরাং, কোভেরিয়েন্স ম্যাট্রিক্সের তির্যক উপাদানগুলির বর্গাকার শিকড়গুলি স্ট্যান্ডার্ড ত্রুটির অনুমানকারী।
আমি মনে করি যে দ্বিতীয় দস্তাবেজের সাথে আপনি লিঙ্ক করেছেন এটি ভুল হয়েছে।

আনুষ্ঠানিকভাবে

$l(\theta)$ $\mathbf{I}(\theta)$ $(p\times p)$

I (θ) = - \frac{\partial^{2}}{\partial θ_{i} \partial θ_{j}} l (θ), 1 \leq i, j \leq p

$\mathbf{I}(\theta)=-\frac{\partial^{2}}{\partial\theta_{i}\partial\theta_{j}}l(\theta),~~~~ 1\leq i, j\leq p$

I ({\hat{θ}}_{M L})

$\mathbf{I}(\hat{\theta}_{\mathrm{ML}})$

H (θ) = \frac{\partial^{2}}{\partial θ_{i} \partial θ_{j}} l (θ), 1 \leq i, j \leq p

$\mathbf{H}(\theta)=\frac{\partial^{2}}{\partial\theta_{i}\partial\theta_{j}}l(\theta),~~~~ 1\leq i, j\leq p$

V a r ({\hat{θ}}_{M L}) = [I ({\hat{θ}}_{M L})]^{- 1}

$\mathrm{Var}(\hat{\theta}_{\mathrm{ML}})=[\mathbf{I}(\hat{\theta}_{\mathrm{ML}})]^{-1}$

{\hat{θ}}_{M L} \overset{a}{\sim} N (θ_{0}, [I ({\hat{θ}}_{M L})]^{- 1})

$\hat{\theta}_{\mathrm{ML}}\stackrel{a}{\sim}\mathcal{N}\left(\theta_{0}, [\mathbf{I}(\hat{\theta}_{\mathrm{ML}})]^{-1}\right)$

θ_{0}

$\theta_{0}$

S E ({\hat{θ}}_{M L}) = \frac{1}{\sqrt{I ({\hat{θ}}_{M L})}}

$\mathrm{SE}(\hat{\theta}_{\mathrm{ML}})=\frac{1}{\sqrt{\mathbf{I}(\hat{\theta}_{\mathrm{ML}})}}$

— COOLSerdash
সূত্র

1

"যখন নেতিবাচক লগ-সম্ভাবনা হ্রাস করা হয় " (বা অনুকূলিত ) বলা উচিত।

— সিএমও

8

I (θ) = E I (θ)

$\mathcal{I}(\theta)=\operatorname{E}I(\theta)$

I (θ)

$I(\theta)$

θ

$\theta$

I (θ) = I (θ)

$\mathcal{I}(\theta)=I(\theta)$

— স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

6

সম্ভাবনা ফাংশনগুলি অনুমান করা দ্বি-পদক্ষেপ প্রক্রিয়াতে জড়িত।

প্রথমত, একটি লগ-সম্ভাবনা ফাংশন ঘোষণা করে। তারপরে একটি লগ-সম্ভাবনা ফাংশন অনুকূল করে তোলে। সেটা ঠিক আছে.

$-1*l$ $l$

$(-H)^-1$

— অ্যাডেলিনো মার্টিনস
সূত্র