ফিশার ইনফরমেশন ম্যাট্রিক্স পজিটিভ সেমাইডেফিনাইট কেন?

যাক । ফিশার ইনফরমেশন ম্যাট্রিক্স হিসাবে সংজ্ঞায়িত করা হয়েছে: $\theta \in R^{n}$

I (θ)_{i, j} = - E [\frac{\partial^{2} \log (f (X | θ))}{\partial θ_{i} \partial θ_{j}} | θ]

$I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right]$

আমি কীভাবে ফিশার ইনফরমেশন ম্যাট্রিক্সকে ইতিবাচক অর্ধ-চূড়ান্ত প্রমাণ করতে পারি?

inference linear-algebra fisher-information

— madprob
সূত্র

এটি নিজেই স্কোরের একটি বাহ্যিক পণ্যের প্রত্যাশিত মান নয়?

— নিল জি

এটি দেখুন: http://en.wikedia.org/wiki/Fisher_information#Matrix_form

সংজ্ঞা থেকে, আমরা আছে

I_{i j} = E_{θ} [(\partial_{i} \log f_{X ∣ Θ} (X ∣ θ)) (\partial_{j} \log f_{X ∣ Θ} (X ∣ θ))],

$I_{ij} = \mathrm{E}_\theta \left[ \left(\partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\partial_j \log f_{X\mid\Theta}(X\mid\theta)\right)\right] \, ,$ জন্য , যা

।

for এর জন্য আপনার অভিব্যক্তি নিয়মিততা শর্তাদির অধীনে এটি থেকে অনুসরণ করে।

i, j = 1, \dots, k

$i,j=1,\dots,k$

\partial_{i} = \partial / \partial θ_{i}

$\partial_i=\partial /\partial \theta_i$

I_{i j}

$I_{ij}$

Non $u = (u_1,\dots,u_k)^\top\in\mathbb{R}^n$ একটি ননাল ভেক্টর , এটি প্রত্যাশার থেকে অনুসরণ করে যে

Σ_{আমি, ঞ = 1}^{ট} {তোমার দর্শন লগ করা}_{আমি} {আমি}_{আমি ঞ} {তোমার দর্শন লগ করা}_{ঞ} = Σ_{আমি, ঞ = 1}^{ট} ({তোমার দর্শন লগ করা}_{আমি} ই_{θ} [(\partial_{আমি} লগ চ_{এক্স | Θ} (এক্স | θ)) (\partial_{ঞ} লগ চ_{এক্স | Θ} (এক্স | θ))] {তোমার দর্শন লগ করা}_{ঞ}) = ই_{θ} [(Σ_{আমি = 1}^{ট} {তোমার দর্শন লগ করা}_{আমি} \partial_{আমি} লগ চ_{এক্স | Θ} (এক্স | θ)) (Σ_{ঞ = 1}^{ট} {তোমার দর্শন লগ করা}_{ঞ} \partial_{ঞ} লগ চ_{এক্স | Θ} (এক্স | θ))] = ই_{θ} [{(Σ_{আমি = 1}^{ট} {তোমার দর্শন লগ করা}_{আমি} \partial_{আমি} লগ চ_{এক্স | Θ} (এক্স | θ))}^{2}] \geq 0 ।

$\sum_{i,j=1}^k u_i I_{ij} u_j = \sum_{i,j=1}^k \left( u_i \mathrm{E}_\theta \left[ \left(\partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\partial_j \log f_{X\mid\Theta}(X\mid\theta)\right)\right] u_j \right) \\ = \mathrm{E}_\theta \left[ \left(\sum_{i=1}^k u_i \partial_i \log f_{X\mid\Theta}(X\mid\theta)\right) \left(\sum_{j=1}^k u_j \partial_j \log f_{X\mid\Theta} (X\mid\theta)\right)\right] \\ = \mathrm{E}_\theta \left[ \left(\sum_{i=1}^k u_i \partial_i \log f_{X\mid\Theta}(X\mid\theta)\right)^2 \right] \geq 0 \, .$

যদি এই উপাদান অনুসারে স্বরলিপিটি খুব কুৎসিত হয় তবে মনে রাখবেন যে ফিশার ইনফরমেশন ম্যাট্রিক্স লিখতে পারেন , এতে স্কোর ভেক্টর হিসাবে চিহ্নিত করা হয়েছে $H=(I_{ij})$ $H = \mathrm{E}_\theta\left[S S^\top\right]$ $S$

এস = {(\partial_{1} লগ চ_{এক্স | Θ} (এক্স | θ), ..., \partial_{ট} লগ চ_{এক্স | Θ} (এক্স | θ))}^{⊤} ।

$S = \left( \partial_1 \log f_{X\mid\Theta}(X\mid\theta), \dots, \partial_k \log f_{X\mid\Theta}(X\mid\theta) \right)^\top \, .$

অতএব, আমাদের কাছে ওয়ান-লাইনার

{তোমার দর্শন লগ করা}^{⊤} এইচ তোমার দর্শন লগ করা = {তোমার দর্শন লগ করা}^{⊤} ই_{θ} [এস {এস}^{⊤}] তোমার দর্শন লগ করা = ই_{θ} [{তোমার দর্শন লগ করা}^{⊤} এস {এস}^{⊤} তোমার দর্শন লগ করা] = ই_{θ} [| | {এস}^{⊤} তোমার দর্শন লগ করা | |^{2}] \geq 0।

$u^\top H u = u^\top \mathrm{E}_\theta[S S^\top] u = \mathrm{E}_\theta[u^\top S S^\top u] = \mathrm{E}_\theta\left[|| S^\top u ||^2\right] \geq 0.$

— জেন
সূত্র

(+1) ভাল উত্তর এবং স্বাগতম, জেন। আমি উদ্বিগ্ন হয়ে পড়ছিলাম যে আমরা আপনাকে স্থায়ীভাবে আপনার ব্যবধানের দৈর্ঘ্যের পরে হারিয়ে ফেলতে পারি। সত্যিই লজ্জা হত!

— কার্ডিনাল

সতর্কতা: সাধারণ উত্তর নয়!

যদি একটি সম্পূর্ণ-র‌্যাঙ্কের তাত্পর্যপূর্ণ পরিবারটির সাথে সম্পর্কিত হয়, তবে লগ-সম্ভাবনার নেতিবাচক হেসিয়ান হ'ল যথেষ্ট পরিসংখ্যানের কোভারিয়েন্স ম্যাট্রিক্স। কোভারিয়েন্স ম্যাট্রিক্স সর্বদা ইতিবাচক আধা-নির্দিষ্ট। যেহেতু ফিশার তথ্য হ'ল ধনাত্মক আধা-নির্দিষ্ট ম্যাট্রিকগুলির সংমিশ্রণ, তাই এটি অবশ্যই ইতিবাচক আধা-নির্দিষ্ট হতে হবে। $f(X|\theta)$

— gusl
সূত্র