ফিশার মেট্রিক এবং আপেক্ষিক এনট্রপির মধ্যে সংযোগ

20

কেউ কি বিশুদ্ধ গাণিতিক কঠোর উপায়ে ফিশার তথ্য মেট্রিক এবং আপেক্ষিক এনট্রপি (বা কেএল ডাইভারজেন্স) এর মধ্যে নিম্নলিখিত সংযোগটি প্রমাণ করতে পারেন ?

D (p (\cdot, a + d a) ∥ p (\cdot, a)) = \frac{1}{2} g_{i, j} d a^{i} d a^{j} + (O (‖ d a ‖^{3})

$D( p(\cdot , a+da) \parallel p(\cdot,a) ) =\frac{1}{2} g_{i,j} \, da^i \, da^j + (O( \|da\|^3)$ যেখানে

a = (a^{1}, \dots, a^{n}), d a = (d a^{1}, \dots, d a^{n})

$a=(a^1,\dots, a^n), da=(da^1,\dots,da^n)$ ,

g_{i, j} = \int \partial_{i} (\log p (x; a)) \partial_{j} (\log p (x; a)) p (x; a) d x

$g_{i,j}=\int \partial_i (\log p(x;a)) \partial_j(\log p(x;a))~ p(x;a)~dx$

,

এবং

g_{i, j} d a^{i} d a^{j} := \sum_{i, j} g_{i, j} d a^{i} d a^{j}

$g_{i,j} \, da^i \, da^j := \sum_{i,j}g_{i,j} \, da^i \, da^j$ হলেন আইনস্টাইন শীর্ষ সম্মেলন।

জন বায়েজের সুন্দর ব্লগে আমি উপরেরটি পেয়েছি যেখানে ভ্যাসিলিওস অ্যানগনোস্টোপলাস মন্তব্যগুলিতে সে সম্পর্কে বলেছেন।

mathematical-statistics kullback-leibler fisher-information

— কুমারা
সূত্র

1

প্রিয় কুমারা: নির্মল জন্য, এটি ভাল আপনার স্বরলিপি, নির্দিষ্টভাবে মানে ব্যাখ্যা করতে সাহায্য করবে

g_{i, j}

$g_{i,j}$ । এছাড়াও, আমি মনে করি আপনার অভিব্যক্তিটি ডিসপ্লে সমীকরণের ডান-হাতের প্রথম টার্মের সামনে

1 / 2

$1/2$ এর একটি ধ্রুবক গুণক অনুপস্থিত । নোট করুন যে কুলব্যাক নিজে ডাইভারজেন্সকে বলেছেন (

J (\cdot, \cdot)

$J(\cdot,\cdot)$ ) কে কে ডাইভারজেন, অর্থাৎ

সমমিত সংস্করণ বলে

J (p, q) = D (p ‖ q) + D (q ‖ p)

$J(p,q) = D(p \| q) + D(q \| p)$ । কুলব্যাকের লেখায় কেএল ডাইভারজেন্সকে

I (\cdot, \cdot)

$I(\cdot,\cdot)$ বোঝানো হয়েছিল। এটি পাশাপাশি

এর

ব্যাখ্যা করে

1 / 2

$1/2$ । চিয়ার্স।

— কার্ডিনাল

19

1946 সালে, জিওফিজিসিস্ট এবং বায়সিয়ান পরিসংখ্যানবিদ হ্যারল্ড জেফরিস আজকে আমরা কুলব্যাক-লেবলার বিচ্যুতি বলে পরিচয় করিয়ে দিয়েছি এবং আবিষ্কার করেছেন যে দুটি বিতরণের জন্য যা "অসীম কাছাকাছি" রয়েছে (আসুন আশা করা যাক ম্যাথ এসই ছেলেরা এটি দেখতে পাবে না ;-) আমরা লিখতে পারি তাদের কুলব্যাক-লেবেলার বিচ্যুতিটি একটি চতুর্ভুজ রূপ হিসাবে পরিবর্তিত হয়েছে যার গুণাগুণগুলি ফিশার তথ্য ম্যাট্রিক্সের উপাদানগুলি দিয়েছিল। তিনি এই চতুষ্কোণ রূপটি রিমন্নিয়ান বহুগুণ দৈর্ঘ্যের উপাদান হিসাবে ব্যাখ্যা করেছিলেন, ফিশারের তথ্যটি রিমানিয়ান মেট্রিকের ভূমিকা পালন করে। পরিসংখ্যানগত মডেলটির এই জ্যামিতিকরণ থেকে তিনি জেফ্রিয়াসের প্রাকৃতিকভাবে রিমনিয়ান মেট্রিকের দ্বারা উত্পন্ন পদক্ষেপ হিসাবে প্রাপ্ত হন এবং এই পরিমাপটি বহুগুণে একটি স্বতন্ত্র ইউনিফর্ম বিতরণ হিসাবে ব্যাখ্যা করা যায়, যদিও সাধারণভাবে এটি কোনও সীমাবদ্ধ পরিমাপ নয়।

একটি কঠোর প্রমাণ লিখতে, আপনাকে নিয়মিততার সমস্ত শর্তগুলি খুঁজে বের করতে হবে এবং টেলর বিস্তারে ত্রুটি শর্তগুলির ক্রমটি যত্ন সহকারে নিতে হবে। এখানে যুক্তিটির একটি সংক্ষিপ্ত চিত্র

দুটি ঘনত্বের এবং মধ্যে প্রতিসাম্যিক কুলব্যাক-লেবেলার বিভাজনকে সংজ্ঞায়িত করা হয়েছে $f$ $g$

ডি [চ, ছ] = \int (চ (এক্স) - ছ (এক্স)) লগ (\frac{চ (এক্স)}{ছ (এক্স)}) ঘ এক্স ।

$D[f,g] = \int (f(x) - g(x)) \log\left(\frac{f(x)}{g(x)} \right) dx \, .$

আমাদের যদি ঘনত্বের একটি পরিবার থাকে দ্বারা প্যারামিটারাইজড , তবে $\theta=(\theta_1,\dots,\theta_k)$

D [p (\cdot ∣ θ), p (\cdot ∣ θ + Δ θ)] = \int (p (x, ∣ θ) - p (x ∣ θ + Δ θ)) \log (\frac{p (x ∣ θ)}{p (x ∣ θ + Δ θ)}) d x,

$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] = \int ( p(x,\mid\theta) - p(x\mid\theta + \Delta\theta)) \log\left( \frac{p(x\mid\theta)}{p(x\mid\theta + \Delta\theta)}\right) \,dx \, ,$ যার মধ্যে । স্বরলিপিটি পরিচয় করিয়ে দিচ্ছি কিছু সাধারণ বীজগণিত প্রাকৃতিক লোগারিদমের জন্য টেলর সম্প্রসারণ ব্যবহার করে, আমাদের কাছে রয়েছে

Δ θ = (Δ θ_{1}, \dots, Δ θ_{k})

$\Delta\theta=(\Delta\theta_1,\dots,\Delta\theta_k)$

Δ p (x ∣ θ) = p (x ∣ θ) - p (x ∣ θ + Δ θ),

$\Delta p(x\mid\theta) = p(x\mid\theta) - p(x\mid\theta + \Delta\theta) \, ,$

D [p (\cdot ∣ θ), p (\cdot ∣ θ + Δ θ)] = \int \frac{Δ p (x ∣ θ)}{p (x ∣ θ)} \log (1 + \frac{Δ p (x ∣ θ)}{p (x ∣ θ)}) p (x ∣ θ) d x .

$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] = \int\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)p(x\mid\theta)\,dx \, .$

\log (1 + + \frac{Δ পি (এক্স | θ)}{পি (এক্স | θ)}) \approx \frac{Δ পি (এক্স | θ)}{পি (এক্স | θ)},

$\log\left(1+\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right) \approx \frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \, ,$ এবং তাই তবে সুতরাং যা

ডি [পি (\cdot | θ), পি (\cdot | θ + + Δ θ)] \approx \int {(\frac{Δ পি (এক্স | θ)}{পি (এক্স | θ)})}^{2} পি (এক্স | θ) ঘ এক্স ।

$D[p(\;\cdot\,\mid\theta), p(\;\cdot\,\mid\theta + \Delta\theta)] \approx \int\left(\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)}\right)^2p(x\mid\theta)\,dx \, .$

\frac{Δ পি (এক্স | θ)}{পি (এক্স | θ)} \approx \frac{1}{পি (এক্স | θ)} Σ_{আমি = 1}^{ট} \frac{\partial পি (এক্স | θ)}{\partial θ_{আমি}} Δ θ_{আমি} = Σ_{আমি = 1}^{ট} \frac{\partial লগ পি (এক্স | θ)}{\partial θ_{আমি}} Δ θ_{আমি} ।

$\frac{\Delta p(x\mid\theta)}{p(x\mid\theta)} \approx \frac{1}{p(x\mid\theta)} \sum_{i=1}^k \frac{\partial p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i = \sum_{i=1}^k \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \, \Delta\theta_i \, .$

ডি [পি (\cdot | θ), পি (\cdot | θ + + Δ θ)] \approx Σ_{আমি, ঞ = 1}^{ট} ছ_{আমি ঞ} Δ θ_{আমি} Δ θ_{ঞ},

$D[p(\,\cdot\,\mid\theta), p(\,\cdot\,\mid\theta + \Delta\theta)] \approx \sum_{i,j=1}^k g_{ij} \,\Delta\theta_i \, \Delta\theta_j \, ,$

ছ_{আমি ঞ} = \int \frac{\partial লগ পি (এক্স | θ)}{\partial θ_{আমি}} \frac{\partial লগ পি (এক্স | θ)}{\partial θ_{ঞ}} পি (এক্স | θ) ঘ এক্স ।

$g_{ij} = \int \frac{\partial \log p(x\mid\theta)}{\partial\theta_i} \frac{\partial \log p(x\mid\theta)}{\partial\theta_j} p(x\mid\theta) \,dx \, .$

এটিই মূল কাগজ:

জেফ্রি, এইচ। (1946) প্রাক্কলন সমস্যাগুলির পূর্ব সম্ভাবনার জন্য একটি আক্রমণকারী ফর্ম। Proc। রয়্যাল সোস লন্ডনের, সিরিজ এ, 186, 453–461।

— জেন
সূত্র

1

সুন্দর লেখার জন্য আপনাকে অনেক ধন্যবাদ। এটি চমৎকার হবে যদি আপনাকে সহায়তা করতে পারে হবে এই হিসাবে ভাল।

— কুমার

হ্যাঁ, আপনি ঠিক বলেছেন। আমাকে অবশ্যই এই "বিমূর্ত ফাঁদ" থেকে বেরিয়ে আসতে হবে।

— কুমার

@ জেন আপনি অবিচ্ছেদের অধীনে লোগারিদমের টেলর সম্প্রসারণটি ব্যবহার করছেন, কেন এটি বৈধ?

— সুস 20200

1

এটি অত্যন্ত গুরুত্বপূর্ণ বলে মনে হচ্ছে যে আপনি স্ট্যান্ডার্ড কেএল বিচরণের বিপরীতে প্রতিসৃত কেএল ডাইভারজেন্স দিয়ে শুরু করেছিলেন। উইকিপিডিয়া নিবন্ধটি প্রতিসম সংশ্লেষ সম্পর্কে কোনও উল্লেখ করে না, এবং এটি সম্ভবত ভুল হতে পারে। en.wikedia.org/wiki/Kullback%E2%80%93Leibler_diverncy

— সার্জিকাল কমান্ডার

11

সাধারণ (অ-প্রতিসাম্য) কেএল ডাইভার্জেন্সের প্রমাণ Pro

জেনের উত্তরটি প্রতিসৃত কেএল ডাইভারজেন্স ব্যবহার করে তবে ফলাফলটি স্বাভাবিক রূপের জন্যও ধারণ করে, কারণ এটি অসীম কাছাকাছি বিতরণের জন্য প্রতিসম হয়ে যায়।

এখানে স্কেলার থিয়েটা দ্বারা প্যারামিটারাইজড বিচ্ছিন্ন বিতরণের জন্য একটি প্রমাণ রয়েছে (কারণ আমি অলস), তবে ক্রমাগত বিতরণ বা পরামিতিগুলির একটি ভেক্টরের জন্য সহজেই আবার লিখিত হতে পারে: $\theta$

ডি ({পি}_{θ}, {পি}_{θ + + ঘ θ}) = Σ {পি}_{θ} লগ {পি}_{θ} - Σ {পি}_{θ} লগ {পি}_{θ + + ঘ θ} ।

$\begin{equation} D(p_\theta,p_{\theta+d\theta})=\sum p_\theta \log p_\theta - \sum p_\theta \log p_{\theta+d\theta}\ . \end{equation}$ শেষ শব্দটি টেলর-প্রসারণ: some কিছু নিয়মিততা ধরে নিয়ে আমি দুটি ফলাফল ব্যবহার করেছি:

= \underset{= 0}{\underset{⏟}{Σ {পি}_{θ} লগ {পি}_{θ} - Σ {পি}_{θ} লগ {পি}_{θ}}} - ঘ θ \underset{= 0 †}{\underset{⏟}{Σ {পি}_{θ} \frac{ঘ}{ঘ θ} লগ {পি}_{θ}}} - \frac{1}{2} {ঘ θ}^{2} \underset{= - Σ {পি}_{θ} (\frac{ঘ}{ঘ θ} লগ {পি}_{θ})^{2} ‡}{\underset{⏟}{Σ {পি}_{θ} \frac{ঘ^{2}}{ঘ θ^{2}} লগ {পি}_{θ}}} + + হে ({ঘ θ}^{3}) = \frac{1}{2} {ঘ θ}^{2} \underset{ফিশারের তথ্য}{\underset{⏟}{Σ {পি}_{θ} (\frac{ঘ}{ঘ θ} লগ {পি}_{θ})^{2}}} + + হে ({ঘ θ}^{3}) ।

$\begin{equation} = \underbrace{\sum p_\theta \log p_\theta - \sum p_\theta \log p_\theta}_{=\ 0} - d\theta \underbrace{\sum p_\theta \frac{d}{d\theta}\log p_\theta}_{=\ 0 \ \dagger} - \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta}_{= -\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2 \ \ddagger} + \mathcal{O}({d\theta}^3) \\ = \frac{1}{2}{d\theta}^2 \underbrace{\sum p_\theta (\frac{d}{d\theta}\log p_\theta)^2}_{\textrm{Fisher information}} + \mathcal{O}({d\theta}^3). \end{equation}$

† : Σ {পি}_{θ} \frac{ঘ}{ঘ θ} লগ {পি}_{θ} = Σ \frac{ঘ}{ঘ θ} {পি}_{θ} = \frac{ঘ}{ঘ θ} Σ {পি}_{θ} = 0,

$\begin{equation} \dagger: \sum p_\theta \frac{d}{d\theta}\log p_\theta = \sum \frac{d}{d\theta} p_\theta = \frac{d}{d\theta} \sum p_\theta =0, \end{equation}$

\begin{aligned} ‡ : Σ {পি}_{θ} \frac{ঘ^{2}}{ঘ θ^{2}} লগ {পি}_{θ} & = Σ {পি}_{θ} \frac{ঘ}{ঘ θ} (\frac{1}{{পি}_{θ}} \frac{ঘ {পি}_{θ}}{ঘ θ}) \\ = Σ {পি}_{θ} [\frac{1}{{পি}_{θ}} \frac{ঘ^{2} {পি}_{θ}}{ঘ θ} - (\frac{1}{{পি}_{θ}} \frac{ঘ {পি}_{θ}}{ঘ θ})^{2}] \\ = Σ \frac{ঘ^{2} {পি}_{θ}}{ঘ θ^{2}} - Σ {পি}_{θ} (\frac{1}{{পি}_{θ}} \frac{ঘ {পি}_{θ}}{ঘ θ})^{2} \\ = \underset{= 0}{\underset{⏟}{\frac{ঘ^{2}}{ঘ θ^{2}} Σ {পি}_{θ}}} - Σ {পি}_{θ} (\frac{ঘ}{ঘ θ} লগ {পি}_{θ})^{2} । \end{aligned}

$\begin{align} \ddagger: \sum p_\theta \frac{d^2}{d\theta^2}\log p_\theta &= \sum p_\theta \frac{d}{d\theta}(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta}) \\ &= \sum p_\theta \left[\frac{1}{p_\theta}\frac{d^2p_\theta}{d\theta}-(\frac{1}{p_\theta}\frac{dp_\theta}{d\theta})^2\right] \\ &= \sum \frac{d^2p_\theta}{d\theta^2} - \sum p_\theta (\frac{1}{p_\theta} \frac{dp_\theta}{d\theta})^2 \\ &= \underbrace{\frac{d^2}{d\theta^2} \sum p_\theta}_{=\ 0} - \sum {p_\theta} (\frac{d}{d\theta}\log p_\theta)^2. \end{align}$

— অভ্রনীল দাস
সূত্র

4

নিম্নলিখিত কাগজের সমীকরণ (3) এ আপনি একই জাতীয় সম্পর্ক (এক-মাত্রিক পরামিতির জন্য) সন্ধান করতে পারেন

ডি গুও (২০০৯), রিলেটিভ এন্ট্রপি এবং স্কোর ফাংশন: নতুন তথ্য Pr প্রোকের মধ্যে স্বেচ্ছাসেবক অ্যাডেটিভ পার্সটৌথুনির মাধ্যমে অনুমানের সম্পর্ক । আইইইই ইন্টারন্যাশনাল সিম্পোজিয়াম ইন ইনফরমেশন থিওরী , 814–818। ( স্থিতিশীল লিঙ্ক )

লেখকরা উল্লেখ করুন

এস। কুলব্যাক, তথ্য তত্ত্ব এবং পরিসংখ্যান । নিউ ইয়র্ক: ডোভার, 1968।

এই ফলাফলের প্রমাণের জন্য।

— প্রিমো কার্নেরা
সূত্র

1

সেই কাগজের সমীকরণের একটি বহু সংস্করণ (3) পৃষ্ঠা 27-28 পৃষ্ঠায় উদ্ধৃত কুলব্যাক পাঠ্যে প্রমাণিত। অবিচ্ছিন্ন মনে হয় ওপির প্রশ্নে হারিয়ে গেছে। :)

1 / 2

$1/2$

— কার্ডিনাল