দুটি অচিরাচরিত গৌসিয়ানদের মধ্যে কেএল বৈচিত্র

আমাকে দুটি গৌসিয়ার মধ্যে কেএল-বিভাজন নির্ধারণ করতে হবে। আমি আমার ফলাফল তুলনা করছি এইসব , কিন্তু আমি তাদের ফলাফলের পুনর্গঠন করতে পারবে না। আমার ফলাফল স্পষ্টতই ভুল, কারণ KL কেএল (পি, পি) এর জন্য 0 নয়।

আমি ভাবছি যেখানে আমি কোন ভুল করছি এবং জিজ্ঞাসা করে কেউ এটির জায়গা খুঁজে পেতে পারে কিনা।

যাক এবং । বিশপের পিআরএমএল থেকে আমি তা জানি $p(x) = N(\mu_1, \sigma_1)$ $q(x) = N(\mu_2, \sigma_2)$

K L (p, q) = - \int p (x) \log q (x) d x + \int p (x) \log p (x) d x

$KL(p, q) = - \int p(x) \log q(x) dx + \int p(x) \log p(x) dx$

যেখানে সমস্ত বাস্তব লাইন জুড়ে ইন্টিগ্রেশন সম্পন্ন হয় এবং এটি

\int p (x) \log p (x) d x = - \frac{1}{2} (1 + \log 2 π σ_{1}^{2}),

$\int p(x) \log p(x) dx = -\frac{1}{2} (1 + \log 2 \pi \sigma_1^2),$

সুতরাং আমি নিজেকে সীমাবদ্ধ রাখি , যা আমি লিখতে পারি $\int p(x) \log q(x) dx$

- \int p (x) \log \frac{1}{(2 π σ_{2}^{2})^{(1 / 2)}} e^{- \frac{(x - μ_{2})^{2}}{2 σ_{2}^{2}}} d x,

$-\int p(x) \log \frac{1}{(2 \pi \sigma_2^2)^{(1/2)}} e^{-\frac{(x-\mu_2)^2}{2 \sigma_2^2}} dx,$

যা পৃথক করা যেতে পারে

\frac{1}{2} \log (2 π σ_{2}^{2}) - \int p (x) \log e^{- \frac{(x - μ_{2})^{2}}{2 σ_{2}^{2}}} d x .

$\frac{1}{2} \log (2 \pi \sigma_2^2) - \int p(x) \log e^{-\frac{(x-\mu_2)^2}{2 \sigma_2^2}} dx.$

আমি লগ লগ গ্রহণ

\frac{1}{2} \log (2 π σ_{2}^{2}) - \int p (x) (- \frac{(x - μ_{2})^{2}}{2 σ_{2}^{2}}) d x,

$\frac{1}{2} \log (2 \pi \sigma_2^2) - \int p(x) \bigg(-\frac{(x-\mu_2)^2}{2 \sigma_2^2} \bigg) dx,$

যেখানে আমি অঙ্কগুলি পৃথক করি এবং পাই । $\sigma_2^2$

\frac{1}{2} \log (2 π σ_{2}^{2}) + \frac{\int p (x) x^{2} d x - \int p (x) 2 x μ_{2} d x + \int p (x) μ_{2}^{2} d x}{2 σ_{2}^{2}}

$\frac{1}{2} \log (2 \pi \sigma^2_2) + \frac{\int p(x) x^2 dx - \int p(x) 2x\mu_2 dx + \int p(x) \mu_2^2 dx}{2 \sigma_2^2}$

লেটিং অধীনে প্রত্যাশা অপারেটর বোঝাতে , আমি হিসাবে এই পুনর্লিখন করতে $\langle \rangle$ $p$

\frac{1}{2} \log (2 π σ_{2}^{2}) + \frac{⟨ x^{2} ⟩ - 2 ⟨ x ⟩ μ_{2} + μ_{2}^{2}}{2 σ_{2}^{2}} .

$\frac{1}{2} \log (2 \pi \sigma_2^2) + \frac{\langle x^2 \rangle - 2 \langle x \rangle \mu_2 + \mu_2^2}{2 \sigma_2^2}.$

আমরা জানি যে । এইভাবে $var(x) = \langle x^2 \rangle - \langle x \rangle ^2$

⟨ x^{2} ⟩ = σ_{1}^{2} + μ_{1}^{2}

$\langle x^2 \rangle = \sigma_1^2 + \mu_1^2$

এবং সেইজন্য

\frac{1}{2} \log (2 π σ^{2}) + \frac{σ_{1}^{2} + μ_{1}^{2} - 2 μ_{1} μ_{2} + μ_{2}^{2}}{2 σ_{2}^{2}},

$\frac{1}{2} \log (2 \pi \sigma^2) + \frac{\sigma_1^2 + \mu_1^2 - 2 \mu_1 \mu_2 + \mu_2^2}{2 \sigma_2^2},$

যা আমি রাখতে পারি

\frac{1}{2} \log (2 π σ_{2}^{2}) + \frac{σ_{1}^{2} + (μ_{1} - μ_{2})^{2}}{2 σ_{2}^{2}} .

$\frac{1}{2} \log (2 \pi \sigma_2^2) + \frac{\sigma_1^2 + (\mu_1 - \mu_2)^2}{2 \sigma_2^2}.$

সব কিছু একসাথে রেখে, আমি যেতে পারি

\begin{aligned} K L (p, q) & = - \int p (x) \log q (x) d x + \int p (x) \log p (x) d x \\ = \frac{1}{2} \log (2 π σ_{2}^{2}) + \frac{σ_{1}^{2} + (μ_{1} - μ_{2})^{2}}{2 σ_{2}^{2}} - \frac{1}{2} (1 + \log 2 π σ_{1}^{2}) \\ = \log \frac{σ_{2}}{σ_{1}} + \frac{σ_{1}^{2} + (μ_{1} - μ_{2})^{2}}{2 σ_{2}^{2}} . \end{aligned}

$\begin{align*} KL(p, q) &= - \int p(x) \log q(x) dx + \int p(x) \log p(x) dx\\\\ &= \frac{1}{2} \log (2 \pi \sigma_2^2) + \frac{\sigma_1^2 + (\mu_1 - \mu_2)^2}{2 \sigma_2^2} - \frac{1}{2} (1 + \log 2 \pi \sigma_1^2)\\\\ &= \log \frac{\sigma_2}{\sigma_1} + \frac{\sigma_1^2 + (\mu_1 - \mu_2)^2}{2 \sigma_2^2}. \end{align*}$ যেটি ভুল, কারণ এটি দুটি অভিন্ন গাওসিয়ানদের সমান ।

1

$1$

কেউ কি আমার ত্রুটি চিহ্নিত করতে পারে?

হালনাগাদ

জিনিস পরিষ্কার করার জন্য এমপিক্টাসকে ধন্যবাদ। সঠিক উত্তরটি হ'ল:

$KL(p, q) = \log \frac{\sigma_2}{\sigma_1} + \frac{\sigma_1^2 + (\mu_1 - \mu_2)^2}{2 \sigma_2^2} - \frac{1}{2}$

normal-distribution kullback-leibler

— bayerj
সূত্র

প্রথম জায়গায় ভুল উত্তর পোস্ট করার জন্য দুঃখিত। আমি সবেমাত্র এ এবং ভাবলাম যে অবিচ্ছেদ্যটি শূন্য। এটি যে স্কোয়ারটিযুক্ত ছিল তা আমার মনকে পুরোপুরি মিস করেছে :)

x - μ_{1}

$x-\mu_1$

— এমপিটকাস

মাল্টি ভেরিয়েট কেসের কী হবে?

আমি সবেমাত্র একটি গবেষণামূলক গবেষণাপত্রে দেখেছি যে kld হতে হবে $ কেএল (পি, কিউ) = ½ * ((μ₁-μ₂) μ₂ + σ₁² + σ₂²) * ((1 / σ₁²) + (1 / σ₂²)) - 2

— স্কাইডে

আমি মনে করি আপনার প্রশ্নে একটি টাইপ রয়েছে, যেহেতু আমি এটি যাচাই করতে পারি না এবং এটিও মনে হয় আপনি পরে আপনার প্রশ্নের সঠিক সংস্করণটি ব্যবহার করেছেন: আমার মনে হয় এটি হওয়া উচিত ( দ্রষ্টব্য): আমি আপনার প্রশ্নটি সম্পাদনা করার চেষ্টা করেছি এবং এর জন্য নিষিদ্ধ হয়েছি, তাই সম্ভবত এটি নিজেই করুন।

\int p (x) \log p (x) d x = \frac{1}{2} (1 + \log 2 π σ_{1}^{2})

$\int p(x) \log p(x) dx = \frac{1}{2} (1 + \log 2 \pi \sigma_1^2)$

\int p (x) \log p (x) d x = - \frac{1}{2} (1 + \log 2 π σ_{1}^{2})

$\int p(x) \log p(x) dx = -\frac{1}{2} (1 + \log 2 \pi \sigma_1^2)$

— ওয়াই-স্প্রিন 13

উত্তরটি আমার অভ্যন্তরীণ ক্ষতির বিষয়ে 1996 এর গবেষণাপত্রে রয়েছে ।

— শি'আন

উত্তর:

ঠিক আছে, আমার খারাপ। ত্রুটিটি শেষ সমীকরণের:

\begin{aligned} K L (p, q) & = - \int p (x) \log q (x) d x + \int p (x) \log p (x) d x \\ = \frac{1}{2} \log (2 π σ_{2}^{2}) + \frac{σ_{1}^{2} + (μ_{1} - μ_{2})^{2}}{2 σ_{2}^{2}} - \frac{1}{2} (1 + \log 2 π σ_{1}^{2}) \\ = \log \frac{σ_{2}}{σ_{1}} + \frac{σ_{1}^{2} + (μ_{1} - μ_{2})^{2}}{2 σ_{2}^{2}} - \frac{1}{2} \end{aligned}

$\begin{align} KL(p, q) &= - \int p(x) \log q(x) dx + \int p(x) \log p(x) dx\\\\ &=\frac{1}{2} \log (2 \pi \sigma_2^2) + \frac{\sigma_1^2 + (\mu_1 - \mu_2)^2}{2 \sigma_2^2} - \frac{1}{2} (1 + \log 2 \pi \sigma_1^2)\\\\ &= \log \frac{\sigma_2}{\sigma_1} + \frac{\sigma_1^2 + (\mu_1 - \mu_2)^2}{2 \sigma_2^2} - \frac{1}{2} \end{align}$

অনুপস্থিত নোট করুন । শেষ লাইনটি শূন্য হয় যখন এবং । $-\frac{1}{2}$ $\mu_1=\mu_2$ $\sigma_1=\sigma_2$

— mpiktas
সূত্র

@ এমপিক্টাস আমি আসলে প্রশ্নটি বোঝাতে চেয়েছিলাম - বায়ারজ একজন ভাল প্রকাশিত গবেষক এবং আমি একজন আন্ডারগ্রাড। দেখে খুব ভাল লাগল যে এমনকি স্মার্ট

— ছেলেরাও

পি বা

μ_{1} σ_{1}

$\mu_1 \sigma_1$

μ_{2} σ_{2}

$\mu_2 \sigma_2$

— কং

@ কং পি হ'ল , প্রশ্নটিতে উল্লিখিত হয়েছে।

N (u_{1}, σ_{1})

$N(u_1, \sigma_1)$

— zplizzi

আপনার হিসাবের দিকে আমার নজর নেই তবে এখানে প্রচুর বিবরণ রয়েছে। ধরুন গড় সঙ্গে একটি স্বাভাবিক দৈব চলক ঘনত্ব হয় এবং ভ্যারিয়েন্স , এবং যে গড় সঙ্গে একটি স্বাভাবিক দৈব চলক ঘনত্ব হয় এবং ভ্যারিয়েন্স । থেকে Kullback-Leibler দূরত্ব করতে হল: $p$ $\mu_1$ $\sigma^2_1$ $q$ $\mu_2$ $\sigma^2_2$ $q$ $p$

$\int \left[\log( p(x)) - log( q(x)) \right] p(x) dx$

$=\int \left[ -\frac{1}{2} \log(2\pi) - \log(\sigma_1) - \frac{1}{2} \left(\frac{x-\mu_1}{\sigma_1}\right)^2 + \frac{1}{2}\log(2\pi) + \log(\sigma_2) + \frac{1}{2} \left(\frac{x-\mu_2}{\sigma_2}\right)^2 \right]$ $\times \frac{1}{\sqrt{2\pi}\sigma_1} \exp\left[-\frac{1}{2}\left(\frac{x-\mu_1}{\sigma_1}\right)^2\right] dx$

$=\int \left\{\log\left(\frac{\sigma_2}{\sigma_1}\right) + \frac{1}{2} \left[ \left(\frac{x-\mu_2}{\sigma_2}\right)^2 - \left(\frac{x-\mu_1}{\sigma_1}\right)^2 \right] \right\}$ $\times \frac{1}{\sqrt{2\pi}\sigma_1} \exp\left[-\frac{1}{2}\left(\frac{x-\mu_1}{\sigma_1}\right)^2\right] dx$

$=E_{1} \left\{\log\left(\frac{\sigma_2}{\sigma_1}\right) + \frac{1}{2} \left[ \left(\frac{x-\mu_2}{\sigma_2}\right)^2 - \left(\frac{x-\mu_1}{\sigma_1}\right)^2 \right]\right\}$

$=\log\left(\frac{\sigma_2}{\sigma_1}\right) + \frac{1}{2\sigma_2^2} E_1 \left\{(X-\mu_2)^2\right\} - \frac{1}{2\sigma_1^2} E_1 \left\{(X-\mu_1)^2\right\}$

$=\log\left(\frac{\sigma_2}{\sigma_1}\right) + \frac{1}{2\sigma_2^2} E_1 \left\{(X-\mu_2)^2\right\} - \frac{1}{2}$

(এখন লক্ষ করুন যে ) $(X - \mu_2)^2 = (X-\mu_1+\mu_1-\mu_2)^2 = (X-\mu_1)^2 + 2(X-\mu_1)(\mu_1-\mu_2) + (\mu_1-\mu_2)^2$

$=\log\left(\frac{\sigma_2}{\sigma_1}\right) + \frac{1}{2\sigma_2^2} \left[E_1\left\{(X-\mu_1)^2\right\} + 2(\mu_1-\mu_2)E_1\left\{X-\mu_1\right\} + (\mu_1-\mu_2)^2\right] - \frac{1}{2}$

$=\log\left(\frac{\sigma_2}{\sigma_1}\right) + \frac{\sigma_1^2 + (\mu_1-\mu_2)^2}{2\sigma_2^2} - \frac{1}{2}$

— ocram
সূত্র