দুটি মাল্টিভারিয়েট গাউসিয়ানদের মধ্যে কেএল বৈচিত্র্য

দু'টি মাল্টিভারিয়েট স্বাভাবিক বিতরণ ধরে ধরে কেএল ডাইভারজেন্সি সূত্রটি গ্রহণ করতে আমার সমস্যা হচ্ছে। আমি ইউনিভারিয়েট কেস মোটামুটি সহজেই সম্পন্ন করেছি যাইহোক, আমি গণিতের পরিসংখ্যান নেওয়ার পরে বেশ কিছুক্ষণ হয়ে গেছে, তাই মাল্টিভারিয়েট ক্ষেত্রে এটি প্রসারিত করতে আমার কিছুটা সমস্যা হচ্ছে। আমি নিশ্চিত যে আমি সাদামাটা কিছু মিস করছি।

আমার যা আছে তা এখানে ...

উভয় ধরুন এবং উপায়ে সাথে স্বাভাবিক ডিস্ট্রিবিউশন এর PDF গুলি হয় এবং এবং ভেরিয়ানস এবং যথাক্রমে। থেকে Kullback-Leibler দূরত্ব করতে হল: $p$ $q$ $\mu_1$ $\mu_2$ $\Sigma_1$ $\Sigma_2$ $q$ $p$

$\int \left[\log( p(x)) - \log( q(x)) \right]\ p(x)\ dx$ , যা দুটি বহুভিত্তিক স্বাভাবিকের জন্য:

$\frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + Tr(\Sigma_2^{-1}\Sigma_1) + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]$

এই প্রমাণ হিসাবে একই যুক্তি অনুসরণ করে , আমি আটকে যাওয়ার আগে আমি এখানে পৌঁছে যাই:

$=\int \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right] \times p(x) dx$

$=\mathbb{E} \left[ \frac{d}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} + \frac{1}{2} \left((x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) - (x-\mu_1)^T\Sigma_2^{-1}(x-\mu_1) \right) \right]$

আমি মনে করি আমাকে ট্রেস ট্রিকটি বাস্তবায়ন করতে হবে তবে তার পরে কী করা উচিত তা আমি নিশ্চিত নই। আমাকে সঠিক ট্র্যাকের দিকে ফিরিয়ে আনার জন্য কোনও সহায়ক ইঙ্গিত প্রশংসিত হবে!

normal-distribution kullback-leibler proof

— dmartin
সূত্র

stanford.edu/~jduchi/projects/general_notes.pdf । শেষ বিভাগটিও বিকাশ দেয়।

— ব্যবহারকারী 3540823

কিছুটা সংশোধন করে আপনি যেখানে শুরু করেছিলেন সেখান থেকে শুরু করে আমরা লিখতে পারি

\begin{aligned} K L & = \int [\frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} (x - μ_{1})^{T} Σ_{1}^{- 1} (x - μ_{1}) + \frac{1}{2} (x - μ_{2})^{T} Σ_{2}^{- 1} (x - μ_{2})] \times p (x) d x \\ = \frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} tr {E [(x - μ_{1}) (x - μ_{1})^{T}] Σ_{1}^{- 1}} + \frac{1}{2} E [(x - μ_{2})^{T} Σ_{2}^{- 1} (x - μ_{2})] \\ = \frac{1}{2} \log \frac{| Σ_{2} |}{| Σ_{1} |} - \frac{1}{2} tr {I_{d}} + \frac{1}{2} (μ_{1} - μ_{2})^{T} Σ_{2}^{- 1} (μ_{1} - μ_{2}) + \frac{1}{2} tr {Σ_{2}^{- 1} Σ_{1}} \\ = \frac{1}{2} [\log \frac{| Σ_{2} |}{| Σ_{1} |} - d + tr {Σ_{2}^{- 1} Σ_{1}} + (μ_{2} - μ_{1})^{T} Σ_{2}^{- 1} (μ_{2} - μ_{1})] . \end{aligned}

$\begin{aligned} KL &= \int \left[ \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} (x-\mu_1)^T\Sigma_1^{-1}(x-\mu_1) + \frac{1}{2} (x-\mu_2)^T\Sigma_2^{-1}(x-\mu_2) \right] \times p(x) dx \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \left\{E[(x - \mu_1)(x - \mu_1)^T] \ \Sigma_1^{-1} \right\} + \frac{1}{2} E[(x - \mu_2)^T \Sigma_2^{-1} (x - \mu_2)] \\ &= \frac{1}{2} \log\frac{|\Sigma_2|}{|\Sigma_1|} - \frac{1}{2} \text{tr}\ \{I_d \} + \frac{1}{2} (\mu_1 - \mu_2)^T \Sigma_2^{-1} (\mu_1 - \mu_2) + \frac{1}{2} \text{tr} \{ \Sigma_2^{-1} \Sigma_1 \} \\ &= \frac{1}{2}\left[\log\frac{|\Sigma_2|}{|\Sigma_1|} - d + \text{tr} \{ \Sigma_2^{-1}\Sigma_1 \} + (\mu_2 - \mu_1)^T \Sigma_2^{-1}(\mu_2 - \mu_1)\right]. \end{aligned}$

দ্রষ্টব্য যে আমি ম্যাট্রিক্স কুকবুকের বিভাগ 8.2 থেকে কয়েকটি সম্পত্তি ব্যবহার করেছি ।

— ramhiser
সূত্র

আমি দেখতে পাচ্ছি যে আপনি মূলত আমার ডিটি বের করেছেন took প্রথম কয়েকটি পদক্ষেপে গাউসিয়ানদের লগ নেওয়ার পরে আপনার কি ডি পদ থাকবে না?

— dmartin

স্বাভাবিক ঘনত্বের স্কেলিং ফ্যাক্টর , । লগ-পার্থক্য গণনা করার সময়, শব্দটি চলে যায়। সেখানে নেই কেবল A - নির্ধারণকারী শব্দটি , যা আউট উপাদান হয়।

(2 π)^{- d / 2} | Σ_{k} |^{- 1 / 2}

$(2\pi)^{-d/2} |\Sigma_k|^{-1/2}$

k = 1, 2

$k = 1,2$

(2 π)^{- d / 2}

$(2\pi)^{-d/2}$

d

$d$

1 / 2

$1/2$

— রামহির

মোটেই কোন সমস্যা নেই. আমি সাহায্য করতে পেরে আনন্দিত.

— রামহির

হাই, আপনি কিভাবে শেষ পদক্ষেপটি নিয়ে এসেছেন? আপনি সাইন ইন করুন পরিবর্তন হয়নি মধ্যে ?

μ_{1} - μ_{2}

$\mu_1 - \mu_2$

μ_{2} - μ_{1}

$\mu_2 - \mu_1$

— এসিডঘস্ট

@acidghost হয় যে কোনও একটি কাজ করে কারণ আমরা উভয় পক্ষ থেকে একটি নেতিবাচক কারণ বের করতে পারি। দুটি নেতিবাচক গুণকে গুণ করলে ইতিবাচক ফল পাওয়া যায়।

— রমহির