কেন কেএল ডাইভারজেন্স অ-নেতিবাচক?

Question

কেএল ডাইভারজেন অ-নেতিবাচক কেন?

তথ্য তত্ত্বের দৃষ্টিকোণ থেকে আমার এমন স্বজ্ঞাত জ্ঞান রয়েছে:

দুই ensembles আছে বলুন $A$ এবং $B$ যার দ্বারা লেবেল উপাদানের একই সেট দ্বারা গঠিত $x$ । $p(x)$ এবং $q(x)$ হ'ল যথাক্রমে $A$ এবং জুড়ে বিভিন্ন সম্ভাবনা বিতরণ $B$।

তথ্য তত্ত্বের দৃষ্টিকোণ থেকে, $\log_{2}(P(x))$ হ'ল বিটগুলির ন্যূনতম পরিমাণ যা জোড় A এর জন্য কোনও উপাদান রেকর্ড করার জন্য প্রয়োজনীয় । যাতে প্রত্যাশা ∑ x ∈ e n s e m b l e - p ( x ) ln ( p ( x ) ) এর গড় ব্যাখ্যা করা যেতে পারে যে কমপক্ষে আমাদের বি তে একটি উপাদান রেকর্ড করার জন্য কত বিট দরকার ।$x$$A$

$$\sum_{x \in ensemble}-p(x)\ln(p(x))$$ $A$

যেহেতু এই সূত্রটি আমাদের গড় বিটগুলির উপরে একটি নিম্ন সীমাবদ্ধ রাখে, যাতে একটি পৃথক পরিবেশন যা পৃথক সম্ভাবনা বন্টন q ( x ) নিয়ে আসে , এটি প্রতিটি উপাদান x এর জন্য দেয় যে আবদ্ধটি অবশ্যই বিট নয় কর্তৃক প্রদত্ত পি ( এক্স ) , যা প্রত্যাশা গ্রহণ মানে, Σ এক্স ∈ ই এন গুলি ই মি খ ঠ ই - পি ( এক্স ) Ln ( কুই ( এক্স ) $B$$q(x)$$x$$p(x)$

$$\sum_{x\in ensemble}-p(x)\ln(q(x))$$ এই গড় দৈর্ঘ্যটি অবশ্যই পূর্বেরটির চেয়ে বেশি হবে, যা
আমি করা না≥এখানে যেহেতুপি(এক্স)এবংকুই(এক্স)ভিন্ন। $$\sum_{x\in ensemble }p(x)\frac{\ln(p(x))}{\ln(q(x))} > 0$$ $\ge$$p(x)$$q(x)$

এটি আমার স্বজ্ঞাত বোধগম্যতা আছে, কেএল ডাইভারজেন্সকে প্রমাণ করার কোনও গাণিতিক উপায় কি অ-নেতিবাচক? সমস্যাটি হিসাবে বলা যেতে পারে:

প্রদত্ত এবং কিউ ( এক্স ) উভয়ই সত্যিকারের লাইনের চেয়ে ধনাত্মক এবং ∫ + ∞ - ∞ পি ( x ) ডি x = 1 , ∫ + ∞ - ∞ কিউ ( এক্স ) ডি x = 1 । প্রমাণ ∫ + + ∞ - ∞ পি ( এক্স ) Ln পি ( এক্স $p(x)$$q(x)$$\int_{-\infty}^{+\infty}p(x)dx = 1$$\int_{-\infty}^{+\infty}q(x)dx = 1$ অ-নেতিবাচক।

$$\int_{-\infty}^{+\infty}p(x)\ln\frac{p(x)}{q(x)}$$

এটি কীভাবে প্রমাণিত হতে পারে? নাকি অতিরিক্ত শর্ত ছাড়াই প্রমাণ করা যায়?

Comments

আপনি যদি ফ্যানোর অসমতার প্রমাণ বুঝতে পারেন তবে আপেক্ষিক এনট্রপির ননডেটিভিটি অর্জন করা সহজ ।

— লারনার ঝাং

Answer 1

প্রমাণ 1:

$\ln a \leq a-1$$a \gt 0$

$-D_{KL}(p||q) \leq 0$$D_{KL}(p||q) \geq 0$

$$\begin{align} -D(p||q)&=-\sum_x p(x)\ln \frac{p(x)}{q(x)}\\ &= \sum_x p(x)\ln \frac{q(x)}{p(x)}\\ &\stackrel{\text{(a)}}{\leq} \sum_x p(x)\left(\frac{q(x)}{p(x)}-1\right)\\ &=\sum_x q(x) - \sum_x p(x)\\ &= 1 - 1\\ &= 0 \end{align}$$

$\ln$

$$-\sum_x p(x) \log_2 p(x) \leq -\sum_x p(x)\log_2 q(x)$$

$$\sum_x p(x) \log_2 p(x) - \sum_x p(x)\log_2 q(x)\geq 0 \\ \sum_x p(x)\log_2 \frac{p(x)}{q(x)}\geq 0$$

আমি এটিকে পৃথক প্রমাণ হিসাবে অন্তর্ভুক্ত করছি না কারণ হ'ল আপনি যদি আমাকে গিবসের অসমতা প্রমাণ করতে বলতেন তবে আমাকে কেএল ডাইভারজেন্সের নেতিবাচকতা থেকে শুরু করতে হবে এবং শীর্ষস্থান থেকে একই প্রমাণটি করতে হবে।

---

$$\sum_{i=1}^{n} a_i \log_2 \frac{a_i}{b_i} \geq \left(\sum_{i=1}^{n} a_i\right)\log_2\frac{\sum_{i=1}^{n} a_i}{\sum_{i=1}^{n} b_i}$$

$D_{KL}(p||q) \geq 0$

$$\begin{align} D(p||q)&=\sum_x p(x)\log_2 \frac{p(x)}{q(x)}\\ &\stackrel{\text{(b)}}{\geq} \left(\sum_x p(x)\right)\log_2\frac{\sum_x p(x)}{\sum_x q(x)}\\ &=1 \cdot \log_2 \frac{1}{1}\\ &=0 \end{align}$$

where we have used the Log sum inequality at (b).

---

Proof 3:

(Taken from the book "Elements of Information Theory" by Thomas M. Cover and Joy A. Thomas)

$$\begin{align} -D(p||q)&=-\sum_x p(x)\log_2 \frac{p(x)}{q(x)}\\ &= \sum_x p(x)\log_2 \frac{q(x)}{p(x)}\\ &\stackrel{\text{(c)}}{\leq} \log_2 \sum_x p(x)\frac{q(x)}{p(x)}\\ &=\log_2 1\\ &=0 \end{align}$$

where at (c) we have used Jensen's inequality and the fact that $\log$ is a concave function.