ভট্টাচার্য দূরত্ব এবং কেএল বৈচিত্রের মধ্যে পার্থক্য

Question

আমি নিম্নলিখিত প্রশ্নের জন্য একটি স্বজ্ঞাত ব্যাখ্যা খুঁজছি:

পরিসংখ্যান এবং তথ্য তত্ত্বে, দুটি পৃথক সম্ভাব্যতা বিতরণের পার্থক্যের ব্যবস্থা হিসাবে ভট্টাচার্য দূরত্ব এবং কেএল বৈচিত্রের মধ্যে পার্থক্য কী?

তাদের কি একেবারে কোনও সম্পর্ক নেই এবং দুটি সম্ভাব্য বিতরণের মধ্যকার দূরত্বটি সম্পূর্ণ ভিন্ন উপায়ে মাপুন?

Answer 1

ভট্টাচার্য সহগ হিসেবে সংজ্ঞায়িত করা হয় এবং একটি দূরত্ব পরিণত করা যেতে পারে যেমন যা হেলিংগার দূরত্ব বলে । এই মধ্যে একটি সংযোগ Hellinger দূরত্ব এবং Kullback-Leibler বিকিরণ হয় ঘ এইচ ( পি , কুই ) ঘ এইচ ( পি , কুই ) = { 1 - ডি বি ( পি , কুই ) } 1 /

$$D_B(p,q) = \int \sqrt{p(x)q(x)}\,\text{d}x$$ $d_H(p,q)$ $$d_H(p,q)=\{1-D_B(p,q)\}^{1/2}$$ $$d_{KL}(p\|q) \geq 2 d_H^2(p,q) = 2 \{1-D_B(p,q)\}\,.$$

তবে, এই প্রশ্নটি নয়: যদি ভট্টাচার্য দূরত্বকে ডি_বি (পি, কিউ) \ স্ট্যাক্রেল {\ পাঠ্য {ডিফ}} {=} - \ লগ ডি_বি (পি, কিউ) as হিসাবে সংজ্ঞায়িত করা হয় ,

$$d_B(p,q)\stackrel{\text{def}}{=}-\log D_B(p,q)\,,$$ তবে $$\begin{align*}d_B(p,q)=-\log D_B(p,q)&=-\log \int \sqrt{p(x)q(x)}\,\text{d}x\\ &\stackrel{\text{def}}{=}-\log \int h(x)\,\text{d}x\\ &= -\log \int \frac{h(x)}{p(x)}\,p(x)\,\text{d}x\\ &\le \int -\log \left\{\frac{h(x)}{p(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{h^2(x)}{p^2(x)}\right\}\,p(x)\,\text{d}x\\ &= \int \frac{-1}{2}\log \left\{\frac{q(x)}{p(x)}\right\}\,p(x)\,\text{d}x= \frac{1}{2}d_{KL}(p\|q) \end{align*}$$ সুতরাং, এর মধ্যে বৈষম্য দুটি দূরত্ব হ'ল $${d_{KL}(p\|q)\ge 2d_B(p,q)\,.}$$ এরপরে কেউ ভাবতে পারেন যে এই বৈষম্যটি প্রথমটির থেকে অনুসরণ করছে কিনা। এটি বিপরীত হতে দেখা যায়: যেহেতু $$-log(x)\ge 1-x\qquad\qquad 0\le x\le 1\,,$$

আমাদের কাছে সম্পূর্ণ অর্ডারিং রয়েছে

$${d_{KL}(p\|q)\ge 2d_B(p,q)\ge 2d_H(p,q)^2\,.}$$

Comments

উজ্জ্বল! এই ব্যাখ্যাটি এমনটি হওয়া উচিত যা আমি অধীর আগ্রহে খুঁজছি। কেবল একটি শেষ প্রশ্ন: কোন ক্ষেত্রে (বা কী ধরণের পি এবং কিউ) অসমতা সমতা হয়ে উঠবে?

— জুয়েলসু

প্রদত্ত যে ফাংশন কঠোরভাবে উত্তল, আমি অনুমান করা হবে যখন অনুপাত সমতার জন্য শুধুমাত্র ক্ষেত্রে দেখা যায় মধ্যে ধ্রুবক । $-\log(\cdot)$$p(x)/q(x)$$x$

— শি'য়ান

আর শুধুমাত্র ক্ষেত্রে যখন মধ্যে ধ্রুবক যখন । $p(x)/q(x)$$x$$p=q$

— শি'য়ান

Answer 2

আমি দুজনের মধ্যে কোনও স্পষ্ট সম্পর্ক সম্পর্কে জানি না, তবে আমি কী খুঁজে পেতে পারি তা দেখার জন্য তাদের কাছে তাত্ক্ষণিকভাবে ঝাঁকুনির সিদ্ধান্ত নিয়েছি। সুতরাং এটি খুব একটা উত্তর নয়, তবে আগ্রহের বিষয়।

সরলতার জন্য, আসুন বিযুক্ত বিতরণে কাজ করি। আমরা বিসি দূরত্ব হিসাবে লিখতে পারেন

$$d_\text{BC}(p,q) = - \ln \sum_x (p(x)q(x))^\frac{1}{2}$$

এবং কেএল বৈচিত্র হিসাবে

$$d_\text{KL}(p,q) = \sum_x p(x)\ln \frac{p(x)}{q(x)}$$

এখন আমরা লগটিকে দূরত্বের যোগফলের মধ্যে ঠেলাতে পারি না , সুতরাং আসুন বাইরের দিকে টানতে চেষ্টা করুন :$\text{BC}$$\text{KL}$

$$d_\text{KL}(p,q) = -\ln \prod_x \left( \frac{q(x)}{p(x)} \right)^{p(x)}$$

এর তাদের আচরণ বিবেচনা করি যাক উপর সমবন্টন হতে সংশোধন করা হয়েছে সম্ভাবনার:$p$$n$

$$d_\text{KL}(p,q) = -\ln n - \ln \left(\prod_x q(x)\right)^\frac{1}{n} \qquad d_\text{BC}(p,q) = - \ln \frac{1}{\sqrt{n}} - \ln\sum_x \sqrt{q(x)}$$

বাম দিকে, আমাদের কাছে জ্যামিতিক গড়ের মতো ফর্মের অনুরূপ কিছুটির লগ রয়েছে । ডানদিকে, আমাদের গাণিতিক গড়ের লগের অনুরূপ কিছু রয়েছে । যেমনটি আমি বলেছিলাম, এটি কোনও উত্তর নয়, তবে আমি মনে করি এটি বিসি দূরত্ব এবং কেএল ডাইভারজেন্স কীভাবে এবং মধ্যে বিচ্যুতিতে প্রতিক্রিয়া দেখায় তার একটি ঝরঝরে অন্তর্দৃষ্টি দেয় ।$p$$q$