কুলব্যাক-লেবলার (কেএল) বিচরণের সর্বোচ্চ মান কী

15

আমি আমার পাইথন কোডে কেএল ডাইভার্জেন্স ব্যবহার করতে যাচ্ছি এবং আমি এই টিউটোরিয়ালটি পেয়েছি ।

এই টিউটোরিয়ালে, কেএল ডাইভারজেন্স বাস্তবায়ন করা বেশ সহজ।

kl = (model * np.log(model/actual)).sum()

আমি যেমন বুঝতে পারি, এর সম্ভাব্যতা বন্টন হতে হবে modelএবং actual<= 1 হওয়া উচিত।

আমার প্রশ্নটি হল, কে-এর সর্বাধিক সীমাবদ্ধ / সর্বাধিক সম্ভাব্য মান কী? আমার কোডে সীমাবদ্ধ সর্বাধিক সীমাবদ্ধতার জন্য আমার সর্বাধিক সম্ভাব্য মান জানতে হবে।

machine-learning distance kullback-leibler

— user46543
সূত্র

এটি এর সদৃশ stats.stackexchange.com/q/333877/103153

— Lerner ঝাঙ

19

বা এমনকি একই সমর্থন সহ, যখন একটি বিতরণ অন্যের চেয়ে অনেক বেশি মোটা লেজ থাকে। নিন যখন তারপরে এবং অন্যান্য দূরত্ব রয়েছে যেমন আবদ্ধ থাকে যেমন

K L (P | | Q) = \int p (x) \log (\frac{p (x)}{q (x)}) d x

$KL(P\vert\vert Q) = \int p(x)\log\left(\frac{p(x)}{q(x)}\right) \,\text{d}x$

p (x) = \overset{Cauchy density}{\overset{⏞}{\frac{1}{π} \frac{1}{1 + x^{2}}}} q (x) = \overset{Normal density}{\overset{⏞}{\frac{1}{\sqrt{2 π}} \exp {- x^{2} / 2}}}

$p(x)=\overbrace{\frac{1}{\pi}\,\frac{1}{1+x^2}}^\text{Cauchy density}\qquad q(x)=\overbrace{\frac{1}{\sqrt{2\pi}}\,\exp\{-x^2/2\}}^\text{Normal density}$

K L (P | | Q) = \int \frac{1}{π} \frac{1}{1 + x^{2}} \log p (x) d x + \int \frac{1}{π} \frac{1}{1 + x^{2}} [\log (2 π) / 2 + x^{2} / 2] d x

$KL(P\vert\vert Q) = \int \frac{1}{\pi}\,\frac{1}{1+x^2} \log p(x) \,\text{d}x + \int \frac{1}{\pi}\,\frac{1}{1+x^2} [\log(2\pi)/2+x^2/2]\,\text{d}x$

\int \frac{1}{π} \frac{1}{1 + x^{2}} x^{2} / 2 d x = + \infty

$\int \frac{1}{\pi}\,\frac{1}{1+x^2} x^2/2\,\text{d}x=+\infty$

দূরত্ব, মোট প্রকরণ দূরত্ব সমতুল্য, $L¹$
ওয়াসারস্টেইন দূরত্ব
হেলিংগার দূরত্ব

— সিয়ান
সূত্র

1

@ শি'য়ান

— কার্লোস ক্যাম্পোস

ধন্যবাদ @ জিয়ান এর অর্থ, উভয় বিতরণের জন্য সমস্ত বিনয়ের যোগফল = 1, কেএল ডাইভার্জেন্সের সর্বাধিক সীমাবদ্ধ নেই? সর্বাধিক সীমাবদ্ধ / স্থির বাউন্ডকে সংজ্ঞায়িত করে দুটি সম্ভাব্যতা বিতরণের জন্য আপনার কাছে অন্য কোনও বিকল্পের দূরত্বের কার্যকারিতা রয়েছে কি?

— ব্যবহারকারী 46543

পি কি এক্ষেত্রে Q এর প্রতি শ্রদ্ধা রেখে একেবারে অবিচ্ছিন্ন?

— সানগুওং ইউন

কোন ক্ষেত্রে"? আমি বিশ্বাস করি যে একে অপরের ক্রমাগত ক্রমাগত নয় এমন ডিস্ট্রিবিউশনগুলির জন্য কেএলটিকে সংজ্ঞায়িত করা হয়নি।

— শি'য়ান

13

যে বিতরণগুলির সমান সমর্থন নেই, তাদের জন্য কেএল ডাইভারজেন্স সীমাবদ্ধ নয়। সংজ্ঞাটি দেখুন:

K L (P | | Q) = \int_{- \infty}^{\infty} p (x) \ln (\frac{p (x)}{q (x)}) d x

$KL(P\vert\vert Q) = \int_{-\infty}^{\infty} p(x)\ln\left(\frac{p(x)}{q(x)}\right) dx$

যদি পি এবং কিউর সমান সমর্থন না থাকে তবে কিছু পয়েন্ট রয়েছে যেখানে এবং , কেএলকে অনন্ততায় যেতে বাধ্য করে। এটি পৃথক বিতরণের ক্ষেত্রেও প্রযোজ্য, এটি আপনার ক্ষেত্রে। $x'$ $p(x') \neq 0$ $q(x') = 0$

সম্পাদনা: সম্ভবত সম্ভাব্যতা বিতরণের মধ্যে বিভাজন পরিমাপ করার জন্য আরও ভাল পছন্দ হ'ল তথাকথিত ওয়াসারস্টেইন দূরত্ব যা মেট্রিক এবং কেএল ডাইভার্জেন্সের চেয়ে ভাল বৈশিষ্ট্য রয়েছে। গভীর-শিক্ষার ক্ষেত্রে অ্যাপ্লিকেশনগুলির কারণে এটি বেশ জনপ্রিয় হয়ে উঠেছে (ডাব্লুজিএএন নেটওয়ার্ক দেখুন)

— কার্লোস ক্যাম্পোস
সূত্র

ধন্যবাদ @ কার্লোস-ক্যাম্পোস আমার বিতরণ প্রকৃত এবং মডেল উভয়ের একই শর্ত রয়েছে যা সমস্ত বিনয়ের যোগফল = 1। এর অর্থ কি আমার কেএল ডাইভারজেন্সের এখনও সর্বোচ্চ সীমাবদ্ধ নেই? আমি অপ্রয়োজনীয় দূরত্বটি

— দেখব

ওয়াসারস্টেইন বা আর্থ মুভার দূরত্বের একটি সর্বাধিক সীমাবদ্ধ? কারণ আমার এটা দরকার

— user46543

@ ইউজার ৪6543৩৩ ওয়াসারস্টেইনের দূরত্ব ইনফটি হিসাবে বেশি হতে পারে

\infty

$\infty$

— মার্ক এল স্টোন

হাই @ মার্কএল.স্টোন তাই স্থিতিশীল সর্বাধিক সীমাবদ্ধ দুটি সম্ভাবনা বিতরণের মধ্যে দূরত্ব গণনা করার জন্য কোনও দূরত্বের ফাংশন নেই? উদাহরণস্বরূপ যখন দুটি সম্ভাব্য বিতরণের যোগফলের সমষ্টি 1 এবং দূরত্বের সর্বাধিক সীমা হবে 1. আমি কি সঠিক?

— ব্যবহারকারী46543

4

কার্লোস এবং শি'ানের চমৎকার উত্তরের সাথে যুক্ত করার জন্য , এটিও আকর্ষণীয় যে কেএল ডাইভার্জেন্সকে সীমাবদ্ধ করার জন্য পর্যাপ্ত শর্তটি এলোমেলো ভেরিয়েবল উভয়ের জন্য একই রকমের কমপ্যাক্ট সমর্থন এবং রেফারেন্সের ঘনত্বের সাথে আবদ্ধ হওয়ার জন্য । এই ফলাফলটিও সর্বাধিক কেএল ডাইভার্জেন্সের জন্য অন্তর্নিহিত আবদ্ধ স্থাপন করে (নীচে তত্ত্ব এবং প্রমাণ দেখুন)।

উপপাদ্য: যদি ঘনত্বের এবং এর একই কমপ্যাক্ট সমর্থন থাকে এবং ঘনত্ব সেই সমর্থনে আবদ্ধ হয় (অর্থাত্ একটি সীমাবদ্ধ উপরের আবদ্ধ থাকে) তবে । $p$ $q$ $\mathscr{X}$ $p$ $KL(P||Q) < \infty$

প্রুফ: যেহেতু এর কমপ্যাক্ট সমর্থন রয়েছে অর্থ হল কিছু ইতিবাচক অসীম মান রয়েছে: $q$ $\mathscr{X}$

\underline{q} \equiv inf_{x \in X} q (x) > 0.

$\underline{q} \equiv \inf_{x \in \mathscr{X}} q(x) > 0.$

একইভাবে, যেহেতু এর কমপ্যাক্ট সমর্থন রয়েছে অর্থ এখানে কিছু ইতিবাচক সর্বোত্তম মান রয়েছে: $p$ $\mathscr{X}$

\bar{p} \equiv sup_{x \in X} p (x) > 0.

$\bar{p} \equiv \sup_{x \in \mathscr{X}} p(x) > 0.$

অধিকন্তু, যেহেতু এগুলি উভয়ই একই সমর্থনের ঘনত্ব এবং পরেরটি আবদ্ধ থাকে, সুতরাং আমাদের । এই যে মানে: $0 < \underline{q} \leqslant \bar{p} < \infty$

sup_{x \in X} \ln (\frac{p (x)}{q (x)}) ⩽ \ln (\bar{p}) - \ln (\underline{q}) .

$\sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \leqslant \ln ( \bar{p}) - \ln(\underline{q}).$

এখন, পরে উপরের আবদ্ধ হতে দেওয়া, আমাদের পরিষ্কার তাই যে: $\underline{L} \equiv \ln ( \bar{p}) - \ln(\underline{q})$ $0 \leqslant \underline{L} < \infty$

\begin{aligned} K L (P | | Q) & = \int_{X} \ln (\frac{p (x)}{q (x)}) p (x) d x \\ ⩽ sup_{x \in X} \ln (\frac{p (x)}{q (x)}) \int_{X} p (x) d x \\ ⩽ (\ln (\bar{p}) - \ln (\underline{q})) \int_{X} p (x) d x \\ = \underline{L} < \infty . \end{aligned}

$\begin{equation} \begin{aligned} KL(P||Q) &= \int \limits_{\mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) p(x) dx \\[6pt] &\leqslant \sup_{x \in \mathscr{X}} \ln \Bigg( \frac{p(x)}{q(x)} \Bigg) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &\leqslant (\ln ( \bar{p}) - \ln(\underline{q})) \int \limits_{\mathscr{X}} p(x) dx \\[6pt] &= \underline{L} < \infty. \\[6pt] \end{aligned} \end{equation}$

এটি প্রয়োজনীয় উপরের গণ্ডিকে প্রতিষ্ঠিত করে, যা উপপাদ্যকে প্রমাণ করে। $\blacksquare$

— বেন - মনিকা পুনরায় স্থাপন করুন
সূত্র

ফলাফলটি সঠিক তবে সীমাবদ্ধতা ভারী: একটি বিটা ঘনত্ব যখন তখন কোনও কমপ্যাক্ট সমর্থন উপভোগ করে না ।

B (α, β)

${\cal B}(\alpha,\beta)$

max (α, β) > 1

$\max(\alpha,\beta)>1$

— শি'আন

এটি সত্য: এটি সর্বোপরি কেবল পর্যাপ্ত শর্ত। দুর্বল পর্যাপ্ত শর্ত স্বাগত!

— বেন - মনিকা