কুলব্যাক two দুটি গামা বিতরণের মধ্যে লেবেলার বিচ্যুতি

15

পিডিএফ দ্বারা গামা বিতরণ প্যারামিটারাইজ করতে বেছে নেওয়া হচ্ছে $\Gamma(b,c)$ $g(x;b,c) = \frac{1}{\Gamma(c)}\frac{x^{c-1}}{b^c}e^{-x/b}$ মধ্যে Kullback-Leibler বিকিরণ $\Gamma(b_q,c_q)$ এবং $\Gamma(b_p,c_p)$ দ্বারা [1] হিসাবে দেওয়া হয়

\begin{aligned} K L_{G a} (b_{q}, c_{q}; b_{p}, c_{p}) & = (c_{q} - 1) Ψ (c_{q}) - \log b_{q} - c_{q} - \log Γ (c_{q}) + \log Γ (c_{p}) \\ + c_{p} \log b_{p} - (c_{p} - 1) (Ψ (c_{q}) + \log b_{q}) + \frac{b_{q} c_{q}}{b_{p}} \end{aligned}

$\begin{align} KL_{Ga}(b_q,c_q;b_p,c_p) &= (c_q-1)\Psi(c_q) - \log b_q - c_q - \log\Gamma(c_q) + \log\Gamma(c_p)\\ &\qquad+ c_p\log b_p - (c_p-1)(\Psi(c_q) + \log b_q) + \frac{b_qc_q}{b_p} \end{align}$

আমি অনুমান করছি যে $\Psi(x):= \Gamma'(x)/\Gamma(x)$ হ'ল ডিগম্মা ফাংশন ।

এটি কোনও উপার্জন ছাড়াই দেওয়া হয়। এটি থেকে প্রাপ্ত কোনও রেফারেন্স আমি পাই না cannot কোন সাহায্য? একটি ভাল রেফারেন্স যথেষ্ট হবে। কঠিন অংশটি গামা পিডিএফের বিপরীতে একীভূত করছে $\log x$ ।

[১] ডাব্লুডি পেনি, সাধারণ, গামা, ডিরিচলেট এবং উইশার্টের ঘনত্বের কেএল-ডাইভারজেন্সগুলি , এখানে পাওয়া যায়: www.fil.ion.ucl.ac.uk/~wpenny/publications/densities.ps

kullback-leibler gamma-distribution exponential-family

— আয়ান ল্যাংমোর
সূত্র

2

থেকে সম্মান সঙ্গে পিডিএফ ডেরিভেটিভ গ্রহণ

প্রবর্তন এর ফ্যাক্টর

আপনি খুঁজছেন যে কেন digamma শো আপ করুন।

c

$c$

l o g (x)

$log(x)$

— শুক্র

যদি আপনি পিয়েরে বালাদি এবং লরেন্ট ইত্তি (2010) জুড়ে ঘটে থাকেন তবে "বিটস এবং ওয়াওয়ের: মনোযোগের সাথে প্রয়োগের সাথে আশ্চর্য একটি বয়েসিয়ান তত্ত্ব" নিউরাল নেটওয়ার্ক 23: 649-666, আপনি পাবেন সমীকরণ 73 দুটি গামা পিডিএফ-এর মধ্যে কেএল ডাইভারজেন্স দেয়। যত্ন নিন, তবে মনে হচ্ছে এটি সূত্রটি ভুল-মুদ্রিত।

— মিঃ ক্লারিনেট

আমি একই সমস্যার একটি সমাধান খুঁজছেন করছি এবং এই খুঁজে এক দরকারী।

— ইয়ে ইয়াং

15

কেএল ডাইভারজেন্স হ'ল ফর্মের ইন্টিগ্রালের একটি পার্থক্য

$$ q এককালাইন {আমি (এ, বি, সি, ডি) এবং = \ ইন্টিটি ^ {\ ইনফটি} \ লগ \ বামে (\ frac {e ^ {- x / a} x ^ {b-1}} {a ^ বি \ গামা (খ)} \ ডান) rac frac {e ^ {- x / c} x ^ {d-1}} {c ^ d \ গামা (ডি)} ডিএক্স \

& = - rac frac {1} {a} \ int_0 ^ \ infty \ frac {x ^ de ^ {- x / c}} {c ^ d \ গামা (ডি)} \, ডিএক্স - \ লগ (এ ^ বি Am গামা (খ)) _0 অন্তত ^ \ \ ইনফটি \ ফ্র্যাক {ই ^ {- এক্স / সি} এক্স ^ {ডি -1} {সি ^ ডি \ গামা (ডি)} \, ডিএক্স \ এবং \ কোয়াড + (বি- 1) \ int_0 ^ \ infty \ log (x) rac frac {e ^ {- x / c} x ^ {d-1} {c ^ d \ Gamma (d)} \, dx \

& = - rac frac {cd} {a} - \ লগ (a ^ b \ গামা (খ)) + (খ -1) \ int_0 ^ \ infty \ লগ (এক্স) \ frac {e ^ {- এক্স / সি } x ^ {d-1} {c ^ d \ গামা (ডি)} \, ডিএক্স} $$

আমাদের কেবল ডান হাতের অবিচ্ছেদ্য কাজ করতে হবে, যা পর্যবেক্ষণ করে প্রাপ্ত হয় by

\begin{aligned} \frac{\partial}{\partial d} Γ (d) = & \frac{\partial}{\partial d} \int_{0}^{\infty} e^{- x / c} \frac{x^{d - 1}}{c^{d}} d x \\ = & \frac{\partial}{\partial d} \int_{0}^{\infty} e^{- x / c} \frac{(x / c)^{d - 1}}{c} d x \\ = & \int_{0}^{\infty} e^{- x / c} \frac{x^{d - 1}}{c^{d}} \log \frac{x}{c} d x \\ = & \int_{0}^{\infty} \log (x) e^{- x / c} \frac{x^{d - 1}}{c^{d}} d x - \log (c) Γ (d) . \end{aligned}

$\eqalign{ \frac{\partial}{\partial d}\Gamma(d) =& \frac{\partial}{\partial d}\int_0^{\infty}e^{-x/c}\frac{x^{d-1}}{c^d}dx\\ =& \frac{\partial}{\partial d} \int_0^\infty e^{-x/c} \frac{(x/c)^{d-1}}{c}\,dx\\ =&\int_0^\infty e^{-x/c}\frac{x^{d-1}}{c^d} \log\frac{x}{c} \,dx\\ =&\int_0^{\infty}\log(x)e^{-x/c}\frac{x^{d-1}}{c^d}dx - \log(c)\Gamma(d). }$

কোথা হইতে

\frac{b - 1}{Γ (d)} \int_{0}^{\infty} \log (x) e^{- x / c} (x / c)^{d - 1} d x = (b - 1) \frac{Γ^{'} (d)}{Γ (d)} + (b - 1) \log (c) .

$\frac{b-1}{\Gamma(d)}\int_0^{\infty} \log(x)e^{-x/c}(x/c)^{d-1}dx = (b-1)\frac{\Gamma'(d)}{\Gamma(d)} + (b-1)\log(c).$

পূর্ববর্তী ফলন মধ্যে প্লাগ ইন

I (a, b, c, d) = \frac{- c d}{a} - \log (a^{b} Γ (b)) + (b - 1) \frac{Γ^{'} (d)}{Γ (d)} + (b - 1) \log (c) .

$I(a,b,c,d)=\frac{-cd}{a} -\log(a^b\Gamma(b))+(b-1)\frac{\Gamma'(d)}{\Gamma(d)} + (b-1)\log(c).$

এবং মধ্যে কেএল সমান , যা একত্র করার জন্য সোজা। $\Gamma(c,d)$ $\Gamma(a,b)$ $I(c,d,c,d) - I(a,b,c,d)$

বাস্তবায়ন বিশদ

গামা ফাংশনগুলি দ্রুত বৃদ্ধি পায়, যাতে ওভারফ্লো এড়াতে গামার গণনা করবেন না এবং এর লোগারিডম গ্রহণ করবেন না: পরিবর্তে লগ-গামা ফাংশনটি ব্যবহার করুন যা কোনও পরিসংখ্যানগত কম্পিউটিং প্ল্যাটফর্মে পাওয়া যাবে (সেই বিষয়ে এক্সেল সহ)।

অনুপাত এর লগারিদমিক ব্যুৎপন্ন হয় সাধারণত বলা digamma ফাংশন। যদি এটি আপনার কাছে না পাওয়া যায় তবে উইকিপিডিয়া নিবন্ধে বর্ণিত হিসাবে এটি আনুমানিক করার জন্য তুলনামূলকভাবে সহজ উপায় রয়েছে । $\Gamma^\prime(d)/\Gamma(d)$ $\Gamma,$ $\psi,$

এখানে, উদাহরণস্বরূপ, R পরিপ্রেক্ষিতে সূত্রের প্রত্যক্ষ বাস্তবায়ন । এটি বীজগণিতভাবে ফলাফলকে সহজ করার কোনও সুযোগকে কাজে লাগায় না, যা এটি আরও কিছুটা দক্ষ করে তোলে ( এর গণনা দূর করে )। $I$ $\psi$

#
# `b` and `d` are Gamma shape parameters and
# `a` and `c` are scale parameters.
# (All, therefore, must be positive.)
#
KL.gamma <- function(a,b,c,d) {
  i <- function(a,b,c,d)
    - c * d / a - b * log(a) - lgamma(b) + (b-1)*(psigamma(d) + log(c))
  i(c,d,c,d) - i(a,b,c,d)
}
print(KL.gamma(1/114186.3, 202, 1/119237.3, 195), digits=12)

— whuber
সূত্র

2

ভাল উত্তর. ধন্যবাদ! আমি বিশ্বাস করি যে চতুর্থ সমতাতে একটি চিহ্ন ত্রুটি আছে। এছাড়াও, আপনার গামা পিডিএফ ডোনামনেটারে 'গ' এর অতিরিক্ত ফ্যাক্টর থাকা উচিত। আপনি কি আমাকে এটি সম্পাদনা করতে চান?

— ইয়ান ল্যাংমোর

d x / x

$dx/x$

c

$c$

2

আমি সংশোধন করেছি।

— ইয়ান ল্যাংমোর

10

গামা বিতরণ তাত্পর্যপূর্ণ পরিবারে কারণ এর ঘনত্বটি প্রকাশ করা যেতে পারে:

\begin{aligned} f (x ∣ θ) & = \exp (η (θ) \cdot T (x) - g (θ) + h (x)) \end{aligned}

$\begin{align} \newcommand{\mbx}{\mathbf{x}} \newcommand{\btheta}{\boldsymbol{\theta}} f(\mbx \mid \btheta) &= \exp\bigl(\eta(\btheta) \cdot T(\mbx) - g(\btheta) + h(\mbx)\bigr) \end{align}$

Looking at the Gamma density function, its log-normalizer is

g (θ) = \log (Γ (c)) + c \log (b)

$g(\btheta) = \log(\Gamma(c)) + c\log(b)$ with natural parameters

θ = [\begin{matrix} c - 1 \\ - \frac{1}{b} \end{matrix}]

$\btheta = \left[\begin{matrix}c-1\\-\frac1 b\end{matrix}\right]$

All distributions in the exponential family have KL divergence:

\begin{aligned} K L (q; p) & = g (θ_{p}) - g (θ_{q}) - (θ_{p} - θ_{q}) \cdot \nabla g (θ_{q}) . \end{aligned}

$\begin{align} KL(q; p) &= g(\btheta_p) - g(\btheta_q) - (\btheta_p-\btheta_q) \cdot \nabla g(\btheta_q). \end{align}$

There's a really nice proof of that in:

Frank Nielsen, École Polytechnique, and Richard Nock, Entropies and cross-entropies of exponential families.

— Neil G
সূত্র

Didn't know this. Just a quick question - the

g (.)

$g(.)$ function, does it have to be the same for

θ_{p}

$\theta_p$ as for

θ_{q}

$\theta_q$ ? So for example, would the above formula be valid for KL divergence of normal pdf from gamma pdf?

— probabilityislogic

1

Yes, this formula is for two distributions in the same exponential family.

— Neil G