ভেরিয়েশনাল ইনফারেন্স, কেএল ডাইভারজেন্সের জন্য সত্য দরকার হয় requires

আমার (খুব বিনয়ী) ভেরিয়েশনাল ইনফারেন্স বোঝার জন্য, একটি নিম্নরূপটিকে অনুকূল করে এমন একটি ডিস্ট্রিবিউশন খুঁজে বের করে অজানা একটি বিতরণ আনুমানিক করার চেষ্টা করে : $p$ $q$

K L (p | | q) = \sum_{x} p (x) l o g \frac{p (x)}{q (x)}

$KL (p||q) = \sum\limits_{x} p(x)log \frac {p(x)}{q(x)}$

আমি যখনই ভেরিয়েশনাল ইনফারেন্স বোঝার জন্য সময় ব্যয় করি আমি এই সূত্রটিকে আঘাত করতে থাকি এবং সাহায্য করতে পারি না তবে মনে হয় আমি পয়েন্টটি মিস করছি। দেখে মনে হচ্ছে গণনা করার জন্য আমার জানা দরকার । তবে পুরো বিষয়টি হ'ল আমি এই বিতরণ জানতাম না । $p$ $KL(p||q)$ $p$

এটি এই সঠিক পয়েন্ট যা প্রতিবারই আমি কিছু পরিবর্তনশীল পড়ার চেষ্টা করি আমাকে তাড়িত করে। আমি কী মিস করছি?

সম্পাদনা :

@ উইজ এর উত্তরের ফলাফল হিসাবে আমি এখানে কয়েকটি অতিরিক্ত মন্তব্য যুক্ত করব, আমি আরও সুনির্দিষ্ট হওয়ার চেষ্টা করব।

যে ক্ষেত্রে আমি আগ্রহী সেগুলির ক্ষেত্রে, নিম্নলিখিতটি অবশ্যই ধারণ করা যথাযথভাবে যুক্তিযুক্ত বলে মনে হয়;

p (θ | D) = \frac{p (D | θ) p (θ)}{p (D)} \propto p (D | θ) p (θ)

$p(\theta | D) = \frac{p(D|\theta)p(\theta)}{p(D)} \propto p(D|\theta)p(\theta)$

এক্ষেত্রে আমি জানতে পারি যে তুলনামূলকভাবে দেখতে কেমন হবে কারণ আমি এবং জন্য একটি মডেল পছন্দ করেছিলাম । তারপরে কি আমি এই কথাটি সঠিক হতে পারি যে আমাকে তখন পারিবারিক বিতরণ বাছাই করা দরকার [যেমন গাউসিয়ান বলতে পারি] যে এখন আমি অনুমান করতে পারি । মনে হচ্ছে এক্ষেত্রে আমি নন-নরমালাইজড কাছাকাছি থাকা গাউসিয়ান ফিট করার চেষ্টা করছি । এটা কি সঠিক? $p$ $p(D|\theta)$ $p(\theta)$ $q$ $KL(p(\theta|D) || q)$ $p(D|\theta)p(\theta)$

যদি তা হয় তবে মনে হয় যে আমি অনুমান করছি যে আমার উত্তরোত্তর একটি সাধারণ বিতরণ এবং আমি কেবল ডাইভার্জেন্সের সাথে এই বিতরণের জন্য সম্ভাব্য মানগুলি সন্ধান করার চেষ্টা করি । $KL$

variational-bayes

— ভিনসেন্ট ওয়ার্মারডাম
সূত্র

আমার অনুভূতি আছে যে আপনি সম্পূর্ণরূপে অজানা বিষয় হিসাবে বিবেচনা করছেন । আমি মনে করি না যে এই ঘটনাটি আছে। এটি সম্ভবত আপনি মিস করেছেন। $p$

বলুন আমরা (iid) পর্যবেক্ষণ এবং আমরা অনুমান করতে চাই যেখানে আমরা ধরে নিই যে এবং জন্য নির্দিষ্ট করা আছে মডেলটি. বেয়েসের নিয়ম অনুসারে, $Y = \{y_i\}_{i=1}^n$ $p(x|Y)$ $p(y|x)$ $p(x)$ $x\in\mathbb{R}^d$

p (x | Y) = \frac{p (x)}{p (Y)} p (Y | x) = \frac{p (x)}{p (Y)} \prod_{i = 1}^{n} p (y_{i} | x) .

$p(x|Y) = \frac{p(x)}{p(Y)}p(Y|x) = \frac{p(x)}{p(Y)}\prod_{i=1}^n p(y_i|x).$

প্রথম পর্যবেক্ষণ যে আমরা অবর বন্টন সম্পর্কে কিছু জানেন । এটি উপরের মত দেওয়া আছে। সাধারণত, আমরা কেবল এটির নরমালাইজার জানি না । যদি সম্ভাবনা খুব জটিল হয় তবে আমরা কিছু জটিল বিতরণ । $p(x|Y)$ $p(Y)$ $p(y|x)$ $p(x|Y)$

$q$ $\arg \min_q KL(p||q)$ $p$ $q$ $q \in \mathcal{Q} = \{\prod_{i=1}^d q_i(x_i) \mid \text{each } q_i \text{ is a one-dimensional Gaussian}\}$ $q$

q_{i} \propto \exp (E_{\prod_{j \neq i} q_{j}} \log p (x, Y)),

$q_i \propto \exp( \mathbb{E}_{\prod_{j\neq i} q_j} \log p(x, Y) ),$

যেখানেসঠিক সূত্রটি তেমন কিছু যায় আসে না। বিন্দুটি হ'ল আনুমানিক সত্য এর জ্ঞানের উপর নির্ভর করে এবং আনুমানিক হওয়া উচিত এমন ফর্মের উপর অনুমানের দ্বারা সন্ধান করা যেতে পারে। $p(x, Y) = p(x) \prod_{i=1}^n p(y_i|x).$ $q$ $p$ $q$

হালনাগাদ

নীচে প্রশ্নের আপডেট অংশটির উত্তর দিতে হবে। আমি কেবল বুঝতে পেরেছি যে আমি নিয়ে ভাবছি । আমি সবসময় ব্যবহার করবে সত্য পরিমাণ জন্য, এবং একটি আনুমানিক এক জন্য। ভেরিয়েশনাল ইনফারেন্স বা ভেরিয়েশনাল বেয়েসে, দ্বারা দেওয়া হয় $KL(q||p(x|Y))$ $p$ $q$ $q$

q = \arg min_{q \in Q} K L (q | | p (x | Y)) .

$q = \arg \min_{q \in \mathcal{Q}} KL(q\, ||\, p(x|Y)).$

উপরের মত সীমাবদ্ধ set সেট করে , সমাধানটি আগে দেওয়া একটি। এখন আপনি যদি চিন্তা করা হয় $\mathcal{Q}$

q = \arg min_{q \in Q} K L (p (x | Y) | | q),

$q = \arg \min_{q \in \mathcal{Q}} KL( p(x|Y) \, || \, q),$

for কে তাত্পর্যপূর্ণ পরিবারের উপসেট হিসাবে সংজ্ঞায়িত করা হয়, তারপরে এই অনুমানকে প্রত্যাশা প্রচার (ইপি) বলা হয়। এই ক্ষেত্রে এর সমাধান হ'ল এর মুহুর্তগুলি মেলে । $\mathcal{Q}$ $q$ $p(x|Y)$

যে কোনও উপায়েই, আপনি ঠিক বলেছেন যে মূলত আপনি কেএল অর্থে সত্যিকারের উত্তরোত্তর বন্টনকে কোনও রূপ নেওয়ার সীমাবদ্ধ একটি বিতরণ দ্বারা অনুমান করার চেষ্টা করেন । $q$

— wij
সূত্র

আমি এই নিয়ে তর্ক করতে পারি না। আমি মনে করি এটি সম্পর্কে আমার নিজস্ব গ্লস সহ বেশিরভাগ ব্যাখ্যা।

— পিয়াদার কোয়েল