ভেরিয়েশনাল বেয়েস এবং ইএম এর মধ্যে সম্পর্ক

আমি কোথাও পড়েছি যে ভেরিয়াল বয়েস পদ্ধতিটি ইএম অ্যালগরিদমের একটি সাধারণীকরণ। আসলে, অ্যালগরিদমের পুনরাবৃত্ত অংশগুলি খুব একই রকম similar EM অ্যালগরিদমটি ভেরিয়াল বেয়েসের একটি বিশেষ সংস্করণ কিনা তা পরীক্ষা করার জন্য, আমি নিম্নলিখিতগুলি চেষ্টা করেছিলাম:

$Y$ হ'ল ডেটা, হ'ল সুপ্ত ভেরিয়েবলের সংগ্রহ এবং হ'ল পরামিতি। ভেরিয়েশনাল বেয়েসে আমরা প্রায় একটি অনুমান করতে পারি । যেখানে গুলি সরল, ট্র্যাকটেবল বিতরণ। $X$ $\Theta$ $P(X,\Theta|Y) \approx Q_X(X)Q_\Theta(\Theta)$ $Q$
যেহেতু ইএম অ্যালগরিদম কোনও এমএপি পয়েন্টের অনুমানের সন্ধান করে, আমি ভেবেছিলাম যে ভেরিয়েশনাল বয়েস ইএম-তে রূপান্তর করতে পারে যদি আমি একটি ডেল্টা ফাংশন ব্যবহার করি যেমন: । হ'ল পরামিতিগুলির প্রথম অনুমান যা সাধারণত ইএম-তে হয়। $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $\Theta_1$
যখন দেওয়া হয়, কে কেএল ন্যূনতম করে the সূত্রটি দ্বারা পাওয়া যায় উপরের সূত্রটি সরল করে , এই পদক্ষেপটি প্রত্যাশা পদক্ষেপের সমতুল্য হয়ে দাঁড়ায় ইএম অ্যালগোরিদমের! $Q^1_\Theta(\Theta)=\delta_{\Theta^1}(\Theta)$ $Q^1_X(X)$
$Q_{X}^{1} (X) = \frac{\exp (E_{δ_{Θ^{1}}} [\ln P (X, Y, Θ)])}{\int \exp (E_{δ_{Θ^{1}}} [\ln P (X, Y, Θ)]) d X}$ $Q^1_X(X)=\frac{\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])}{\int\exp(E_{\delta_{\Theta^1}}[\ln P(X,Y,\Theta)])dX}$ $Q^1_X(X)=P(X|\Theta^1,Y)$

তবে এর ধারাবাহিকতা হিসাবে আমি ম্যাক্সিমাইজেশন পদক্ষেপটি অর্জন করতে পারি না। পরবর্তী পদক্ষেপে আমাদের গণনা করতে হবে এবং বেইস পুনরাবৃত্তির বিধি অনুসারে এটি হ'ল: $Q^2_\Theta(\Theta)$

Q_{Θ}^{2} (Θ) = \frac{\exp (E_{P (X | Θ^{1}, Y)} [\ln P (X, Y, Θ)])}{\int \exp (E_{P (X | Θ^{1}, Y)} [\ln P (X, Y, Θ)]) d Θ}

$Q^2_\Theta(\Theta)=\frac{\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])}{\int\exp(E_{P(X|\Theta^1,Y)}[\ln P(X,Y,\Theta)])d\Theta}$

ভিবি এবং ইএম অ্যালগরিদমগুলি কি এইভাবে সংযুক্ত রয়েছে? ভেরিয়াল বেয়েসের একটি বিশেষ কেস হিসাবে আমরা কীভাবে ইএম অর্জন করতে পারি, আমার পদ্ধতির সত্য?

bayesian expectation-maximization variational-bayes

— উফুক ক্যান বিচি
সূত্র

আপনি কোথায় পড়েছেন যে ইএম অ্যালগরিদম একটি এমএপি অনুমানের সন্ধান করে? নীল অ্যান্ড হিন্টন (1998) এর এই গবেষণাপত্রটিতে উপস্থাপিত EM এর দৃষ্টিভঙ্গিটি বুঝতে পারলে ভেরিয়েশনাল ইনফেরেন্স এবং ইএম এর মধ্যে সম্পর্ক স্পষ্ট হয়ে উঠবে । আমার উত্তর এখানে দেখুন ।

— লুকাস

আমি মনে করি আমি ইএম অ্যালগরিদম ঠিক একইভাবে শিখেছি যেমন এই কাগজটি ব্যাখ্যা করেছে, এটি একটি নিম্ন সীমাবদ্ধ সীমাবদ্ধকরণ সমস্যা হিসাবে দেখা হয়। জেনসেনের সাম্যতা এবং তারতম্যের ক্যালকুলাস ব্যবহার করে দেখা যায় যে প্রত্যাশা পদক্ষেপে, হল এমন একটি বিতরণ যা জন্য নিম্ন সর্বাধিক করে তোলে এবং সর্বাধিককরণের পদক্ষেপে, একটি , যা নীচের সীমানায় সর্বাধিক। সুতরাং, এটি ভেরিয়েন্টাল বয়েসের সাথে সমান। (এবং এটি স্থানীয় সর্বাধিক প্রান্তিক পূর্ববর্তী স্থানে রূপান্তরিত করে, তাই

P (X | Θ^{t}, Y)

$P(X|\Theta^t,Y)$

Θ^{t}

$\Theta^t$

Θ^{t + 1} = a r g m a x_{Θ} < \ln P (X, Y, Θ) >_{P (X | Θ^{t}, Y)}

$\Theta^{t+1} = arg max_{\Theta} <\ln P(X,Y,\Theta)>_{P(X|\Theta^t,Y)}$

— ম্যাপের

দুঃখিত, আমি আপনার প্রশ্নটি যথেষ্ট মনোযোগ দিয়ে পড়িনি। আমি বিশ্বাস করি আপনার গণনা করার সর্বাধিকীকরণের পদক্ষেপটি কেবলমাত্র যদি আপনি কোনও বিতরণকে মঞ্জুরি দেন তবে তা বৈধ, যদি আপনি কেবলমাত্র ফ্যাক্টেরাইজেশন অনুমান করেন। তবে আপনি অতিরিক্তভাবে ধরে যে একটি ব-দ্বীপ বিতরণ। স্পষ্টভাবে নিম্ন মুখী বাড়ানোর লক্ষ্যে থেকে সম্মান সঙ্গে চেষ্টা করুন এর প্যারামিটার ।

Q_{Θ}^{2}

$Q_\Theta^2$

Q_{Θ}^{2}

$Q_\Theta^2$

Θ^{2}

$\Theta^2$

Q_{Θ}^{2} (Θ) = δ_{Θ^{2}} (Θ)

$Q_\Theta^2(\Theta) = \delta_{\Theta^2}(\Theta)$

— লুকাস

আমি উপস্থাপনার 21 পৃষ্ঠায় পেয়েছি cs.cmu.edu/~tom/10-702/Zoubin-702.pdf EM এবং VB এর একটি তুলনা দেখানো হয়েছে, একইভাবে ডায়রাক ফাংশনটি ব্যবহার করে। তবে ভিবি কীভাবে ইএম হ্রাস করে তা দেওয়া হয় না is

— ইউফুক বিসিচি ক্যান

আপনার পদ্ধতির সঠিক। EM সীমাবদ্ধতার অধীনে VB এর সমতুল্য যে আনুমানিক পোস্টেরিয়রটি একটি পয়েন্ট ভর হিসাবে সীমাবদ্ধ। (এটি বেইসিয়ান ডেটা অ্যানালাইসিসের 337 পৃষ্ঠায় প্রমাণ ছাড়াই উল্লেখ করা হয়েছে ।) আসুন এই বিন্দুটির অজানা অবস্থান: ভিবি হবে নিম্নোক্ত কেএল-ডাইভারজেন্সটি হ্রাস করুন: সর্বনিম্ন ওভার ইএম এর ই-পদক্ষেপ দেয় এবং সর্বনিম্ন ওভার এম-পদক্ষেপ দেয়। $\Theta$ $\Theta^*$

Q_{Θ} (Θ) = δ (Θ - Θ^{*})

$Q_\Theta(\Theta) = \delta(\Theta - \Theta^*)$

K L (Q | | P) = \int \int Q_{X} (X) Q_{Θ} (Θ) \ln \frac{Q_{X} (X) Q_{Θ} (Θ)}{P (X, Y, Θ)} d X d Θ = \int Q_{X} (X) \ln \frac{Q_{X} (X) Q_{Θ} (Θ^{*})}{P (X, Y, Θ^{*})} d X

$KL(Q||P)=\int \int Q_X(X) Q_\Theta(\Theta) \ln \frac{Q_X(X) Q_\Theta(\Theta)}{P(X,Y,\Theta)} dX d\Theta \\ = \int Q_X(X) \ln \frac{Q_X(X) Q_\Theta(\Theta^*)}{P(X,Y,\Theta^*)} dX$

Q_{X} (X)

$Q_X(X)$

Θ^{*}

$\Theta^*$

অবশ্যই, আপনি যদি কেএল ডাইভারজেনেন্সকে প্রকৃত পক্ষে মূল্যায়ন করেন তবে তা অসীম হবে। আপনি যদি ডেল্টা ফাংশনটিকে সীমা হিসাবে বিবেচনা করেন তবে এটি কোনও সমস্যা নয়।

— টম মিনকা
সূত্র

প্রযুক্তিগতভাবে, im আর্ট এমএপি-ইএম এর এম-পদক্ষেপের সাথে সামঞ্জস্য করে (পূর্ববর্তী ) এর সাথে। - বিভাগে 3.1 VBEM কাগজ

E_{Q_{x}} [\ln P (X, Y, Θ^{*})] = E_{Q_{x}} [\ln P (X, Y | Θ^{*})] + \ln P (Θ^{*})

$\mathbb{E}_{Q_x}[\ln P(X, Y, \Theta^*)] = \mathbb{E}_{Q_x}[\ln P(X, Y | \Theta^*)] + \ln P(\Theta^*)$

Θ^{*}

$\Theta^*$

P (Θ^{*})

$P(\Theta^*)$

— Yibo ইয়াং