প্রত্যাশা সর্বাধিক ব্যাখ্যা

আমি EM অ্যালগরিদম সম্পর্কিত খুব সহায়ক টিউটোরিয়াল পেয়েছি ।

টিউটোরিয়ালটির উদাহরণ এবং চিত্রটি কেবল উজ্জ্বল।

এখানে চিত্র বর্ণনা লিখুন

সম্ভাবনার গণনা সম্পর্কিত সম্পর্কিত প্রশ্ন কীভাবে প্রত্যাশা সর্বাধিকীকরণ কাজ করে?

উদাহরণের সাথে টিউটোরিয়ালে বর্ণিত তত্ত্বটি কীভাবে সংযুক্ত করবেন সে সম্পর্কে আমার আরও একটি প্রশ্ন রয়েছে।

ই-পদক্ষেপের সময়, EM নীচে সীমা জন্য একটি ফাংশন বেছে নেয় এবং যার জন্য । । $g_t$ $\log P(x;\Theta)$ $g_t( \hat{\Theta}^{(t)}) = \log P(x; \hat{\Theta}^{(t)})$

সুতরাং আমাদের উদাহরণে কী , এবং দেখে মনে হচ্ছে এটি প্রতিটি পুনরাবৃত্তির জন্য আলাদা হওয়া উচিত। $g_t$

এছাড়াও, উদাহরণস্বরূপ এবং তারপরে সেগুলি ডেটাতে প্রয়োগ করে আমরা পেয়েছি যে এবং । আমার জন্য যা পাল্টা স্বজ্ঞাত দেখাচ্ছে। আমাদের কিছু পূর্ব অনুমান ছিল, এটি ডেটা প্রয়োগ করে এবং নতুন অনুমান পাওয়া যায়, তাই ডেটা কোনওভাবে অনুমানগুলি পরিবর্তন করে। আমি বুঝতে পারছি না কেন এর সমান নয় নেই । $\hat{\Theta}_A^{(0)} = 0.6$ $\hat{\Theta}_B^{(0)} = 0.5$ $\hat{\Theta}_A^{(1)} = 0.71$ $\hat{\Theta}_B^{(1)} = 0.58$ $\hat{\Theta}^{(0)}$ $\hat{\Theta}^{(1)}$

এছাড়াও, আপনি যখন এই টিউটোরিয়ালে পরিপূরক নোট 1 দেখেন তখন আরও প্রশ্ন উত্থিত হয় । উদাহরণস্বরূপ আমাদের ক্ষেত্রে কী কেন এই বৈষম্য কেন শক্ত তা আমার কাছে স্পষ্ট নয় $Q(z)$ $Q(z)=P(z|x;\Theta)$

ধন্যবাদ.

— user16168
সূত্র

পরিপূরক সামগ্রীতে কী চলছে তা নির্ধারণ করতে আমি এই নোটগুলি খুব সহায়ক বলে মনে করেছি।

ধারাবাহিকতার জন্য এই প্রশ্নগুলির আমি কিছুটা অর্ডার থেকে উত্তর দেব।

প্রথম: কেন এটি

$\theta^{(0)} \ne \theta^{(1)}$

কারণটি হ'ল আমাদের ফাংশন কে এমনভাবে বেছে নেওয়া হয়েছে যে এটি আমাদের প্রাথমিক অনুমানের the এর ২ টি সংঘটিত হওয়ার সাথে চেয়ে কম বা সমান হওয়ার গ্যারান্টিযুক্ত is । যদি আমাদের পূর্বের অনুমানগুলি নিখুঁত প্রাথমিক অনুমানগুলি হয় তবে আপনি সঠিক হয়ে উঠবেন এবং । অপরিবর্তিত থাকবে। তবে আমরা তৈরি ফাংশন উচ্চতর মানগুলি খুঁজে পেতে , সুতরাং আমাদের জন্য পরামিতিটির পরবর্তী পুনরাবৃত্তিটি আমাদের চেয়ে বেশি হওয়ার নিশ্চয়তা দেয়। $g_0$ $\log(P(x;\theta))$ $\theta^{(0)}$ $\theta^{(1)}$ $g_0$ $\theta$

দ্বিতীয়: কেন যখন অসমতার আঁটসাঁট হয়

Q (z) = P (z | x; θ)

$Q(z) = P(z|x;\theta)$

এই সম্পর্কে পাদটীকাতে একটি ইঙ্গিত রয়েছে যেখানে বলা হয়েছে,

সাম্যতা হ'ল যদি এবং কেবল যদি র্যান্ডম ভেরিয়েবল সম্ভাব্যতা 1 (যেমন, ) সহ স্থির থাকে তবে $y=E[y]$

implying রয়েছে যা আমাদের পছন্দ তোলে ধ্রুবক। এটি দেখতে, এটি বিবেচনা করুন: $Q$ $\frac{P(x, z; \theta)}{Q(z)}$

P (x, z; θ) = P (z | x; θ) P (x; θ)

$P(x, z ; \theta) = P(z | x; \theta) P(x; \theta)$

যা আমাদের ভগ্নাংশ তৈরি করে

\frac{P (z | x; θ) P (x; θ)}{P (z | x; θ)} = P (x; θ)

$\frac{P(z | x; \theta) P(x; \theta)}{P(z|x;\theta)} = P(x; \theta)$

সুতরাং $P(x; \theta)$ $z$ $C$

\log (\sum_{z} Q (z) C) \geq \sum_{z} Q (z) \log (C)

$\log{\big( \sum_z{Q(z)C} \big)} \ge \sum_z{Q(z)\log(C)}$

$Q(z)$

$g_t$

আমি সংযুক্ত নোটগুলিতে দেওয়া উত্তর পরিপূরক নোটগুলির তুলনায় কিছুটা পৃথক, তবে এগুলি কেবল একটি ধ্রুবক দ্বারা পৃথক হয় এবং আমরা এটিকে সর্বোচ্চ করে তুলছি যাতে এটি ফলাফল হয় না। নোটগুলির মধ্যে একটিটি (উপার্জন সহ) হ'ল:

g_{t} (θ) = \log (P (x | θ^{(t)})) + \sum_{z} P (z | x; θ^{(t)}) \log (\frac{P (x | z; θ) P (z | θ)}{P (z | x; θ^{(t)}) P (x | θ^{(t)})})

$g_t(\theta) = \log(P(x|\theta^{(t)})) + \sum_z{P(z|x;\theta^{(t)})\log{\big( \frac{P(x|z;\theta)P(z|\theta)}{P(z|x;\theta^{(t)})P(x|\theta^{(t)})} \big)}}$

এই জটিল সূত্রটি পরিপূরক নোটগুলিতে দৈর্ঘ্যে আলোচনা করা হয়নি, সম্ভবত কারণ এই শর্তাবলীর অনেকগুলি ধ্রুবক হবে যা আমরা সর্বাধিক বাড়িয়ে দিলে ফেলে দেওয়া হবে। আমরা যদি এখানে প্রথম স্থানে পৌঁছে যাই সে বিষয়ে আগ্রহী হন, আমি আমার লিঙ্কযুক্ত সেই নোটগুলির প্রস্তাব দিই।

$g_t(\theta^{(t)})$ $g_t(\theta^{(t)}) = \log P(x|\theta^{(t)})$

— মাইক
সূত্র