EM, কোন স্বজ্ঞাত ব্যাখ্যা আছে?

EM পদ্ধতিটি কমবেশি কালো যাদু হিসাবে নিরবচ্ছিন্নভাবে উপস্থিত হয়। তত্ত্বাবধানে থাকা ডেটা ব্যবহার করে কোনও এইচএমএমের উদাহরণস্বরূপ প্যারামিটার (উদাহরণস্বরূপ)। তারপরে অবিচলিত ডেটা ডিকোড করুন, 'গণনা' ইভেন্টগুলিতে ফরোয়ার্ড-ব্যাকওয়ার্ড ব্যবহার করে যেমন ডেটা ট্যাগ করা হয়েছে, কম বেশি। কেন এই মডেলটি আরও ভাল করে তোলে? আমি গণিত সম্পর্কে কিছু জানি, তবে আমি এটির কোনও মানসিক চিত্রের জন্য আগ্রহী।

expectation-maximization intuition

— bmargulies
সূত্র

আমি নিশ্চিত নই তবে আমি মনে করি এটি একটি স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত অপ্টিমাইজেশন পদ্ধতি হিসাবে ব্যাখ্যা করা সম্ভব। আমি সে সম্পর্কে

— ভাবব

কিছু টাইপিং সংরক্ষণ করার জন্য, পর্যবেক্ষণ করা ডেটা , অনুপস্থিত ডেটা (যেমন এইচএমএমের লুকানো রাজ্যগুলি) এবং আমরা যে প্যারামিটার ভেক্টরকে জিজ্ঞাসা করতে চেষ্টা করছি তার কল করুন (উদাহরণস্বরূপ রূপান্তর / নির্গমন সম্ভাবনা) $X$ $Z$ $Q$

স্বজ্ঞাত ব্যাখ্যাটি হ'ল আমরা মূলত প্রতারণা করি, একটি মুহুর্তের জন্য ভান করি যা আমরা জানি যাতে আমরা Z এর শর্তসাপেক্ষ বন্টন পেতে পারি যে পরিবর্তে আমাদেরকে জন্য MLE সন্ধান করতে দেয় (এই মুহুর্তের জন্য উপেক্ষা করে আমরা মূলত একটি বিজ্ঞপ্তি করছি যুক্তি), তারপরে স্বীকার করুন যে আমরা প্রতারণা করেছি, জন্য আমাদের নতুন, আরও ভাল মান এবং যতক্ষণ না আমাদের আর প্রতারণা করতে হবে না ততক্ষণ এটিকে আবার করতে হবে। $Q$ $Q$ $Q$

সামান্য আরও প্রযুক্তিগতভাবে, আমরা আসল মান জানি যে ভান করে , আমরা শর্তাধীন বিতরণ সম্পর্কে কিছু জানি ভান করতে পারি , আমাদের জন্য আমাদের অনুমান উন্নত করতে দেয় যা , যা এখন আমরা সাজা জন্য বাস্তব মান তাই আমরা জাহির করতে পারেন আমরা শর্তসাপেক্ষ ডিস্ট্রিবিউশন সম্পর্কে কিছু জানেন , যা আমাদের , যা ... এবং এর জন্য আমাদের অনুমানকে উন্নত করতে দেয় । $Q$ $Z|\{X,Q\}$ $Q$ $Q$ $Z|\{X,Q\}$ $Q$

আরও প্রযুক্তিগতভাবে, যদি আমরা জানতাম, তবে আমরা সর্বাধিক করতে পারতাম এবং সঠিক উত্তর পেতে পারি। সমস্যা হলো আমরা জানি না হয় , এবং কোন অনুমান এটা উপর নির্ভর করে নয়। তবে আমরা যদি জন্য সেরা অনুমান (বা বিতরণ) সন্ধান করতে চাই তবে আমাদের এবং । আমরা বিশ্লেষণাত্মকভাবে অনন্য ম্যাক্সিমাইজার চাইলে আমরা মুরগি এবং ডিমের পরিস্থিতিতে আটকে আছি। $Z$ $\log(f(Q|X,Z))$ $Z$ $Q$ $Z$ $X$ $Q$

আমাদের 'আউট' যে - কোন অনুমান জন্য (এটা কল ) - আমরা বিতরণের জানতে পারেন , এবং তাই আমরা আমাদের বৃদ্ধি করতে পারেন বলে আশা করা যুগ্ম লগ-সম্ভাবনা , শর্তাধীন বিতরণ সম্মানের সাথে । এই শর্তসাপেক্ষ বন্টন মূলত আমাদের বলে কিভাবে বর্তমান মূল্য উপর নির্ভর করে দেওয়া $Q$ $Q_n$ $Z|\{Q_n,X\}$ $Q|\{X,Z\}$ $Z|\{Q_n,X\}$ $Z$ $Q$ $X$ এবং দেয় আমাদের জানতে পরিবর্তন কিভাবে উভয়ের জন্য আমাদের সম্ভাবনা বৃদ্ধি এবং একটি নির্দিষ্ট মানের জন্য একই সময়ে (যে আমরা ডেকেছে )। একবার আমরা একটি নতুন বাছাই করার পরে , জন্য আমাদের আলাদা শর্তযুক্ত বিতরণ হবে এবং তাই পুনরায় ক্যালকুলেট প্রত্যাশা করতে হবে। $Q$ $Q$ $Z$ $Q$ $Q_n$ $Q_{n+1}$ $Z|\{Q_{n+1}, X\}$

— সমৃদ্ধ
সূত্র