লুকানো মার্কভ মডেল এবং প্রত্যাশা সর্বাধিকীকরণ অ্যালগরিদম

Question

কেউ কি স্পষ্ট করতে পারেন যে লুকানো মার্কভ মডেলগুলি প্রত্যাশা সর্বাধিকীকরণের সাথে কীভাবে সম্পর্কিত? আমি অনেক লিঙ্ক পেরিয়েছি কিন্তু পরিষ্কার দৃষ্টিভঙ্গি নিয়ে আসতে পারিনি।

ধন্যবাদ!

Answer 1

EM অ্যালগরিদম (প্রত্যাশা সর্বাধিকীকরণ) এমন একটি ক্ষেত্রে সম্ভাবনা কার্যকারিতা অনুকূলকরণের জন্য একটি সাধারণ অ্যালগরিদম যেখানে মডেলটি একটি পর্যবেক্ষণকৃত এবং অরক্ষিত (সুপ্ত) উপাদানগুলির ক্ষেত্রে সম্ভাব্যতা হিসাবে নির্দিষ্ট করা হয়। এইচএমএমগুলি (লুকানো মার্কভ মডেল) এই ফর্মের মডেল কারণ তাদের একটি অরক্ষিত উপাদান রয়েছে, লুকানো রাজ্যগুলি এবং প্রকৃত পর্যবেক্ষণগুলি প্রায়শই এইচএমএম পরিভাষায় নির্গমনকে বলা হয় । তাই, এইচএমএসগুলি এক শ্রেণির মডেল তৈরি করে যার জন্য ইএম অ্যালগরিদম কার্যকর হতে পারে।

জেনারলে, যদি মডেলটি দুটি উপাদান নিয়ে গঠিত , যা আমরা ধরে নিয়েছি যে আমরা সরলতার জন্য একটি সীমাবদ্ধ স্থানে মান গ্রহণ করি এবং যদি সম্ভাব্য মডেল স্পেসিফিকেশনটি যৌথ পয়েন্টের সম্ভাব্যতাগুলির সমন্বয় করে , দ্বারা প্যারামিটারাইজড , তারপরে কেবলমাত্র পর্যবেক্ষণ করার সম্ভাবনা হ'ল $(X,Y)$$p_{\theta}(x,y)$$\theta$$X = x$

$$L_x(\theta) = \sum_{y} p_{\theta}(x,y).$$ যোগফল নির্দোষ মনে হলেও তা নয়। এইচএমএমগুলির জন্য যোগফলটি লুকানো রাজ্যের মধ্যে সমস্ত সম্ভাব্য ট্রানজিশনের উপর দিয়ে যায়, যা পর্যবেক্ষণের ক্রমটির দৈর্ঘ্য বাড়লে তাড়াতাড়ি একটি শক্তিশালী সংখ্যায় পরিণত হয়। সৌভাগ্যবশত সেখানে সম্ভাবনা দ্রুত গণনার জন্য HMMs (বিচক্ষণ অনগ্রসর) জন্য আলগোরিদিম, এবং সম্ভাবনা তারপর, নীতিগতভাবে, এর maksimum-সম্ভাবনা প্রাক্কলন জন্য কোনো সাধারণ কাজের অপ্টিমাইজেশান এলগরিদম মধ্যে প্লাগ যেতে পারে । বিকল্পটি হ'ল ইএম-অ্যালগরিদম। এটি এমন একটি অ্যালগরিদম যা পুনরাবৃত্তভাবে মাঝখানে পরিবর্তিত হয়$\theta$

• ই-পদক্ষেপ , যা একটি একটি গণনার হয় শর্তাধীন প্রত্যাশা দেওয়া পর্যবেক্ষিত বর্তমান হিসাব অনুযায়ী$x$$\theta$
• এম-পদক্ষেপ , যা একটি বৃহদায়ন হয়

EM- অ্যালগোরিদম সর্বাধিক অর্থপূর্ণ হয় যদি উপরের দুটি পদক্ষেপ একটি কম্পিউটেশনাল দক্ষ পদ্ধতিতে প্রয়োগ করা যায়, উদাহরণস্বরূপ যখন শর্তাধীন প্রত্যাশা এবং সর্বাধিককরণের জন্য আমাদের ফর্ম এক্সপ্রেশন বন্ধ থাকে।

Orতিহাসিকভাবে, সাধারণ ইএম-অ্যালগরিদমকে কৃতিত্ব দেওয়া হয় ডেম্পস্টার, লেয়ার্ড এবং রুবিনকে , যিনি তাদের 1977 এর পেপারে প্রমাণ করেছিলেন যে অন্যান্য বিষয়গুলির মধ্যেও অ্যালগরিদম এককভাবে বর্ধিত সম্ভাবনার মানগুলির সাথে পরামিতিগুলির ক্রমকে নিয়ে যায়। তারা "ইএম-অ্যালগোরিদম" শব্দটিও তৈরি করেছিলেন। মজার বিষয় হল, এইচএমএমগুলির জন্য ইএম-অ্যালগরিদমটি বাম এট আল দ্বারা ইতিমধ্যে 1970 সালে বর্ণনা করা হয়েছিল । , এবং প্রায়শই এইচএমএম সাহিত্যে বাউম-ওয়েলচ অ্যালগরিদম হিসাবেও অভিহিত হয় (ওয়েলচ কী করেছিল তা আমি ঠিক জানি না ...)।

Comments

ওয়েলচ আবিষ্কার করেছেন যা এখন বাউম-ওয়েলক অ্যালগরিদম বলে (তিনি এটিকে "সহজ অংশ" হিসাবে ডাকেন); বাউম গাণিতিকভাবে প্রমাণ করেন যে অ্যালগরিদম কাজ করে ("হার্ড অংশ")। সঠিক বিশদ জানতে কোর্স ।

— মিখাইল কোরোভভ

@ মিখাইলকোরোভভ, এই তথ্যবহুল রেফারেন্সের জন্য ধন্যবাদ।

— এনআরএইচ

Answer 2

প্রত্যাশা ম্যাক্সিমাইজেশন হ'ল এক পুনরাবৃত্ত পদ্ধতি যা বিভিন্ন জেনারেটরি স্ট্যাটিস্টিকাল মডেলের বিভিন্ন ক্ষেত্রে পরিসংখ্যানিক অনুক্রম সম্পাদন করতে ব্যবহৃত হয়, উদাহরণস্বরূপ গাউসিয়ান এবং অন্যান্য বায়েশিয়ান নেটওয়ার্ক টাইপ মডেলের মিশ্রণ। একমাত্র সংযোগটি হ'ল এইচএমএমগুলিও বেইশিয়ান নেটওয়ার্ক। তবে একজন সম্ভবত এইচএমএমগুলিতে ইএম ব্যবহার করবেন না কারণ এইচএমএম-এর মধ্যে অনুমানের জন্য একটি সঠিক অ্যালগরিদম রয়েছে যা ভিটারবি অ্যালগরিদম বলে। সুতরাং যদিও কোনও এইচএমএম-তে অনুপ্রবেশ সম্পাদন করতে EM ব্যবহার করতে পারে, আপনি কোনও কারণ হবেন না কারণ।

Comments

এটি সম্পূর্ণরূপে সঠিক নয় কারণ আপনি দুটি ভিন্ন ধরণের "অনুমান" মিশ্রণ করেন। ইএম হ'ল অজানা প্যারামিটারগুলির অনুমানের জন্য একটি অ্যালগরিদম, লুকানো রাজ্যের সবচেয়ে সম্ভাব্য অনুক্রমের গণনা করার জন্য ভিটারবি হ'ল আলগোরিদম। প্যারামিটার অনুমানের জন্য আপনি প্রকৃতপক্ষে এইচএমএসের জন্য ইএম ব্যবহার করবেন। আমি আমার উত্তরে এইচএমএস এবং ইএম এর মধ্যে সম্পর্কের ব্যাখ্যা দিয়ে historicalতিহাসিক রেফারেন্স সহ ইএম-অ্যালগরিদম সম্পর্কে আরও বিশদ দিয়েছি।

— এনআরএইচ

Answer 3

এইচএমএম-তে আমরা মূলত তিনটি পরামিতি অনুমান করার চেষ্টা করি:

1. প্রাথমিক অবস্থার সম্ভাবনা। এটি উপাদানগুলির একটি ভেক্টর , যেখানে রাষ্ট্রের সংখ্যা।$K$$K$

2. ট্রানজিশন ম্যাট্রিক্স। এটি আকারের বর্গ ম্যাট্রিক্স ।$K\times K$

3. কোনও আইটেম পর্যবেক্ষণ করার শর্তসাপেক্ষ সম্ভাবনা, কিছু রাজ্যের শর্তযুক্ত। এটি আকারের ম্যাট্রিক্সও যেখানে পর্যবেক্ষণের সংখ্যা।$K\times N$$N$

এখন, EM অংশটি আসে যখন আপনি উপরে বর্ণিত পরিমাণগুলি / পরামিতিগুলি অনুমান করার চেষ্টা করবেন। কিছু এলোমেলো অনুমান দিয়ে শুরু করে, পর্যবেক্ষণের সম্ভাবনাটি মূল্যায়ন করা হয় এবং যতক্ষণ না আমরা সর্বোচ্চ সম্ভাবনা পাই ততক্ষণ পরামিতিগুলি পুনরাবৃত্তভাবে সমন্বয় করা হয়। সুতরাং, এইচএমএম এর মাধ্যমে আমরা কিছু প্রক্রিয়া মডেল করি এবং এর জন্য আমাদের কিছু পরামিতি প্রবর্তন করতে হবে। পরামিতিগুলি অনুমান করতে, EM রেন্ডার করা হয়।

এটি একটি খুব সংক্ষিপ্ত উত্তর। EM বাস্তবায়ন করার জন্য বিভিন্ন কৌশল অবলম্বনের জন্য অন্যান্য উপ-সমস্যাগুলির একগুচ্ছ প্রয়োজন। গভীরতা বোঝার জন্য, রাবিনার ক্লাসিক টিউটোরিয়াল কাগজটি উচ্চ প্রস্তাবিত।