EM অ্যালগরিদম অনুশীলন সমস্যা

এটি মধ্যবর্তী পরীক্ষার জন্য অনুশীলন সমস্যা। সমস্যাটি একটি ইএম অ্যালগরিদমের উদাহরণ। অংশ (চ) নিয়ে আমার সমস্যা হচ্ছে। আমি অংশগুলি (ক) - (ই) সমাপ্তির জন্য তালিকাভুক্ত করেছি এবং যদি আমি আগে কোনও ভুল করেছিলাম।

যাক হার স্বাধীন সূচকীয় র্যান্ডম ভেরিয়েবল হতে । দুর্ভাগ্যক্রমে, প্রকৃত মানগুলি পর্যবেক্ষণ করা হয় না এবং আমরা কেবল মানগুলি নির্দিষ্ট বিরতির মধ্যে পড়ে কিনা তা পর্যবেক্ষণ করি । যাক , , এবং জন্য । আমাদের পর্যবেক্ষণ করা ডেটাতে । $X_1,\ldots,X_n$ $\theta$ $X$ $X$ $G_{1j} = \mathbb{1}\left\{X_j < 1\right\}$ $G_{2j} = \mathbb{1}\left\{1< X_j<2\right\}$ $G_{3j} = \mathbb{1}\left\{X_j > 2\right\}$ $j=1,\ldots,n$ $(G_{1j},G_{2j},G_{3j})$

(ক) পর্যবেক্ষণ করা ডেটা সম্ভাবনা দিন:

$\begin{align*} L(\theta | G) &= \prod_{j=1}^n \text{Pr}\left\{X_j < 1\right\}^{G_{1j}}\text{Pr}\left\{1<X_j<2 \right\}^{G_{2j}}\text{Pr}\left\{X_j >2\right\}^{G_{3j}}\\ &= \prod_{j=1}^n \left(1-e^{-\theta}\right)^{G_{1j}}\left(e^{-\theta}-e^{-2\theta}\right)^{G_{2j}}\left(e^{-2\theta}\right)^{G_{3j}} \end{align*}$

(খ) সম্পূর্ণ ডেটা সম্ভাবনা দিন

$\begin{align*} L(\theta | X,G) &= \prod_{j=1}^n \left(\theta e^{-\theta x_j}\right)^{G_{1j}}\left(\theta e^{-\theta x_j}\right)^{G_{2j}}\left(\theta e^{-\theta x_j}\right)^{G_{3j}} \end{align*}$

(গ) সুপ্ত পরিবর্তনশীল ভবিষ্যদ্বাণীপূর্ণ ঘনত্বটি আবিষ্কার করুন $f(x_j|G,\theta)$

$\begin{align*} f(x_j|G,\theta) &= \dfrac{f_{X,G}(x_j, g)}{f_G(g)}\\ &= \dfrac{ \theta e^{-\theta x_j}\mathbb{1}\left\{x_j \in \text{region r s.t. } G_{rj}=1\right\}}{\left(1-e^{-\theta}\right)^{g_{1j}}\left(e^{-\theta}-e^{-2\theta}\right)^{g_{2j}}\left(e^{-2\theta}\right)^{g_{3j}}} \end{align*}$

(d) ই-পদক্ষেপ। ফাংশনটি দিন $Q(\theta,\theta^i)$

$\begin{align*} Q(\theta,\theta^i) &= \text{E}_{X|G,\theta^i}\left[ \log{f(\mathbf{x}|G,\theta)}\right]\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} - N_2\log{(e^{-\theta}-e^{-2\theta})} - N_3\log{e^{-2\theta}}\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} - N_2\log{(e^{-\theta}(1-e^{-\theta}))} + 2\theta N_3\\ &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3 \end{align*}$

যেখানে $N_1=\sum_{j=1}^n g_{1j}, N_2=\sum_{j=1}^n g_{2j}, N_3=\sum_{j=1}^n g_{3j}$

(ঙ) জন্য জন্য এক্সপ্রেশন দিন । $\text{E}\left[X_j|G_{rj}=1,\theta^i\right]$ $r=1,2,3$

আমি আমার ফলাফলগুলি তালিকাভুক্ত করব যা আমি নিশ্চিত যে সঠিকভাবেই রয়েছি তবে ইতিমধ্যে এই দীর্ঘ প্রশ্নের জন্য ডেরাইভেশনগুলি আরও দীর্ঘ হবে:

$\begin{align*} \text{E}\left[X_j|G_{1j}=1,\theta^i\right] &= \left(\dfrac{1}{1-e^{-\theta^i}}\right)\left(\dfrac{1}{\theta^i}-e^{-\theta^i}(1+1/\theta^i)\right)\\ \text{E}\left[X_j|G_{2j}=1,\theta^i\right] &= \left(\dfrac{1}{e^{-\theta^i}-e^{-2\theta^i}}\right)\left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right)\\ \text{E}\left[X_j|G_{3j}=1,\theta^i\right] &= \left(\dfrac{1}{e^{-2\theta^i}}\right)\left(e^{-2\theta^i}(2+1/\theta^i)\right) \end{align*}$

এটি সেই অংশ যা আমি আটকে আছি এবং এটি পূর্বের ভুলের কারণে হতে পারে:

(চ) এম-পদক্ষেপ। সর্বাধিক সংযুক্ত সন্ধান করুন $\theta$ $Q(\theta,\theta^i)$

মোট প্রত্যাশার আইন থেকে আমাদের অতএব $\begin{align*} \text{E}\left[X_j|G,\theta^i\right] &= \left(\dfrac{1}{\theta^i}-e^{-\theta^i}(1+1/\theta^i)\right) + \left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right) + \left(e^{-2\theta^i}(2+1/\theta^i)\right)\\ &= 1/\theta^i \end{align*}$

$\begin{align*} Q(\theta,\theta^i) &= n\log{\theta} - \theta\sum_{j=1}^n\text{E}\left[X_j|G,\theta^i\right] - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3\\ &= n\log{\theta} - \theta\dfrac{n}{\theta^i} - N_1\log{(1-e^{-\theta})} + \theta N_2 -N_2\log{(1-e^{-\theta})} + 2\theta N_3\\ \dfrac{\partial Q(\theta,\theta^i)}{\partial \theta} &= \dfrac{n}{\theta} - \dfrac{n}{\theta^i} - \dfrac{(N_1+N_2)e^{-\theta}}{1-e^{-\theta}} + N_2+2N_3 \end{align*}$

এরপরে আমার এটি শূন্যের সমান করা উচিত এবং এটি জন্য সমাধান করা উচিত , তবে আমি এটি দীর্ঘ সময় ধরে চেষ্টা করেছি এবং আমি সমাধান করতে পারি না বলে মনে হয় ! $\theta$ $\theta$

— bdeonovic
সূত্র

আমি ব্যাখ্যা ছিল একটি ক্ষমতা যেমন এক মিনিটের জন্য। সবচেয়ে বিভ্রান্তিকর। সাধারণত পুনরাবৃত্তির নম্বর (ধাপ সংখ্যা) বন্ধনী রাখা হয় বা প্রথম বন্ধনী যাতে সঙ্গে গুলিয়ে ফেলা হয় না -th ক্ষমতা । কমপক্ষে এটি প্রশ্নের মধ্যে যা বলা উচিত তা বলাই ভাল (ধরে নিলাম এখন আমার এটি ঠিক আছে)।

θ^{i}

$\theta^i$

θ

$\theta$

[i]

$[i]$

(i)

$(i)$

θ^{(i)}

$\theta^{(i)}$

i

$i$

θ^{i}

$\theta^{i}$

— গ্লেন_বি -রিনস্টেট মনিকা 12'14

হ্যাঁ গ্লেন, এর জন্য দুঃখিত, এটি অবশ্যই EM অ্যালগরিদমের ম পুনরুক্তি।

i

$i$

— বিডিওনোভিক

উত্তর:

সম্পূর্ণ ডেটা সম্ভাবনা জি জড়িত করা উচিত নয়! হলে এটি হওয়ার সম্ভাবনা হওয়া উচিত । মনে রাখবেন যে আপনার সম্পূর্ণ লিখিত তথ্য সম্ভাবনাটি একটি তাত্পর্যপূর্ণ সম্ভাবনার পক্ষে সহজ হয়েছে যেহেতু কেবলমাত্র এর মধ্যে একটি হতে পারে 1.. সম্পূর্ণ ডেটা সম্ভাবনাতে -র রেখে যাওয়া , তবে আপনাকে পরে গণ্ডগোল করে। $\theta$ $X$ $G_{rj}$ $G$

অংশে (d) সম্পূর্ণ ডেটা লগ সম্ভাবনার প্রত্যাশা নেওয়া উচিত, পর্যবেক্ষণ করা ডেটা লগ হওয়ার সম্ভাবনা নয়।

এছাড়াও, আপনি মোট প্রত্যাশা আইন ব্যবহার করা উচিত নয়! স্মরণ করুন যে জি পর্যবেক্ষণ করা হয়েছে এবং এলোমেলো নয়, তাই আপনাকে প্রতিটি জন্য শর্তাধীন প্রত্যাশাগুলির মধ্যে একটি সম্পাদন করা উচিত । term শব্দটি দ্বারা কেবল এই শর্তসাপেক্ষ প্রত্যাশাটি প্রতিস্থাপন করুন এবং তারপরে এম-পদক্ষেপটি সম্পাদন করুন। $X_j$ $X_j^{(i)}$

— jsk
সূত্র

@ বেঞ্জামিন কীভাবে সমস্যাটি আসবে? কীভাবে এটি করতে হয় আমি বুঝতে সাহায্য করতে পেরেছি?

— jsk

মন্তব্যের জন্য ধন্যবাদ @ জেস্ক। আমি গতরাতে ক্লান্ত হয়ে পড়েছিলাম তাই আমি বিছানায় গিয়েছিলাম, তবে আমি আজ সকালে প্রাতঃরাশের পরে আবার এটিকে মোকাবিলা করব :)

— বিডিয়নভিক

আমি মনে করি আমি এটি বের করে ফেলেছি! আবার আপনাকে ধন্যবাদ! এটি আমার কাছে আজ একটি ফাইনালের প্রস্তুতির জন্য ছিল, তাই এটি ইএম সম্পর্কে কিছু বিষয় স্পষ্ট করতে সহায়তা করেছিল।

— বিডিওনোভিক

আপনাকে স্বাগতম. আশা করি আপনার ফাইনালটি আজ ভাল চলছে!

— jsk

@ জেস্কের মন্তব্যের ভিত্তিতে আমি আমার ভুলগুলি প্রতিকার করার চেষ্টা করব:

$\begin{align*} L(\theta|X,G) &= \prod_{j=1}^n \theta e^{-\theta x_j} \end{align*}$

$\begin{align*} Q(\theta,\theta^i) &= n\log{\theta} - \theta\sum_{j=1}^n \text{E}\left[X_j|G,\theta^i\right]\\ &= n\log{\theta} - \theta\left(\dfrac{\sum_{j=1}^n g_{1j}}{1-e^{-\theta^i}}\right)\left(\dfrac{1}{\theta^i} - e^{-\theta^i}(1+1/\theta^i)\right) - \theta\left(\dfrac{\sum_{j=1}^n g_{2j}}{e^{-\theta^i}(1-e^{-\theta^i})}\right)\left(e^{-\theta^i}(1+1/\theta^i)-e^{-2\theta^i}(2+1/\theta^i)\right) - \theta\left(\dfrac{\sum_{j=1}^n g_{3j}}{e^{-2\theta^i}}\right)\left(e^{-2\theta^i}(2+1/\theta^i)\right)\\ &= n\log{\theta} - \theta N_1 A - \theta N_2 B - \theta N_3 C\\ \dfrac{\partial Q(\theta,\theta^i)}{\partial \theta} &= \dfrac{n}{\theta} - N_1A-N_2B - N_3C \overset{set}{=}0 \end{align*}$

জন্য সমাধানে আমরা পেতে $\theta$ $\theta^{(i+1)} = \dfrac{n}{N_1A+N_2B+N_3C}$

— bdeonovic
সূত্র