কেন EM অ্যালগরিদম পুনরাবৃত্তি হতে হবে?

মনে করুন যে আপনার জনসংখ্যার ইউনিট রয়েছে, প্রতিটি র্যান্ডম ভেরিয়েবল । আপনি জন্য যে কোনও ইউনিটের জন্য মানগুলি পর্যবেক্ষণ করেন । আমরা একটি অনুমান চাই । $N$ $X_i \sim \text{Poisson}(\lambda)$ $n = N-n_0$ $X_i > 0$ $\lambda$

মুহুর্তগুলির পদ্ধতি এবং শর্তাধীন উত্তর পাওয়ার সম্ভাব্য উপায়গুলি রয়েছে তবে আমি ইএম অ্যালগরিদম চেষ্টা করতে চেয়েছিলাম। আমি EM অ্যালগরিদমকে যেখানে সাবস্ক্রিপ্টটি অ্যালগরিদমের পূর্ববর্তী পুনরাবৃত্তির থেকে মান নির্দেশ করে এবং সম্মানের সাথে ধ্রুবক পরামিতি। (আমি আসলে মনে করি যে বন্ধনীর মধ্যে ভগ্নাংশ থাকা উচিত , কিন্তু যে সঠিক বলে মনে হচ্ছে না; অন্য সময় জন্য একটি প্রশ্ন)।

Q (λ_{- 1}, λ) = λ (n + \frac{n}{exp (λ_{- 1}) - 1}) + \log (λ) \sum_{i = 1}^{n} x_{i} + K,

$Q\left(\lambda_{-1}, \lambda\right) = \lambda \left(n + \frac{n}{\text{exp}(\lambda_{-1}) - 1}\right) + \log(\lambda)\sum_{i=1}^n{x_i} + K,$

- 1

$-1$

K

$K$

n

$n$

n + 1

$n+1$

এই কংক্রিটটি তৈরি করতে, ধরুন যে , । অবশ্যই, এবং অলক্ষিত এবং আনুমানিক করা হয়। $n=10$ $\sum{x_i} = 20$ $N$ $n_0$ $\lambda$

পূর্ববর্তী পুনরাবৃত্তির সর্বাধিক মানটিতে প্লাগিং করে যখন আমি নীচের ফাংশনটি পুনরাবৃত্তি করি তখন আমি সঠিক উত্তরটিতে পৌঁছে যাই (সিএমএল, এমওএম এবং একটি সাধারণ সিমুলেশন দ্বারা যাচাই করা):

EmFunc <- function(lambda, lambda0){
  -lambda * (10 + 10 / (exp(lambda0) - 1)) + 20 * log(lambda)
}

lambda0 <- 2
lambda  <- 1

while(abs(lambda - lambda0) > 0.0001){
  lambda0 <- lambda
  iter    <- optimize(EmFunc, lambda0 = lambda0, c(0,4), maximum = TRUE)
  lambda  <- iter$maximum
}

> iter
$maximum
[1] 1.593573

$objective
[1] -10.68045

তবে এটি একটি সাধারণ সমস্যা; আসুন পুনরাবৃত্তি না করে সর্বাধিক:

MaxFunc <- function(lambda){
  -lambda * (10 + 10 / (exp(lambda) - 1)) + 20 * log(lambda)
}

optimize(MaxFunc, c(0,4), maximum = TRUE)
$maximum
[1] 2.393027

$objective
[1] -8.884968

ফাংশনটির মান আন-পুনরাবৃত্ত পদ্ধতির চেয়ে বেশি এবং ফলাফল অন্যান্য পদ্ধতির সাথে অসামঞ্জস্যপূর্ণ। দ্বিতীয় পদ্ধতিটি কেন একটি পৃথক এবং (আমার ধারণা) ভুল উত্তর দিচ্ছে?

expectation-maximization

— রাতের পাহারাদার
সূত্র

আপনি যখন EM অ্যালগরিদমের জন্য আপনার উদ্দেশ্যমূলক ফাংশনটি খুঁজে পেয়েছেন আমি ধরে নিয়েছি আপনি দিয়ে ইউনিটগুলির সংখ্যার সাথে চিকিত্সা করেছেন , যা আমি আপনার সুপ্ত প্যারামিটার হিসাবে বলে ডাকব । এই ক্ষেত্রে, আমি (আবার) অভিমানী উপর প্রত্যাশিত মান একটি হ্রাস ফর্ম প্রতিনিধিত্ব করে সম্ভাবনা এর দেওয়া । এই, পূর্ণ সম্ভাবনা হিসাবে একই নয় কারণ যে হিসেবে দেওয়া treadted করা হয়। $x_i=0$ $y$ $Q$ $y$ $\lambda_{-1}$ $\lambda_{-1}$

সুতরাং আপনি সম্পূর্ণ সম্ভাবনার জন্য ব্যবহার করতে পারবেন না , কারণ এতে কীভাবে এর বন্টন পরিবর্তন করে (এবং আপনি সম্পূর্ণ সম্ভাবনা সর্বাধিক করে তোলার সময় আপনি এর সর্বাধিক সম্ভাব্য মানগুলি নির্বাচন করতে চান) সম্পর্কিত তথ্য ধারণ করে না । এই কারণেই শূন্য কাটা পয়সনের সম্পূর্ণ সর্বাধিক সম্ভাবনা আপনার ফাংশন থেকে আলাদা এবং আপনি যখন সর্বাধিক করেন তখন কেন আলাদা (এবং ভুল) উত্তর পাবেন । $Q$ $\lambda$ $y$ $y$ $Q$ $f(\lambda)=Q(\lambda,\lambda)$

সংখ্যাগতভাবে, সর্বাধিক করা আপনার উদ্দেশ্য ফলাফলের কমপক্ষে বৃহত্তর কোনও উদ্দেশ্যমূলক ফাংশনের ফলে নেবে এবং ইএম অ্যালগরিদম সর্বাধিক -তে রূপান্তরিত হওয়ার কোনও গ্যারান্টি নেই - এটি কেবল রূপান্তরিত হওয়ার কথা সম্ভাবনা ফাংশন সর্বাধিক ! $f(\lambda)$ $f$

— jayk
সূত্র