শূন্য স্ফীত পোইসন মডেলের সুপ্ত পরিবর্তনশীল গঠনের জন্য এমএলই গণনা করতে আপনি কীভাবে EM অ্যালগরিদম ব্যবহার করবেন?

শূন্য স্ফীত পইসন রিগ্রেশন মডেল একটি নমুনা জন্য সংজ্ঞায়িত করা হয় দ্বারা এবং এটি আরও ধরে নেয় যে পরামিতি $(y_1,\ldots,y_n)$

Y_{i} = {\begin{cases} 0 & with probability p_{i} + (1 - p_{i}) e^{- λ_{i}} \\ k & with probability (1 - p_{i}) e^{- λ_{i}} λ_{i}^{k} / k! \end{cases}

$Y_i = \begin{cases} 0 & \text{with probability} \ p_i+(1-p_i)e^{-\lambda_i}\\ k & \text{with probability} \ (1-p_i)e^{-\lambda_i} \lambda_{i}^{k}/k! \end{cases}$

এবং

λ = (λ_{1}, \dots, λ_{n})

$\mathbf{\lambda} = (\lambda_1, \dots, \lambda_n)$

সন্তুষ্ট

p = (p_{1}, \dots, p_{n})

$\textbf{p} = (p_1, \dots, p_n)$

\begin{aligned} \log (λ) & = B β \\ logit (p) & = \log (p / (1 - p)) = G γ . \end{aligned}

$\eqalign{ \log(\mathbf{\lambda}) &= \textbf{B} \beta \\ \text{logit}(\textbf{p}) &= \log(\textbf{p}/(1-\textbf{p})) = \textbf{G} \mathbf{\gamma}. }$

শূন্য-স্ফীত পোইসন রিগ্রেশন মডেলের সংশ্লিষ্ট লগ সম্ভাবনা হ'ল

\begin{aligned} L (γ, β; y) & = \sum_{y_{i} = 0} \log (e^{G_{i} γ} + \exp (- e^{B_{i} β})) + \sum_{y_{i} > 0} (y_{i} B_{i} β - e^{B_{i} β}) \\ - \sum_{i = 1}^{n} \log (1 + e^{G_{i} γ}) - \sum_{y_{i} > 0} \log (y_{i}!) \end{aligned}

$\eqalign{ L(\gamma,\mathbf{\beta}; \mathbf{y}) &= \sum_{y_i=0} \log(e^{G_i \gamma}+\exp(-e^{\textbf{B}_i \mathbf{\beta}})) +\sum_{y_i >0} (y_i \textbf{B}_i \mathbf{\beta}-e^{\textbf{B}_i \mathbf{\beta}})\\ &\quad -\sum_{i=1}^{n} \log(1+e^{G_{i} \gamma})-\sum_{y_i >0} \log(y_{i}!)}$

এখানে এবং ডিজাইনের ম্যাট্রিক রয়েছে। এই ম্যাট্রিকগুলি একই রকম হতে পারে, দুটি উত্পাদনকারী প্রক্রিয়ার জন্য যে বৈশিষ্ট্যগুলি ব্যবহার করতে ইচ্ছুক তার উপর নির্ভর করে। তবে তাদের কাছে একই সংখ্যক সারি রয়েছে। $\mathrm{B}$ $\mathrm{G}$

ধরে নেওয়া যাক আমরা মান্য করতে পারে যে যখন , শূন্য রাষ্ট্র নিখুঁত পক্ষ থেকে হয় এবং যখন $Z_i = 1$ $Y_i$ $Z_i = 0$ $Y_i$

L (γ, β; y, z) = \sum_{i = 1}^{n} \log (f (z_{i} | γ)) + \sum_{i = 1}^{n} \log (f (y_{i} | z_{i}, β))

$L(\gamma,\mathbf{\beta}; \mathbf{y}, \mathbf{z}) = \sum_{i=1}^{n} \log(f(z_i|\mathbf{\gamma}))+\sum_{i=1}^{n} \log(f(y_i|z_i, \mathbf{\beta}))$

= \sum_{i = 1}^{n} z_{i} (G_{i} γ - \log (1 + e^{G_{i} γ})) + - \sum_{i = 1}^{n} (1 - z_{i}) \log (1 + e^{G_{i} γ}) + \sum_{i = 1}^{n} (1 - z_{i}) [y_{i} B_{i} β - e^{B_{i} β} - \log (y_{i}!)]

$= \sum_{i=1}^{n} z_{i} (\textbf{G}_i \gamma-\log(1+e^{G_{i} \gamma}))+ -\sum_{i=1}^{n} (1-z_{i})\log(1+e^{G_{i} \gamma})+ \sum_{i=1}^{n} (1-z_i)[y_{i} \textbf{B}_i \beta-e^{\textbf{B}_i \beta} - \log(y_{i}!)]$

z_{i} = 0

$z_i=0$

z_{i} = 1

$z_i=1$

$Z_i = 0$ $Z_i = 1$

— ডেমিয়েন
সূত্র

f

$f$

f

$f$

বাক্যে আপনি যে সমস্যার মুখোমুখি হচ্ছেন তার মূল:

তারপরে EM অ্যালগরিদম ব্যবহার করে আমরা দ্বিতীয় লগ-সম্ভাবনাটি সর্বোচ্চ করে তুলতে পারি।

$z_i$

$k^{th}$ $z_i$ $(k-1)^{th}$ পুনরাবৃত্তি (এটি "ই-পদক্ষেপ" হিসাবে পরিচিত,) তারপরে তাদের সম্পূর্ণ ডেটা লগ সম্ভাবনার বিকল্প করুন (আমরা কেন এই ক্ষেত্রে এটি করতে পারি তার জন্য নীচে সম্পাদনা দেখুন) এবং বর্তমান পুনরাবৃত্তির জন্য অনুমানগুলি পাওয়ার জন্য প্যারামিটারগুলির সাথে এটি সর্বাধিক বৃদ্ধি করুন ("এম-স্টেপ"))

$\lambda$ $p$

# Generate data
# Lambda = 1,  p(zero) = 0.1
x <- rpois(10000,1)
x[1:1000] <- 0

# Sufficient statistic for the ZIP
sum.x <- sum(x)

# (Poor) starting values for parameter estimates
phat <- 0.5
lhat <- 2.0

zhat <- rep(0,length(x))
for (i in 1:100) {
  # zhat[x>0] <- 0 always, so no need to make the assignment at every iteration
  zhat[x==0] <- phat/(phat +  (1-phat)*exp(-lhat))

  lhat <- sum.x/sum(1-zhat) # in effect, removing E(# zeroes due to z=1)
  phat <- mean(zhat)   

  cat("Iteration: ",i, "  lhat: ",lhat, "  phat: ", phat,"\n")
}

Iteration:  1   lhat:  1.443948   phat:  0.3792712 
Iteration:  2   lhat:  1.300164   phat:  0.3106252 
Iteration:  3   lhat:  1.225007   phat:  0.268331 
...
Iteration:  99   lhat:  0.9883329   phat:  0.09311933 
Iteration:  100   lhat:  0.9883194   phat:  0.09310694

1-zhat $\beta$ $\lambda_i$

$\sum (\mathbb{E}z_i\log{p_i} + (1-\mathbb{E}z_i)\log{(1-p_i)})$

$\mathbf{G}$ $p_i$ $\mathbb{E}z_i = p_i/(p_i+(1-p_i)\exp{(-\lambda_i)})$

আপনি যদি অ্যালগোরিদমকে বোঝার বিপরীতে বাস্তব ডেটাগুলির জন্য এটি করতে চান তবে আর প্যাকেজগুলি ইতিমধ্যে বিদ্যমান; এখানে একটি উদাহরণ রয়েছে http://www.ats.ucla.edu/stat/r/dae/zipoisson.htmpscl গ্রন্থাগারটি ব্যবহার করে ।

সম্পাদনা: আমার জোর দেওয়া উচিত যে আমরা যা করছি তা সম্পূর্ণ-ডেটা লগ সম্ভাবনার প্রত্যাশিত মানকে সর্বাধিক করে তোলা, অনুপস্থিত ডেটা / ল্যাটেন্ট ভেরিয়েবলগুলির প্রত্যাশিত মানগুলির সাথে পূর্ণ-ডেটা লগের সম্ভাবনা সর্বাধিক করে তোলা নয় it যেমনটি ঘটে, অনুপস্থিত ডেটাতে সম্পূর্ণ ডেটা লগ হওয়ার সম্ভাবনা লিনিয়ার, যেমন এটি এখানে রয়েছে, দুটি পন্থা একই, তবে অন্যথায় তা নয়।

— jbowman
সূত্র

@ কোকস, আপনার নিজের পরিপূরক উত্তর হিসাবে এই তথ্যটি যুক্ত করা উচিত, কোনও বিদ্যমান উত্তর পরিবর্তন না করে। এই সম্পাদনাটি অনুমোদিত হওয়া উচিত ছিল না।

— গুং - মনিকা পুনরায়