কাগজ থেকে প্রত্যাশা সর্বাধিককরণে সহায়তা: কীভাবে পূর্বে বিতরণকে অন্তর্ভুক্ত করা যায়?

9

প্রশ্নটি শিরোনামযুক্ত কাগজটির উপর ভিত্তি করে: মিলিত রেডিয়েটিভ ট্রান্সপোর্ট-ডিফিউশন মডেল ব্যবহার করে বিচ্ছুরিত অপটিক্যাল টমোগ্রাফিতে চিত্র পুনর্গঠন Image

লিংক ডাউনলোড কর

লেখক ই.এম. সঙ্গে অ্যালগরিদম প্রয়োগ একটি অজানা ভেক্টরের sparsity নিয়মিতকরণ একটি ইমেজ পিক্সেল অনুমান করার জন্য। মডেল দিয়েছেন $l_1$ $\mu$

\begin{matrix} (1) & y = A μ + e \end{matrix}

$y=A\mu + e \tag{1}$ অনুমানটি Eq (8) এ দেওয়া হয়েছে

\begin{matrix} (2) & \hat{μ} = \arg m a x \ln p (y | μ) + γ \ln p (μ) \end{matrix}

$\hat{\mu} = \arg max {\ln p(y|\mu) + \gamma \ln p(\mu)} \tag{2}$

আমার ক্ষেত্রে, আমি বিবেচনা করেছেন দৈর্ঘ্যের একটি ফিল্টার করা এবং হয় ফিল্টার প্রতিনিধিত্বমূলক ভেক্টর। সুতরাং, $\mu$ $L$ $\mathbf{\mu}$ $L \times 1$

মডেলটি as হিসাবে আবার লেখা যেতে পারে

\begin{matrix} (3) & y (n) = μ^{T} a (n) + v (n) \end{matrix}

$y(n) = \mathbf{\mu^T}a(n) + v(n) \tag{3}$

প্রশ্ন: সমস্যা গঠনের: (এন দ্বারা 1) অরক্ষিত ইনপুট এবং অজানা বৈকল্পিক সংযোজক শব্দের সাথে শূন্য গড় । এমএলই সমাধানটি প্রত্যাশা ম্যাক্সিমাইজেশন (ইএম) এর উপর ভিত্তি করে তৈরি করবে। ${\mu(n)}$ $\{e(n)\}$ $\sigma^2_e$

কাগজে একিউ (১৯) হ'ল ফাংশন - সম্পূর্ণ লগ-সম্ভাবনা তবে আমার ক্ষেত্রে আমি বুঝতে পারি না যে আমি কীভাবে সম্পূর্ণ লগ-সম্ভাবনা এক্সপ্রেশনটিতে এর বিতরণকে অন্তর্ভুক্ত করতে পারি । $A$ $A, \mu$

পূর্বের বিতরণ সহ EM ব্যবহারের সম্পূর্ণ লগ-সম্ভাবনা কী হবে ? $y$

— SKM
সূত্র

আপনি কি আসলে লগ-সম্ভাবনা চান বা পরিবর্তে লগ-পোস্টেরটি চান? কেবলমাত্র পরেরটির মধ্যে ল্যাপ্লেসিয়ান অন্তর্ভুক্ত থাকবে। প্রাক্তনটি কেবলমাত্র সম্ভাবনার লগ নিয়েই প্রাপ্ত করা যেতে পারে, যা মনে হয় আপনি ইতিমধ্যে লিখে

আমি চাই এমন দুটি এক্সপ্রেশন রয়েছে - (১) ফিশার ইনফরমেশন ম্যাট্রিক্স এবং (২) অন্যটি হ'ল গোপনীয় ভেরিয়েবল এবং পর্যবেক্ষণগুলি সংযুক্ত করে এমন সম্পূর্ণ ডেটা সেটের পিডিএফ হবে প্যারামিটার কার্য হিসাবে পর্যবেক্ষণ করা ডেটার সম্ভাব্যতা ঘনত্ব । আমি যে পিডিএফ লিখেছি তা এমএ মডেলের ক্ষেত্রে প্রযোজ্য blind অন্ধ অনুমানের জন্য । তবে, স্পারসিটির সীমাবদ্ধতার জন্য এটি কীভাবে পৃথক হবে = ল্যাপ্ল্যাকিয়ান আগে যাতে লগ-সম্ভাবনার আংশিক ডেরাইভেটিভগুলি থেকে ফিশার ইনফরমেশন ম্যাট্রিক্স সন্ধান করতে পারে।

Z

$Z$

θ

$\theta$

θ

$\theta$

— এসকেএম

@ শিয়ান: আমি বুঝতে পারছি না যে 3 পিডিএফ প্লাগ করতে হবে যার মধ্যে লগ-সম্ভাবনা তৈরির পূর্বেরটি অন্তর্ভুক্ত রয়েছে। আমি আংশিক ডেরাইভেটিভ নিতে এবং শূন্যকে সমান করাতে সর্বোচ্চকরণটি কাজ করতে পারি। আপনি দয়া করে স্পষ্টভাবে লিখিত সম্ভাবনা প্রকাশের সাথে একটি উত্তর দিতে পারেন। এটি সত্যই সহায়তা করবে

— এসকেএম

3

যদি আমরা EM এর ভিত্তিতে উপস্থাপনাটি হ'ল একটি জন্য, পচনের কারণে বা যার একটি অবাধ মান জন্য কাজ করে (যেহেতু LHS উপর কেউ নেই ) এবং তাই কোনও প্রত্যাশার জন্য কাজ করে :

\arg max_{θ} L (θ | x) π (θ) = \arg max_{θ} \log L (θ | x) + \log π (θ)

$\arg\max_\theta L(\theta|x)\pi(\theta) = \arg\max_\theta \log L(\theta|x) + \log \pi(\theta)$

\log L (θ | x) = E [\log L (θ | x, Z) | x, θ ⁰] - E [\log q (Z | x, θ) | x, θ ⁰]

$\log L(\theta|x) = \mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]-\mathbb{E}[\log q(Z|x,\theta)|x,\theta⁰]$

θ ⁰

$\theta⁰$

q (z | x, θ) = f (x, z | θ) / g (x | θ)

$q(z|x,\theta)=f(x,z|\theta) \big/ g(x|\theta)$

g (x | θ) = f (x, z | θ) / q (z | x, θ)

$g(x|\theta) = f(x,z|\theta) \big/ q(z|x,\theta)$

z

$z$

Z

$Z$

\log g (x | θ) = \log f (x, z | θ) - \log q (z | x, θ) = E [\log f (x, Z | θ) - \log q (Z | x, θ) | x]

$\log g(x|\theta) = \log f(x,z|\theta) - \log q(z|x,\theta) = \mathbb{E}[\log f(x,Z|\theta) - \log q(Z|x,\theta)|x]$ কোন শর্তাধীন বিতরণের জন্য দেওয়া , উদাহরণস্বরূপ । অতএব আমরা যদি সর্বাধিক মধ্যে সমাধান সঙ্গে আমরা আছে যখন EM এর মানক আর্গুমেন্ট অনুসারে । অতএব,

Z

$Z$

X = x

$X=x$

q (z | x, θ ⁰)

$q(z|x,\theta⁰)$

θ

$\theta$

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

θ^{1}

$\theta^1$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$

E [\log q (Z | x, θ ⁰) | x, θ ⁰] \geq E [\log q (Z | x, θ^{1}) | x, θ ⁰]

$\mathbb{E}[\log q(Z|x,\theta⁰)|x,\theta⁰]\ge\mathbb{E}[\log q(Z|x,\theta^1)|x,\theta⁰]$

E [\log L (θ^{1} | x, Z) | x, θ ⁰] + \log π (θ^{1}) \geq E [\log L (θ ⁰ | x, Z) | x, θ ⁰] + \log π (θ ⁰)

$\mathbb{E}[\log L(\theta^1|x,Z)|x,\theta⁰]+ \log \pi(\theta^1)\ge\mathbb{E}[\log L(\theta⁰|x,Z)|x,\theta⁰]+ \log \pi(\theta⁰)$ এবং একটি E পদক্ষেপ হিসাবে লক্ষ্য using প্রতিটি এম এ পোস্টারিয়র বৃদ্ধি পায় পদক্ষেপ, এর অর্থ পরিবর্তিত EM অ্যালগরিদম স্থানীয় এমএপিতে রূপান্তর করে।

E [\log L (θ | x, Z) | x, θ ⁰] + \log π (θ)

$\mathbb{E}[\log L(\theta|x,Z)|x,\theta⁰]+ \log \pi(\theta)$

— সিয়ান
সূত্র

ধন্যবাদ তোমার উত্তরের জন্য. না এর পিডিএফ প্রতিনিধিত্ব ? আপনি কি দয়া করে দ্বিতীয় লাইনে উল্লিখিত সমীকরণে সহ কেন 2 টি প্রত্যাশা রেখেছেন?

q ()

$q()$

Z

$Z$

E [l o g q (.)]

$E[log q(.)]$

— এসকেএম

আমি কিছু ব্যাখ্যা যুক্ত করেছি, তবে আপনার পাঠ্যপুস্তকে EM অ্যালগরিদমের ডেরাইভেশনটি পরীক্ষা করা উচিত কারণ এটি স্ট্যান্ডার্ড উপাদান material

— শিয়ান

1

আমি মনে করি না এমএপি অনুমানের (বা এমএলই) স্থির বিন্দুতে রূপান্তর দেখানোর জন্য একঘেয়েমিক বর্ধমান লগ-পোস্টেরিয়র (বা এমএলইয়ের জন্য লগ সম্ভাবনা) দেখানো যথেষ্ট। উদাহরণস্বরূপ, বৃদ্ধিগুলি নির্বিচারে ছোট হয়ে যেতে পারে become উ 1983- র বিখ্যাত গবেষণাপত্রে , ইএমের স্থির বিন্দুতে রূপান্তর করার জন্য পর্যাপ্ত শর্ত হ'ল নিম্ন সীমাবদ্ধ ফাংশনের উভয় যুক্তিতেই পার্থক্য ability

— Jim.Z
সূত্র