প্রত্যাশা সর্বাধিককরণ অ্যালগরিদম কেন ব্যবহার করা হয়?

22

আমি যা জানি খুব কমই থেকে ইএম অ্যালগরিদম সম্ভাবনার পরামিতিগুলির সাথে সম্মতি রেখে আংশিক ডেরিভেটিভসকে শূন্য করতে গেলে সর্বাধিক সম্ভাবনা খুঁজে পেতে ব্যবহার করা যেতে পারে যা বিশ্লেষণাত্মকভাবে সমাধান করা যায় না এমন সমীকরণগুলির একটি সেট দেয়। তবে উল্লিখিত সমীকরণগুলির সেটটির সীমাবদ্ধতার সীমাবদ্ধতার সাথে সর্বাধিক সম্ভাবনা সন্ধানের চেষ্টা করার জন্য কিছু সংখ্যক কৌশল ব্যবহার না করে ইএম অ্যালগরিদমের প্রয়োজন কি?

expectation-maximization

— user782220
সূত্র

20

প্রশ্নটি বৈধ এবং আমি প্রথম ইএম অ্যালগরিদম শিখলে আমারও একই বিভ্রান্তি হয়েছিল।

সাধারণ ভাষায়, ইএম অ্যালগরিদম একটি পুনরাবৃত্ত প্রক্রিয়া সংজ্ঞায়িত করে যা প্যারামেট্রিক মডেলের সম্ভাব্যতা ফাংশনটিকে সর্বাধিকতর করতে দেয় যেখানে মডেলের কিছু ভেরিয়েবলগুলি "সুপ্ত" বা অজানা হিসাবে দেখা যায়।

তত্ত্ব অনুসারে, একই উদ্দেশ্যে, আপনি সমস্ত পরামিতিগুলির সম্ভাব্যতা সর্বাধিক সর্বাধিক সন্ধান করতে সংখ্যাসূচকভাবে সংক্ষিপ্তকরণ অ্যালগরিদম ব্যবহার করতে পারেন। তবে বাস্তব পরিস্থিতিতে এই হ্রাসটি হ'ল:

আরও অনেক গণনামূলক নিবিড়
কম শক্ত

EM পদ্ধতির একটি খুব সাধারণ অ্যাপ্লিকেশন হ'ল একটি মিশ্রণ মডেল। এই ক্ষেত্রে ভেরিয়েবল বিবেচনা করে যা প্রতিটি স্যাম্পলকে "সুপ্ত" ভেরিয়েবল হিসাবে উপাদানগুলির মধ্যে একটিতে নির্ধারিত করে তাতে সমস্যাটি খুব সহজ হয়।

একটি উদাহরণ তাকান আসুন। আমরা এন নমুনা আছে 2 স্বাভাবিক ডিস্ট্রিবিউশন মিশ্রণ থেকে নিষ্কাশিত। EM ছাড়াই প্যারামিটারগুলি সন্ধান করতে আমাদের হ্রাস করা উচিত: $s = \{s_i\}$

- লগ এল (এক্স, θ) = - লগ [{একটি}_{1} মেপুঃ (\frac{(এক্স - μ_{1})^{2}}{2 σ_{1}^{2}}) + + {একটি}_{2} মেপুঃ (\frac{(এক্স - μ_{2})^{2}}{2 σ_{2}^{2}})]

$-\log \mathcal{L}(x,\theta) = -\log\Big[ a_1 \exp\Big( \frac{(x-\mu_1)^2}{2\sigma_1^2}\Big) + a_2 \exp\Big(\frac{(x-\mu_2)^2}{2\sigma_2^2}\Big) \Big]$

বিপরীতে, ইএম অ্যালগরিদম ব্যবহার করে আমরা প্রথমে প্রতিটি নমুনা একটি উপাদান ( ই পদক্ষেপ ) এ "অর্পণ" করি এবং তারপরে প্রতিটি উপাদান পৃথকভাবে ( এম পদক্ষেপ ) মাপসই করে (বা সর্বাধিকীকরণের ) করি। এই উদাহরণে এম-পদক্ষেপ কেবল এবং খুঁজে পাওয়ার জন্য একটি ভারী গড় । এই দুটি পদক্ষেপের উপরে আইট্রেট করা হ্রাস করা সহজ এবং আরও শক্তিশালী উপায় । $\mu_k$ $\sigma_k$ $-\log \mathcal{L}(x,\theta)$

— user2304916
সূত্র

12

কিছু সংখ্যক কৌশল ব্যবহারের পরিবর্তে ইএমের প্রয়োজন হয় না কারণ ইএমও একটি সংখ্যাসূচক পদ্ধতি। সুতরাং এটি নিউটন-রাফসনের বিকল্প নয়। আপনি যখন আপনার ডেটা ম্যাট্রিক্সে মানগুলি মিস করছেন তখন ইএম নির্দিষ্ট ক্ষেত্রে হয়। একটি নমুনা বিবেচনা যা শর্তসাপেক্ষ ঘনত্ব আছে । তারপর এই লগ-সম্ভাবনা নেই $X = (X_{1},...,X_{n})$ $f_{X|\Theta}(x|\theta)$ এখন ধরুন আপনার কাছে এমন একটি সম্পূর্ণ ডেটা সেট নেই যা পর্যবেক্ষণ করা ডেটা এবং অনুপস্থিত (বা প্রচ্ছন্ন) ভেরিয়েবল , যেমন । তারপরে পর্যবেক্ষণ করা তথ্যের লগ-সম্ভাবনা হ'ল

ঠ (θ; এক্স) = ঠ ণ ছ চ_{এক্স | Θ} (এক্স | θ)

$l(\theta;X) = log f_{X|\Theta}(X|\theta)$

X

$X$

Y

$Y$

Z

$Z$

X = (Y, Z)

$X=(Y,Z)$

সাধারণভাবে আপনি সরাসরি এই অবিচ্ছেদ্য গণনা করতে পারবেন না এবং আপনি

জন্য কোনও বদ্ধ-ফর্ম সমাধান পাবেন না। এই উদ্দেশ্যে আপনি EM পদ্ধতিটি ব্যবহার করেন। দুটিবার আছেযা

সময়েরজন্য পুনরাবৃত্তি হয়। এই

পদক্ষেপে এটি প্রত্যাশা পদক্ষেপ যা আপনি

ঠ_{ণ খ গুলি} (θ, ওয়াই) = ঠ ণ ছ \int চ_{এক্স | Θ} (ওয়াই, z- র | θ) ν_{z- র} (ঘ z- র)

$l_{obs}(\theta,Y)=log \int f_{X|\Theta}(Y,z|\theta)\nu_{z}(dz)$

l_{o b s} (θ, Y)

$l_{obs}(\theta,Y)$

i

$i$

(i + 1)^{t h}

$(i + 1)^{th}$

যেখানে

এর অনুমান

মধ্যে

ধাপ। তারপর বৃহদায়ন পদক্ষেপ যার মাধ্যমে আপনি পূর্ণবিস্তার গনা

সম্মান সঙ্গে

এবং সেট

প্রশ্নঃ (θ | θ^{(আমি)}) = ই_{θ^{(আমি)}} [ঠ (θ; এক্স | ওয়াই]

$Q(\theta|\theta^{(i)}) = E_{\theta^{(i)}}[l(\theta;X|Y]$

θ^{(i)}

$\theta^{(i)}$

Θ

$\Theta$

i^{t h}

$i^{th}$

Q (θ | θ^{(i)})

$Q(\theta|\theta^{(i)})$

θ

$\theta$

θ^{(i + 1)} = m a x Q (θ | θ^{i})

$\theta^{(i+1)} = max Q(\theta|\theta^{i})$ । আপনি তারপরে এই পদক্ষেপগুলি পুনরাবৃত্তি করুন যতক্ষণ না পদ্ধতিটি কোনও মূল্যতে রূপান্তর করে যা আপনার অনুমান হবে।

আপনার যদি পদ্ধতিটির আরও তথ্যের প্রয়োজন হয় তবে এর বৈশিষ্ট্য, প্রমাণ বা অ্যাপ্লিকেশনগুলি কেবলমাত্র উইকি সম্পর্কিত নিবন্ধটি দেখুন।

— অ্যান্ডি
সূত্র

1

+1 ... ইএম কেবল অনুপস্থিত মানগুলির ক্ষেত্রে নয়।

— গ্লেন_বি -রিনস্টেট মনিকা

@ অ্যান্ডি: ডেটা হারিয়ে যাওয়ার ক্ষেত্রে বিবেচনা করেও আমি এখনও বুঝতে পারি না যে আংশিক ডেরিভেটিভগুলি শূন্যের এমন কোনও পয়েন্টটি আবিষ্কার করার জন্য জেনেরিক সংখ্যাসূচক পদ্ধতি ব্যবহার করা কেন কাজ করে না।

— ব্যবহারকারীর 782220

ধন্যবাদ গ্লেন, আমি কেবল এটি হারিয়ে যাওয়া মান / সুপ্ত ভেরিয়েবলের প্রসঙ্গে জানতাম। @ ইউজার 78২২২২০: যখন আপনার লগ সম্ভাবনা ডেরিভেটিভের কোনও বন্ধ ফর্ম সমাধান না করতে পারে, ডেরিভেটিভকে শূন্যের সমান সেট করা আপনার প্যারামিটারটি সনাক্ত করবে না। এজন্য আপনি এই ক্ষেত্রে সংখ্যাসূচক পদ্ধতি ব্যবহার করেন। ব্যাখ্যা এবং উদাহরণের জন্য এখানে বক্তৃতাটি দেখুন: people.stat.sfu.ca/~raltman/stat402/402L5.pdf

— অ্যান্ডি

1

EM ব্যবহার করা হয় কারণ প্রায়শই এমন কোনও মডেলের পরামিতিগুলি সরাসরি গণনা করা অসম্ভব বা অসম্ভব যে মডেলটি প্রদত্ত একটি ডেটাসেটের সম্ভাবনা সর্বাধিক করে তোলে।

— TheGrimmScientist
সূত্র