প্রত্যাশা সর্বাধিকতা অ্যালগরিদমের প্রেরণা

20

EM অ্যালগরিদম পদ্ধতির মধ্যে আমরা জেনসেনের অসমতা ব্যবহার করে

\log p (x | θ) \geq \int \log p (z, x | θ) p (z | x, θ^{(k)}) d z - \int \log p (z | x, θ) p (z | x, θ^{(k)}) d z

$\log p(x|\theta) \geq \int \log p(z,x|\theta) p(z|x,\theta^{(k)}) dz - \int \log p(z|x,\theta) p(z|x,\theta^{(k)})dz$

এবং দ্বারা $\theta^{(k+1)}$

θ^{(k + 1)} = \arg max_{θ} \int \log p (z, x | θ) p (z | x, θ^{(k)}) d z

$\theta^{(k+1)}=\arg \max_{\theta}\int \log p(z,x|\theta) p(z|x,\theta^{(k)}) dz$

আমি ইএম পড়ি সমস্ত কিছুই কেবল এটি বন্ধ করে দেয় তবে কেন ইএম অ্যালগরিদম স্বাভাবিকভাবে উত্থিত হয় তার ব্যাখ্যা না দিয়ে আমি সবসময় অস্বস্তি বোধ করেছি। আমি বুঝতে পেরেছি যে হওয়ার সম্ভাবনা সাধারণত গুনের পরিবর্তে সংযোজন করার সাথে মোকাবিলা করা হয় তবে এর সংজ্ঞা in উপস্থিতি আমার কাছে একরকম অনুভূত হয়। কেন একজন বিবেচনা করা উচিত এবং অন্যান্য একঘেয়ে ফাংশন না? বিভিন্ন কারণে আমি সন্দেহ করি যে প্রত্যাশা সর্বাধিকের পিছনে "অর্থ" বা "অনুপ্রেরণা" তথ্য তত্ত্ব এবং পর্যাপ্ত পরিসংখ্যানের ক্ষেত্রে এক ধরণের ব্যাখ্যা রয়েছে has যদি এমন ব্যাখ্যা থাকে যা কেবল একটি বিমূর্ত অ্যালগরিদমের চেয়ে অনেক বেশি সন্তুষ্ট হবে। $\log$ $\log$ $\theta^{(k+1)}$ $\log$

mixture expectation-maximization

— user782220
সূত্র

3

প্রত্যাশা সর্বাধিকতা অ্যালগরিদম কি? , প্রকৃতি বায়োটেকনোলজি 26 : 897–899 (২০০৮) এর একটি সুন্দর ছবি রয়েছে যা চিত্রিত করে যে অ্যালগোরিদম কীভাবে কাজ করে।

— chl

@ সিএইচএল: আমি নিবন্ধটি দেখেছি। আমি যে বিন্দুটির বিষয়ে জিজ্ঞাসা করছি তা হ'ল নোটিশটি কোথাও এটি ব্যাখ্যা করে না যে কেন একটি লগ-অন পদ্ধতির কাজ করতে পারে না

— ব্যবহারকারী 78222220

10

ইএম অ্যালগরিদমের বিভিন্ন ব্যাখ্যা রয়েছে এবং বিভিন্ন অ্যাপ্লিকেশনে বিভিন্ন আকারে উত্থিত হতে পারে।

এটি সমস্ত সম্ভাবনা ফাংশন দিয়ে শুরু হয় বা সমতুল্যভাবে লগ-সম্ভাবনা ফাংশন আমরা সর্বাধিক করতে চাই। (আমরা সাধারণত লোগারিদম ব্যবহার করি যেমন এটি গণনা সহজ করে তোলে: এটি কঠোরভাবে একঘেয়ে, অবতল, এবং, ।) একটি আদর্শ বিশ্বে এর মান কেবলমাত্র মডেল প্যারামিটারের উপর নির্ভর করে , তাই আমরা স্পেসের মাধ্যমে অনুসন্ধান করতে পারি এবং সর্বাধিকীকরণকারী একটি পাই । $p(x \vert \theta)$ $\log p(x \vert \theta)$ $\log(ab) = \log a + \log b$ $p$ $\theta$ $\theta$ $p$

তবে, অনেক আকর্ষণীয় বাস্তব-জগত অ্যাপ্লিকেশনগুলিতে জিনিসগুলি আরও জটিল, কারণ সমস্ত ভেরিয়েবলগুলি পালন করা হয় না। হ্যাঁ, আমরা সরাসরি পর্যবেক্ষণ করতে পারি তবে কিছু অন্যান্য ভেরিয়েবল । ভেরিয়েবলের করার কারণে আমরা এক ধরণের মুরগি ও ডিমের পরিস্থিতি: ছাড়া $x$ $z$ $z$ $z$ আছি আমরা প্যারামিটার এবং ছাড়া অনুমান করতে পারি না যে এর মান কী হতে পারে তা আমরা অনুমান করতে পারি না। $\theta$ $\theta$ $z$

এটি থেকেই ইএম অ্যালগরিদম খেলতে আসে। আমরা মডেল পরামিতিগুলির একটি প্রাথমিক অনুমান দিয়ে শুরু করি এবং অনুপস্থিত ভেরিয়েবল প্রত্যাশিত মানগুলি অর্জন করি (অর্থাত্, ই পদক্ষেপ)। যখন আমাদের এর মান থাকে , আমরা প্যারামিটারগুলি (যেমন, এম পদক্ষেপ, $\theta$ $z$ $z$ $\theta$ $\arg \max$ সমস্যা বিবৃতিতে সমীকরণের সাথে সম্পর্কিত) পারি। এই- আমরা এর নতুন প্রত্যাশিত মানগুলি অর্জন করতে পারি (অন্য একটি পদক্ষেপ), এবং আরও অনেক কিছু। অন্য কথায়, প্রতিটি পদক্ষেপে আমরা এবং উভয়ের মধ্যে একটির অনুমান করি $\theta$ $z$ $z$ $\theta$ , পরিচিত. সম্ভাবনা আর বাড়ানো না যাওয়া পর্যন্ত আমরা এই পুনরাবৃত্তি প্রক্রিয়াটি পুনরাবৃত্তি করি।

সংক্ষেপে এটি ইএম অ্যালগরিদম। এটি সুপরিচিত যে এই পুনরাবৃত্ত EM প্রক্রিয়া চলাকালীন সম্ভাবনা কখনই হ্রাস পাবে না। তবে মনে রাখবেন যে ইএম অ্যালগরিদম গ্লোবাল সর্বোত্তম হওয়ার গ্যারান্টি দেয় না। এটি হ'ল এটির সম্ভাবনা ফাংশনের স্থানীয় সর্বোত্তমতার সাথে শেষ হতে পারে।

the এর সমীকরণের উপস্থিতি অনিবার্য, কারণ এখানে আপনি যে ফাংশনটি সর্বাধিক করতে চান তা লগ-সম্ভাবনা হিসাবে লেখা হয়। $\log$ $\theta^{(k+1)}$

— Weiwei
সূত্র

আমি দেখতে পাচ্ছি না কীভাবে এটি প্রশ্নের উত্তর দেয়।

— ব্রোনকোএবিয়ার্তো

9

সম্ভাবনা বনাম লগ-সম্ভাবনা

যেমনটি ইতিমধ্যে বলা হয়েছে, সর্বাধিক সম্ভাবনা হিসাবে প্রবর্তিত হয় কেবল কারণ পণ্যগুলির চেয়ে অঙ্কগুলি অনুকূল করা সহজ। আমরা অন্যান্য মনোটোনিক ফাংশনগুলি বিবেচনা না করার কারণ হ'ল লগারিদম হল পণ্যগুলিকে অঙ্কে পরিণত করার সম্পত্তি সহ একটি অনন্য ফাংশন । $\log$

লগারিদমকে উত্সাহিত করার আরেকটি উপায় নিম্নরূপ: আমাদের মডেলের অধীনে ডেটার সম্ভাবনা সর্বাধিক করার পরিবর্তে আমরা সমানভাবে ডেটা বিতরণ, মধ্যে কুলব্যাক-লেবলার বিভাজনকে হ্রাস করার চেষ্টা করতে পারি the মডেল বিতরণ, , $p_\text{data}(x)$ $p(x \mid \theta)$

D_{KL} [p_{data} (x) ∣∣ p (x ∣ θ)] = \int p_{data} (x) \log \frac{p_{data} (x)}{p (x ∣ θ)} d x = c o n s t - \int p_{data} (x) \log p (x ∣ θ) d x .

$D_\text{KL}[p_\text{data}(x) \mid\mid p(x \mid \theta)] = \int p_\text{data}(x) \log \frac{p_\text{data}(x)}{p(x \mid \theta)} \, dx = const - \int p_\text{data}(x)\log p(x \mid \theta) \, dx.$

ডানদিকে প্রথম শব্দটি পরামিতিগুলিতে স্থির থাকে। যদি আমাদের ডেটা বিতরণ (আমাদের ডেটা পয়েন্ট) থেকে নমুনা থাকে তবে আমরা ডেটার গড় লগ-সম্ভাবনার সাথে দ্বিতীয় শব্দটি আনুমানিক করতে পারি , $N$

\int p_{data} (x) \log p (x ∣ θ) d x \approx \frac{1}{N} \sum_{n} \log p (x_{n} ∣ θ) .

$\int p_\text{data}(x)\log p(x \mid \theta) \, dx \approx \frac{1}{N} \sum_n \log p(x_n \mid \theta).$

ইএম এর বিকল্প দৃষ্টিভঙ্গি

আমি নিশ্চিত নই যে এটি আপনি যে ধরণের ব্যাখ্যা খুঁজছেন তা হতে চলেছে, তবে আমি জেনসেনের অসমতার মাধ্যমে তার অনুপ্রেরণার চেয়ে প্রত্যাশা সর্বাধিকীকরণের নীচের দৃষ্টিভঙ্গিটি পেয়েছি (আপনি নিল অ্যান্ড হিন্টন (1998) এ বিশদ বিবরণ পেতে পারেন ) অথবা ক্রিস বিশপের পিআরএমএল বইতে, অধ্যায় 9.3)।

এটি দেখাতে অসুবিধা হয় না

\log p (x ∣ θ) = \int q (z ∣ x) \log \frac{p (x, z ∣ θ)}{q (z ∣ x)} d z + D_{KL} [q (z ∣ x) ∣∣ p (z ∣ x, θ)]

$\log p(x \mid \theta) = \int q(z \mid x) \log \frac{p(x, z \mid \theta)}{q(z \mid x)} \, dz + D_\text{KL}[q(z \mid x) \mid\mid p(z \mid x, \theta)]$

যে কোনও । আমরা যদি ডান হাতের এ প্রথম শব্দটি কল করি , তবে এটি বোঝায় $q(z \mid x)$ $F(q, \theta)$

F (q, θ) = \int q (z ∣ x) \log \frac{p (x, z ∣ θ)}{q (z ∣ x)} d z = \log p (x ∣ θ) - D_{KL} [q (z ∣ x) ∣∣ p (z ∣ x, θ)] .

$F(q, \theta) = \int q(z \mid x) \log \frac{p(x, z \mid \theta)}{q(z \mid x)} \, dz = \log p(x \mid \theta) - D_\text{KL}[q(z \mid x) \mid\mid p(z \mid x, \theta)].$

যেহেতু কেএল ডাইভারজেনটি সর্বদা ইতিবাচক থাকে , প্রতিটি নির্দিষ্ট জন্য লগ-সম্ভাবনার উপর একটি নিম্ন সীমাবদ্ধ । এখন, ই.এম. পর্যায়ক্রমে বাড়ানোর যেমন দেখা যাবে থেকে সম্মান সঙ্গে এবং । বিশেষত, ই-ধাপে করে আমরা ডান হাতের কেএল ডাইভার্জেনশনকে কমিয়ে আনি এবং এইভাবে সর্বাধিক করি । $F(q, \theta)$ $q$ $F$ $q$ $\theta$ $q(z \mid x) = p(z \mid x, \theta)$ $F$

— লুকাস
সূত্র

পোস্টের জন্য ধন্যবাদ! যদিও প্রদত্ত দস্তাবেজটি লগারিদমটি না বলে পণ্যগুলিকে অঙ্কগুলিতে পরিণত করে the এটি বলে যে লোগারিদম হ'ল একমাত্র ক্রিয়া যা একই সাথে তিনটি তালিকাভুক্ত বৈশিষ্ট্য পূরণ করে ।

— ওয়েইওইইই

@ ওয়েইওয়েই: ঠিক আছে, তবে প্রথম শর্তটি মূলত প্রয়োজন যে ফাংশনটি অবিচ্ছিন্ন হয়। অবশ্যই, f (x) = 0 এও f (x + y) = f (x) f (y) বোঝায় তবে এটি একটি উদ্বেগজনক ঘটনা। তৃতীয় শর্ত জিজ্ঞেস করে যে 1 ব্যুৎপন্ন 1, যা বেস লগারিদম কেবল সত্য

। এই সীমাবদ্ধতাটি ফেলে দিন এবং আপনি বিভিন্ন ঘাঁটিতে লগারিদম পান, তবে এখনও লগারিদমে।

e

$e$

— লুকাস

4

প্রত্যাশা-সর্বাধিককরণের বিষয়ে যে কাগজটি আমি স্পষ্ট করে দেখতে পেয়েছি তা হ'ল ওয়েলিং ও কুড়িহার "ম্যাক্সিমাইজেশন-এক্সপেকটেশন" অ্যালগরিদম (পিডিএফ) হিসাবে বায়েশিয়ান কে-মিনস ।

ধরুন আমাদের কাছে পর্যবেক্ষণ, লুকানো এলোমেলো ভেরিয়েবল এবং মোট পরামিতি সহ একটি সম্ভাব্য মডেল রয়েছে । আমাদের একটি ডেটাসেট দেওয়া হয় এবং স্থাপন করতে বাধ্য করা হয় (উচ্চতর শক্তি দ্বারা । $p(x,z,\theta)$ $x$ $z$ $\theta$ $D$ $p(z,\theta|D)$

1. গিবস নমুনা

স্যাম্পলিং করে আমরা আনুমানিক । গীবস নমুনা পর্যায়ক্রমে দেয় : $p(z,\theta|D)$ $p(z,\theta|D)$

θ \sim p (θ | z, D) z \sim p (z | θ, D)

$\theta \sim p(\theta|z,D) \\ z \sim p(z|\theta,D)$

2. ভেরিয়েন্টাল বয়েস

পরিবর্তে, আমরা একটি ডিস্ট্রিবিউশন এবং স্থাপন করার চেষ্টা করতে পারি এবং পরে আমরা যে বিতরণ করি তার সাথে পার্থক্য হ্রাস করতে পারি । বিতরণের মধ্যে পার্থক্যটির একটি সুবিধাজনক অভিনব নাম, কেএল-ডাইভারজেন্স রয়েছে। মিনিমাইজ করতে আমরা আপডেট করি: $q(\theta)$ $q(z)$ $p(\theta,z|D)$ $KL[q(\theta)q(z)||p(\theta,z|D)]$

q (θ) \propto \exp (E [\log p (θ, z, D)]_{q (z)}) q (z) \propto \exp (E [\log p (θ, z, D)]_{q (θ)})

$q(\theta) \propto \exp (E [\log p(\theta,z,D) ]_{q(z)} ) \\ q(z) \propto \exp (E [\log p(\theta,z,D) ]_{q(\theta)} )$

৩. প্রত্যাশা-সর্বাধিকীকরণ

এবং উভয়ের জন্য সম্পূর্ণ সম্ভাব্য বন্টন নিয়ে আসা চরম বলে বিবেচিত হতে পারে। আমরা এর পরিবর্তে এর মধ্যে একটির জন্য একটি বিন্দু অনুমান বিবেচনা করি না এবং অন্যটিকে সুন্দর এবং সংবেদনশীল রাখি। ই.এম. মাপদণ্ড (সর্বোচ্চ আরোহী) মান তার মানচিত্রে একটি পূর্ণ বিতরণের এক হচ্ছে মূল্যহীন, এবং সেট হিসাবে স্থাপন করা হয়, । $z$ $\theta$ $\theta$ $\theta^*$

θ^{*} = \underset{θ}{argmax} E [\log p (θ, z, D)]_{q (z)} q (z) = p (z | θ^{*}, D)

$\theta^* = \underset{\theta}{\operatorname{argmax}} E [\log p(\theta,z,D) ]_{q(z)} \\ q(z) = p(z|\theta^*,D)$

এখানে আসলে একটি ভাল স্বরলিপি হবে: argmax অপারেটর একাধিক মান ফিরে আসতে পারেন। তবে আসুন নিটপিক করি না। বৈকল্পিক বায়েসের সাথে তুলনা করে আপনি দেখতে পাচ্ছেন যে দ্বারা জন্য সংশোধন করার ফলে ফলাফল পরিবর্তন হয় না, সুতরাং এটি আর প্রয়োজন হয় না। $\theta^* \in \operatorname{argmax}$ $\log$ $\exp$

৪. সর্বাধিক-প্রত্যাশা

সেখানে বিবেচনা করার কোন কারণ নেই একটি পয়মাল শিশুর মতো। আমরা শুধু পাশাপাশি বিন্দু অনুমান ব্যবহার করতে পারেন আমাদের গোপন ভেরিয়েবলের জন্য এবং পরামিতি দিতে একটি পূর্ণ বিতরণের বিলাসিতা। $z$ $z^*$ $\theta$

z^{*} = \underset{z}{argmax} E [\log p (θ, z, D)]_{q (θ)} q (θ) = p (θ | z^{*}, D)

$z^* = \underset{z}{\operatorname{argmax}} E [\log p(\theta,z,D) ]_{q(\theta)} \\ q(\theta) = p(\theta|z^*,D)$

যদি আমাদের লুকানো ভেরিয়েবল নির্দেশক ভেরিয়েবল হয় তবে ক্লাস্টারের সংখ্যার উপর অনুমান করার জন্য আমাদের কাছে হঠাৎ একটি গণনামূলক সস্তা পদ্ধতি রয়েছে। এটি অন্য কথায়: মডেল নির্বাচন (বা স্বয়ংক্রিয় প্রাসঙ্গিক সনাক্তকরণ বা অন্য কোনও অভিনব নাম কল্পনা করুন)। $z$

5. শর্তযুক্ত মোড পরিলক্ষিত

অবশ্যই, আনুমানিক অনুমান এর পোস্টার শিশু উভয় প্যারামিটার পয়েন্ট হিসেব ব্যবহার করা পর্যবেক্ষণ সেইসাথে । $\theta$ $z$

θ^{*} = \underset{θ}{argmax} p (θ, z^{*}, D) z^{*} = \underset{z}{argmax} p (θ^{*}, z, D)

$\theta^* = \underset{\theta}{\operatorname{argmax}} p(\theta,z^*,D) \\ z^* = \underset{z}{\operatorname{argmax}} p(\theta^*,z,D) \\$

ম্যাক্সিমাইজেশন-প্রত্যাশা কীভাবে কার্যকর হয় তা দেখার জন্য আমি নিবন্ধটি অত্যন্ত প্রস্তাব দিই। আমার মতে, এই নিবন্ধটির শক্তি তবে কোনও মিয়ানস বিকল্পের জন্য প্রয়োগ নয় , তবে এই সুদৃ .় এবং সংক্ষিপ্ত বিবরণটি সংক্ষেপে প্রকাশ করা হয়েছে। $k$

— অ্যান ভ্যান রসম
সূত্র

(+1) এটি সমস্ত পদ্ধতির একটি সুন্দর সংক্ষিপ্তসার।

— কেদার্পস

4

ইএম অ্যালগরিদমের অন্তর্নিহিত একটি দরকারী অপ্টিমাইজেশন কৌশল রয়েছে। তবে এটি সাধারণত সম্ভাবনা তত্ত্বের ভাষায় প্রকাশিত হয় তাই এটি দেখতে মুশকিল যে মূলটি এমন একটি পদ্ধতি যা সম্ভাবনা এবং প্রত্যাশার সাথে কোনও সম্পর্ক রাখে না।

পূর্ণবিস্তার সমস্যা বিবেচনা (অথবা equivalently ) থেকে সম্মান সঙ্গে । যদি আপনি জন্য একটি অভিব্যক্তি লিখে এবং এটি শূন্যের সমান সেট করেন তবে আপনি প্রায়শই সমাধানের জন্য একটি ট্রান্সেন্ডেন্টাল সমীকরণ দিয়ে শেষ করতে পারেন। এগুলি কদর্য হতে পারে।

g (x) = \sum_{i} \exp (f_{i} (x))

$g(x)=\sum_i\exp(f_i(x))$

\log g (x)

$\log g(x)$

x

$x$

g^{'} (x)

$g'(x)$

এখন ধরুন যে এক সাথে এই অর্থে ভাল খেলি যে এর মধ্যে রৈখিক সংমিশ্রণগুলি আপনাকে অনুকূলকরণের জন্য সহজ কিছু দেয়। উদাহরণস্বরূপ, সব যদি মধ্যে দ্বিঘাত হয় তারপর একটি রৈখিক সমন্বয় এছাড়াও নিখুত দ্বিঘাত, তাই সহজ হবে। $f_i$ $f_i(x)$ $x$ $f_i(x)$

এই অনুমান রয়েছে, যদি শীতল, নিখুত অনুক্রমে হতে চাই আমরা একরকম এলোমেলো পারে গত এটা এত পূরণ পারে s এবং নিষ্কাশন তাদের। তারপর একসাথে খেলতে পারে। তবে আমরা তা করতে পারি না। $\log g(x)=\log \sum_i\exp(f_i(x))$ $\log$ $\sum$ $\exp$ $f_i$

এর পরের সেরা কাজটি করা যাক। আমরা অন্য ফাংশন করব যে অনুরূপ । এবং আমরা তা রৈখিক সমন্বয় আউট করব । $h$ $g$ $f_i$

ধরা যাক একটি অনুকূল মানের জন্য অনুমান। আমরা এটি উন্নত করতে চাই। আসুন অন্য ফাংশন এটি মিল এবং তার ব্যুৎপন্ন , অর্থাত্ এবং । যদি আপনি এর একটি ছোট প্রতিবেশে একটি গ্রাফ প্লট করেন তবে এটি অনুরূপ দেখাবে । $x_0$ $h$ $g$ $x_0$ $g(x_0)=h(x_0)$ $g'(x_0)=h'(x_0)$ $h$ $x_0$ $g$

আপনি যে আমরা এ এর সাথে মেলে এমন কিছু চাই । একটি প্রাকৃতিক পছন্দ রয়েছে:

g^{'} (x) = \sum_{i} f_{i}^{'} (x) \exp (f_{i} (x)) .

$g'(x)=\sum_i f_i'(x)\exp(f_i(x)).$

x_{0}

$x_0$

h (x) = constant + \sum_{i} f_{i} (x) \exp (f_{i} (x_{0})) .

$h(x)=\mbox{constant}+\sum_i f_i(x)\exp(f_i(x_0)).$ আপনি

এ তাদের মিল দেখতে পাচ্ছেন । আমরা

পাই

যেহেতু

একটি ধ্রুবক হিসাবে আমাদের

একটি সাধারণ রৈখিক সংমিশ্রণ রয়েছে যার ডেরিভেটিভ

। আমরা শুধু ধ্রুবক চয়ন করতে

করতে

x = x_{0}

$x=x_0$

h^{'} (x) = \sum_{i} f_{i}^{'} (x) \exp (f_{i} (x_{0})) .

$h'(x)=\sum_i f_i'(x)\exp(f_i(x_0)).$

x_{0}

$x_0$

f_{i}

$f_i$

g

$g$

h

$h$

।

g (x_{0}) = h (x_{0})

$g(x_0)=h(x_0)$

$x_0$ $h(x)$ $g(x)$ $x_0$ $h$ $h$

$h$

$h(x)\le g(x)$ $h(x)$ $x$ $g$ $g(x_0)$ $h$ $g$ $h$

$\exp$

— ড্যান পিপোনি
সূত্র

3

যেমনটি আপনি বলেছেন, আমি প্রযুক্তিগত বিশদে যাব না। বেশ কয়েকটি খুব সুন্দর টিউটোরিয়াল আছে। আমার পছন্দের একটি হ'ল অ্যান্ড্রু এনগের বক্তৃতা নোট । এখানে উল্লেখ দেখুন ।

$K$
$p (x) = \sum_{i = 1}^{K} π_{i} N (x | μ_{i}, Σ_{i})$ $p(x) = \sum_{i=1}^{K}\pi_{i} \mathcal{N}(x|\mu_{i}, \Sigma_{i})$ $\pi_{i}$ $x$ $\mu_{i}$ $\Sigma_{i}$ $\pi_{i}$ ith উপাদানটি সেই নমুনার জন্য অ্যাকাউন্ট করতে পারে এমন সম্ভাবনাগুলি উপস্থাপন করে) এবং ওজনফলকে নিয়ে যাবে। একটি দৃ concrete় উদাহরণ হিসাবে, কল্পনা করুন যে আপনি টেক্সট ডকুমেন্টগুলি গুচ্ছ করতে চান। ধারণাটি ধরে নেওয়া যায় যে প্রতিটি নথিই কোনও বিষয় (বিজ্ঞান, ক্রীড়া, ...) এর সাথে সম্পর্কিত যা আপনি আগে জানেন না !. সম্ভাব্য বিষয়গুলি হিডেন ভেরিয়েবল। তারপরে আপনাকে কয়েকটি দলিল দেওয়া হবে এবং এন-গ্রাম বা আপনি যে বৈশিষ্ট্যগুলি বের করে নিচ্ছেন তা গণনা করে আপনি সেই ক্লাস্টারগুলি সন্ধান করতে এবং প্রতিটি নথিটি কোন ক্লাস্টারের অন্তর্ভুক্ত তা দেখতে চান। ইএম একটি প্রক্রিয়া যা এই সমস্যাটিকে ধাপে ধাপে আক্রমণ করে: প্রত্যাশা পদক্ষেপটি এখনও পর্যন্ত প্রাপ্ত নমুনাগুলির কার্যকারিতা উন্নত করার চেষ্টা করে। সর্বাধিকীকরণ পদক্ষেপটি মিশ্রণের পরামিতিগুলি উন্নত করে, অন্য কথায়, গুচ্ছগুলির ফর্ম।
পয়েন্টটি মনোটোনিক ফাংশনগুলি নয় তবে উত্তল ক্রিয়াকলাপগুলি ব্যবহার করছে। এবং কারণ হ'ল জেনসেনের বৈষম্য যা নিশ্চিত করে যে ইএম অ্যালগরিদমের অনুমান প্রতিটি পদক্ষেপে উন্নত হবে।

— jpmuc
সূত্র