প্রত্যাশা সর্বোচ্চকরণ মিশ্রণ মডেলগুলির জন্য কেন গুরুত্বপূর্ণ?

অনেকগুলি সাহিত্য মিশ্রণ মডেলগুলিতে প্রত্যাশা সর্বাধিককরণের পদ্ধতির উপর জোর দেয় (গাউসির মিশ্রণ, লুকানো মার্কোভ মডেল ইত্যাদি)।

কেন ইএম গুরুত্বপূর্ণ? ইএম অপটিমাইজেশন করার একটি উপায় এবং গ্রেডিয়েন্ট ভিত্তিক পদ্ধতি (গ্রেডিয়েন্ট শালীন বা নিউটনের / কোয়াটি-নিউটন পদ্ধতি) বা অন্যান্য গ্রেডিয়েন্ট ফ্রি পদ্ধতিটি এখানে আলোচনা করা হিসাবে ব্যাপকভাবে ব্যবহৃত হয় না । এছাড়াও, ইএম এখনও স্থানীয় মিনিমা সমস্যা আছে।

প্রক্রিয়াটি স্বজ্ঞাত এবং সহজেই কোডে রূপান্তরিত হতে পারে বলেই এটি? বা অন্য কী কারণে?

— হাইতাও ডু
সূত্র

নীতিগতভাবে, EM এবং স্ট্যান্ডার্ড অপ্টিমাইজেশন পদ্ধতির উভয়ই মেশানো বিতরণের জন্য উপযুক্ত কাজ করতে পারে। ইএম এর মতো, উত্তল অপ্টিমাইজেশন সলভারগুলি স্থানীয় সর্বোত্তম হতে পারে। তবে, একাধিক স্থানীয় অপটিমের উপস্থিতিতে আরও ভাল সমাধানের জন্য বিভিন্ন অপ্টিমাইজেশন অ্যালগরিদম বিদ্যমান। আমি যতদূর সচেতন, সর্বোত্তম কনভার্জেন্স গতির সাথে অ্যালগরিদম সমস্যার উপর নির্ভর করবে।

ইএম এর একটি সুবিধা হ'ল এটি স্বাভাবিকভাবেই প্রতিটি পুনরাবৃত্তিতে মিশ্রণ বিতরণের জন্য বৈধ প্যারামিটার তৈরি করে। বিপরীতে, স্ট্যান্ডার্ড অপ্টিমাইজেশন অ্যালগরিদমগুলি আরোপ করার জন্য বাধা প্রয়োজন need উদাহরণস্বরূপ, বলুন আপনি কোনও গাউসিয়ান মিশ্রণ মডেল ফিট করছেন। একটি স্ট্যান্ডার্ড ননলাইনার প্রোগ্রামিং পদ্ধতির জন্য কোভারিয়েন্স ম্যাট্রিক্সকে সীমাবদ্ধ করে পজিটিভ সেমাইডাইফিনেট হতে হবে এবং মিশ্রণ উপাদানগুলির ওজনকে সীমাবদ্ধ করে তুলনামূলকভাবে এক হতে হবে sum

উচ্চ মাত্রিক সমস্যাগুলিতে ভাল পারফরম্যান্স অর্জনের জন্য, একটি ননলাইনার প্রোগ্রামিং সলভার সাধারণত গ্রেডিয়েন্টটি শোষণ করা প্রয়োজন। সুতরাং, আপনাকে হয় গ্রেডিয়েন্টটি অর্জন করতে হবে বা স্বয়ংক্রিয় পার্থক্যের সাথে এটি গণনা করতে হবে। সীমিত ক্রিয়াকলাপগুলির জন্য গ্রেডিয়েন্টগুলিরও প্রয়োজন হয় যদি তাদের কোনও স্ট্যান্ডার্ড ফর্ম না থাকে। নিউটনের পদ্ধতি এবং সম্পর্কিত পদ্ধতির (যেমন বিশ্বাসের অঞ্চল পদ্ধতি) হেসিয়ানও প্রয়োজন। গ্রেডিয়েন্টটি অনুপলব্ধ থাকলে সীমাবদ্ধ পৃথকীকরণ বা ডেরাইভেটিভ-মুক্ত পদ্ধতি ব্যবহার করা যেতে পারে তবে পরামিতিগুলির সংখ্যা বাড়ার সাথে সাথে পারফরম্যান্স খারাপভাবে স্কেল করতে থাকে। বিপরীতে, EM গ্রেডিয়েন্টের প্রয়োজন নেই।

ইএম ধারণাগতভাবে স্বজ্ঞাত, যা একটি দুর্দান্ত গুণ। এটি প্রায়শই স্ট্যান্ডার্ড অপ্টিমাইজেশান পদ্ধতিরও ধারন করে। অনেকগুলি বাস্তবায়নের বিশদ রয়েছে তবে সামগ্রিক ধারণাটি সহজ। প্রায়শই স্ট্যান্ডার্ড অপ্টিমাইজেশন সলভারগুলি ব্যবহার করা সম্ভব যা এই বিবরণটিকে হুডের নিচে রেখে দেয়। এই ক্ষেত্রে, কোনও ব্যবহারকারীকে কেবলমাত্র উদ্দেশ্যমূলক ক্রিয়াকলাপ, সীমাবদ্ধতা এবং গ্রেডিয়েন্ট সরবরাহ করতে হবে এবং সমস্যার জন্য উপযুক্ত উপযুক্ত সমাধানকারী নির্বাচন করার জন্য পর্যাপ্ত জ্ঞান থাকতে হবে। তবে, বিশেষায়িত জ্ঞান অবশ্যই প্রয়োজন যদি এটি সেই বিন্দুতে পৌঁছে যায় যেখানে ব্যবহারকারীরা অপ্টিমাইজেশন অ্যালগরিদমের নিম্ন-স্তরের বিশদটি সম্পর্কে ভাবতে বা বাস্তবায়ন করতে পারে।

ইএম অ্যালগরিদমের আরেকটি সুবিধা হ'ল এটি এমন কিছু ক্ষেত্রে ব্যবহার করা যেতে পারে যেখানে কিছু ডেটা মান পাওয়া যায় না।

আগ্রহের (মন্তব্য সহ):

— user20160
সূত্র

\sum_{i} p_{i} = 1

$\sum_i p_i = 1$

q_{i} \in R

$q_i \in \mathbb{R}$

p_{i} = \frac{\exp (q_{i})}{\sum_{j} \exp (q_{j})}

$p_i = \frac{\exp(q_i)}{\sum_j\exp(q_j)}$

C

$C$

U

$U$

C = U^{T} U

$C = U^T U$

C

$C$

U

$U$

0

$0$

ডান, ডান, কোলেস্কে পচে যাওয়া। অনেক ভাল.

— ব্যবহারকারী20160

+1 দুর্দান্ত উত্তর! আপনি "এটি প্রতিটি পুনরাবৃত্তিতে মিশ্রণ বিতরণের জন্য স্বাভাবিকভাবে বৈধ পরামিতি উত্পাদন করে" এর উপর আরও ব্যাখ্যা করতে পারেন? অন্যান্য পদ্ধতির জন্য, আমাদের এখনও প্রতিটি পুনরাবৃত্তির জন্য সিদ্ধান্ত পরিবর্তনশীল মান আছে, তাই না?

— হাইতাও ডু

আমি মনে করি ব্যবহারকারীর20160 এর উত্তরটি খুব ভাল ব্যাখ্যা সরবরাহ করে, সবচেয়ে গুরুত্বপূর্ণ কারণ যেটি এখানে গ্রেডিয়েন্ট ভিত্তিক পদ্ধতিগুলি উপযুক্ত নয়, এটি কোভেরিয়েন্স ম্যাট্রিক্সের জন্য ইতিবাচক অর্ধবৃত্তীয় হওয়ার সীমাবদ্ধতা এবং মিশ্রণ সহগগুলি অবৈধ এবং এক হিসাবে যোগফল হতে পারে।

কেবল এটিই বলতে চাই যে আমরা যদি কোভেরিয়েন্স ম্যাট্রিক্সকে তির্যক হতে সীমাবদ্ধ করি তবে এই দুটি সীমাবদ্ধতা সহজেই প্রকাশ করা যেতে পারে।

একটি তির্যক সমবায় ম্যাট্রিক্স হিসাবে লেখা যেতে পারে

Σ = [\begin{matrix} σ_{1}^{2} \\ ⋱ \\ σ_{N}^{2} \end{matrix}]

$\Sigma = \begin{bmatrix} \sigma^2_{1} & & \\ & \ddots & \\ & & \sigma^2_{N} \end{bmatrix}$

ϕ_{k} = e^{p_{k}} / \sum_{K} e^{p_{i}}

$\phi_k=e^{p_k}/\sum_Ke^{p_i}$

তবুও এটি আমাদের ভেরিয়েশনাল লোয়ার বাউন্ড (ELBO) এর পরিবর্তে সত্যিকারের সম্ভাবনার জন্য সরাসরি অনুকূল করতে দেয়, ফলে সুপ্ত ভেরিয়েবলের প্রয়োজনীয়তা অপসারণ হয়।

তবে এমনকি এ জাতীয় ক্ষেত্রেও প্রায়শই গ্রেডিয়েন্ট শালীনের চেয়ে ভাল অ্যালগরিদম হিসাবে পরিণত হয়।

— dontloo
সূত্র