24

আমি ইএম অ্যালগরিদমের কয়েকটি ব্যাখ্যা পড়েছি (যেমন বিশপের প্যাটার্ন রিকগনিশন এবং মেশিন লার্নিং এবং মেশিন লার্নিংয়ের উপর রজার এবং গেরোমালি ফার্স্ট কোর্স থেকে)। EM এর ব্যয় ঠিক আছে, আমি এটি বুঝতে পারি। আমি এও বুঝতে পারি কেন অ্যালগরিদম কেন কিছুতে আবৃত থাকে: প্রতিটি পদক্ষেপে আমরা ফলাফলটি উন্নত করি এবং সম্ভাবনাটি 1.0 দ্বারা আবদ্ধ হয়, সুতরাং একটি সাধারণ ঘটনা ব্যবহার করে (যদি কোনও ক্রিয়া বৃদ্ধি পায় এবং আবদ্ধ হয় তবে তা রূপান্তরিত হয়) আমরা জানি যে অ্যালগরিদম রূপান্তরিত হয় কিছু সমাধান।

তবে এটি কীভাবে আমরা জানি যে এটি স্থানীয় নূন্যতম? প্রতিটি পদক্ষেপে আমরা কেবলমাত্র একটি সমন্বয় (সুপ্ত পরিবর্তনশীল বা পরামিতি) বিবেচনা করছি, যাতে আমরা কিছু মিস করতে পারি, যেমন স্থানীয় নূন্যতমটির জন্য একই সাথে উভয় স্থানাঙ্কের দ্বারা সরানো প্রয়োজন।

এটি আমি বিশ্বাস করি পাহাড়ী আরোহণের অ্যালগরিদমগুলির সাধারণ শ্রেণীর সাথে একই সমস্যা, যার উদাহরণ EM। সুতরাং একটি সাধারণ পাহাড়ের আরোহণ অ্যালগরিদমের জন্য আমাদের এই সমস্যাটি রয়েছে ফ (x, y) = x * y ফাংশনের জন্য। আমরা যদি (0, 0) পয়েন্ট থেকে শুরু করি, তবে কেবল একবারে উভয় দিক বিবেচনা করে আমরা 0 মান থেকে উপরের দিকে যেতে সক্ষম হয়েছি।

missing-data convergence expectation-maximization

— মাইকেল
সূত্র

3

সম্ভাবনা কেবল স্থির বৈকল্পিকের জন্যই সীমাবদ্ধ। অর্থাত, দ্বিপদী পরিস্থিতিতে, পার্থক্যটি

p (1 - p)

$p(1-p)$ ; বা গাউসিয়ান পরিস্থিতিতে, যদি ভিন্নতাটি ধরে নেওয়া যায়। যদি বৈকল্পিক অজানা, এবং অনুমান করতে হয়, সম্ভাবনা সীমাবদ্ধ নয়। এছাড়াও, ইএম অ্যালগরিদমে অন্তত ঘন ঘন ঘন ঘনসংখ্যক পরিসংখ্যানবিদদের জন্য অনুপস্থিত এবং পরামিতিগুলির জেনেরিক পৃথকীকরণ রয়েছে তবে পৃষ্ঠগুলিতে সত্যই জিন থাকতে পারে।

— স্টাসকে

@ স্টাস্ক আমি নিশ্চিত নই যে সম্ভাবনা সাধারণত স্থির বৈকল্পের সাথেও সীমাবদ্ধ। আপনি কিছু নির্দিষ্ট পরিবারে সীমাবদ্ধ করছেন?

— গ্লেন_বি -রেইনস্টেট মনিকা

27

ইএম স্থানীয় ন্যূনতম রূপান্তর করার গ্যারান্টিযুক্ত নয়। প্যারামিটারের সাথে সম্মত শূন্য গ্রেডিয়েন্টের সাথে একটি পয়েন্টে রূপান্তর করা কেবল গ্যারান্টিযুক্ত। সুতরাং এটি সত্যিই জিন পয়েন্ট আটকে যেতে পারেন।

— টম মিনকা
সূত্র

1

উদাহরণস্বরূপ, পৃষ্ঠা 20 এবং 38 দেখুন , p। 85 এখানে - অ্যামাজন পাঠকের "স্যাডল পয়েন্ট" ব্যবহার করে দেখুন।

— স্টাস্ক

13

প্রথমত, এটি সম্ভব যে EM একটি স্থানীয় মিনি , একটি স্থানীয় সর্বাধিক , বা সম্ভাবনা ফাংশনের একটি জিন পয়েন্টে রূপান্তর করে। আরও স্পষ্টভাবে, টম মিনকা উল্লেখ করেছেন যে, ইএম শূন্য গ্রেডিয়েন্ট সহ একটি পয়েন্টে রূপান্তরিত হওয়ার গ্যারান্টিযুক্ত ।

আমি এটি দেখতে দুটি উপায় সম্পর্কে ভাবতে পারি; প্রথম দৃশ্যটি খাঁটি অন্তর্দৃষ্টি, এবং দ্বিতীয় দৃশ্যটি একটি আনুষ্ঠানিক প্রমাণের স্কেচ। প্রথমে, আমি খুব সংক্ষেপে ইএম কীভাবে কাজ করে তা ব্যাখ্যা করব:

$t$ $b_t(\theta)$ $L(\theta)$ $\theta_t = \arg\max_\theta b_t(\theta)$

গ্রেডিয়েন্ট আরোহ হিসাবে প্রত্যাশা সর্বাধিক

$t$ $b_t$ $L$ $\theta_{t-1}$ $g = \nabla b_t(\theta_{t-1}) = \nabla L(\theta_{t-1})$ $\theta_t$ $\theta_{t-1} + \eta g$

$\theta^*$ $\theta^*$

একটি আনুষ্ঠানিক প্রমাণ স্কেচ

\begin{matrix} (1) & \underset{টি \to \infty}{লিম} এল (θ_{টি}) - খ_{টি} (θ_{টি}) = 0। \end{matrix}

$\lim_{t \rightarrow \infty} L(\theta_t) - b_t(\theta_t) = 0. \tag{1}$

\begin{matrix} (2) & \underset{টি \to \infty}{লিম} \nabla এল (θ_{টি}) = \nabla খ_{টি} (θ_{টি}) । \end{matrix}

$\lim_{t \rightarrow \infty} \nabla L(\theta_t) = \nabla b_t(\theta_t). \tag{2}$

(1)

$(1)$

(2)

$(2)$

θ_{t} = \arg max_{θ} b_{t} (θ)

$\theta_t = \arg\max_\theta b_t(\theta)$

\nabla b_{t} (θ_{t}) = 0

$\nabla b_t(\theta_t)=0$

lim_{t \to \infty} \nabla L (θ_{t}) = 0

$\lim_{t \rightarrow \infty} \nabla L(\theta_t) = 0$

— Sobi
সূত্র

প্রত্যাশা সর্বাধিকতা অ্যালগরিদম কেন স্থানীয় সর্বোত্তম রূপান্তরিত করার গ্যারান্টিযুক্ত?

গ্রেডিয়েন্ট আরোহ হিসাবে প্রত্যাশা সর্বাধিক

একটি আনুষ্ঠানিক প্রমাণ স্কেচ