ইএম অ্যালগরিদম কি গাউসিয়ান মিশ্রণ মডেলটির নিয়মিত প্যারামিটারগুলি অনুমান করে?

Question

আমি গাউসিয়ান মিশ্রণ মডেলটি অধ্যয়ন করছি এবং এই প্রশ্নটি নিজেই নিয়ে আসছি।

মনে করুন অন্তর্নিহিত ডেটা এর মিশ্রণ থেকে উত্পন্ন হয়েছে $K$গাউসীয় বিতরণ এবং তাদের প্রত্যেকের একটি তে একটি ভেক্টর রয়েছে where, যেখানে এবং তাদের প্রত্যেকের একই সম-বৈচিত্র ম্যাট্রিক্স এবং ধরে নিন একটি তির্যক ম্যাট্রিক্স। এবং ধরুন মিক্সিং রেশিও , প্রতিটি ক্লাস্টারের ওজন একই।$\mu_k\in\mathbb{R}^p$$1\leq k\leq K$$\Sigma$$\Sigma$$1/K$

সুতরাং এই আদর্শ উদাহরণে, একমাত্র কাজ হ'ল এর গড় ভেক্টরগুলি অনুমান করা , যেখানে এবং সহ-ভেরিয়েন্স ম্যাট্রিক্স ।$K$$\mu_k\in\mathbb{R}^p$$1\leq k\leq K$$\Sigma$

আমার প্রশ্নটি হ'ল: যদি আমরা ইএম অ্যালগরিদম ব্যবহার করি, তবে আমরা কি ধারাবাহিকভাবে এবং অনুমান করতে সক্ষম , যখন, যখন নমুনা আকার , ইএম অ্যালগরিদমের দ্বারা উত্পাদিত অনুমানকারী এবং সত্যিকার মান অর্জন করতে পারে? ?$\mu_k$$\Sigma$$n\rightarrow\infty$$\mu_k$$\Sigma$

Answer 1

যদি অ্যালগরিদম প্রতিবার এলোমেলো মানগুলির সাথে শুরু হয়, তবে না, রূপান্তরটি অগত্যা সুসংগত হবে না। নন-এলোমেলো সূচনাটি সম্ভবত প্রতিবার একই ফলাফল উত্পন্ন করবে, তবে আমি বিশ্বাস করি না যে এটির "সঠিক" মানগুলি প্রয়োজনীয় হবে$\mu_k$।

একদিকে যেমন, মিশ্রণের অনুপাতটি ঠিক করে $1/K$ এবং ফিক্সিং $\Sigma$ তির্যক হতে, অ্যালগরিদম এর সাথে খুব মিল হয় $k$-মেনস অ্যালগরিদম। এলোমেলো ইনিশিয়েশনের উপর নির্ভর করে এটিতেও বেমানান অভিযোজন রয়েছে।

Comments

আমি সংখ্যায়িকভাবে পরীক্ষা-নিরীক্ষা করেছি, কমপক্ষে 2 টি সাধারণ বন্টনের স্বতন্ত্র ক্লাসের জন্য, EM বর্গ গড়ের ধারাবাহিক অনুমানকারী উত্পাদন করে। যাইহোক, কে মানে এটি করতে পারে না, আমি এটি গাণিতিকভাবে প্রমাণ করেছি

— কেভিনকিম

আপনি আরও বিশদ দিতে পারেন দয়া করে? যেমন কোন ডেটা আপনি ব্যবহার করা হয়েছে, কিভাবে আপনি পরামিতি ইনিশিয়ালাইজ ইত্যাদি

— dcorney

@ ডেকার্নির সাথে সম্মত হন। এটি সত্যিই আপনি যে প্রাথমিক মানগুলি চয়ন করবেন তার উপর নির্ভর করে। কমপক্ষে অনুশীলনে প্রাথমিক মানগুলির ভুল পছন্দটি অসঙ্গতিযুক্ত অনুমানের দিকে পরিচালিত করে (আমি মিক্সটোল আর প্যাকেজটি ব্যবহার করি)

— জার্মান ডেমিডভ