গৌসিয়ানদের মিশ্রণটি কেন সরাসরি কম্পিউটারের তুলনায় কঠিন?

18

গাউসিয়ানদের মিশ্রণের লগ সম্ভাবনা বিবেচনা করুন:

l (S_{n}; θ) = \sum_{t = 1}^{n} \log f (x^{(t)} | θ) = \sum_{t = 1}^{n} \log {\sum_{i = 1}^{k} p_{i} f (x^{(t)} | μ^{(i)}, σ_{i}^{2})}

$l(S_n; \theta) = \sum^n_{t=1}\log f(x^{(t)}|\theta) = \sum^n_{t=1}\log\left\{\sum^k_{i=1}p_i f(x^{(t)}|\mu^{(i)}, \sigma^2_i)\right\}$

আমি ভাবছিলাম যে সরাসরি কেন এই সমীকরণটি সর্বাধিকতর করা গুনে মুশকিল? আমি কেন এটির স্পষ্ট হওয়া উচিত তার কঠোর বা সম্ভবত কেন এটি শক্ত তা সম্পর্কে আরও কঠোর ব্যাখ্যা করার বিষয়ে একটি স্পষ্ট কঠিন অন্তর্দৃষ্টি খুঁজছিলাম। এই সমস্যাটি কি এনপি-সম্পূর্ণ বা আমরা কীভাবে এখনও এটি সমাধান করবেন তা ঠিক জানি না? আমরা কি ইএম ( প্রত্যাশা-সর্বাধিকীকরণ ) অ্যালগরিদমটি ব্যবহার করার কারণে এই কারণটি বোধ করি ?

স্বরলিপি:

$S_n$ = প্রশিক্ষণের ডেটা।

$x^{(t)}$ = ডেটা পয়েন্ট।

$\theta$ = গাউসিয়ান, তাদের অর্থ, মানক বিচ্যুতি এবং প্রতিটি ক্লাস্টার / শ্রেণি / গাউসিয়ান থেকে কোনও পয়েন্ট তৈরির সম্ভাবনা উল্লেখ করে প্যারামিটারগুলির সেট।

$p_i$ = ক্লাস্টার / ক্লাস / গাউসিয়ান থেকে পয়েন্ট উত্পন্ন করার সম্ভাবনা i।

machine-learning gaussian-mixture expectation-maximization

— Pinocchio
সূত্র

14

প্রথমত, জিএমএম ক্লাস্টারিংয়ের জন্য একটি বিশেষ অ্যালগরিদম, যেখানে আপনি আপনার পর্যবেক্ষণের অনুকূল লেবেল সন্ধান করার চেষ্টা করেন । রয়ে সম্ভব ক্লাস, এটা আছে এর মানে হল আপনার প্রশিক্ষণ ডেটার সম্ভব labellings। এটি ইতিমধ্যে এবং এর মাঝারি মানের জন্য বিশাল হয়ে ওঠে । $n$ $k$ $k^n$ $k$ $n$

দ্বিতীয়ত, আপনি যে ক্রিয়াকলাপটি হ্রাস করার চেষ্টা করছেন তা উত্তল নয়, এবং আপনার সমস্যার আকারের সাথে এটি খুব শক্ত করে তোলে। আমি কেবল জানি যে কে-মানে (জিএমএম কেমিয়ান্সের একটি নরম সংস্করণ হিসাবে দেখা যেতে পারে) এনপি-হার্ড। তবে জিএমএমের পক্ষে এটিও প্রমাণিত হয়েছে কিনা তা সম্পর্কে আমি অবগত নই।

সমস্যাটি উত্তল নয় তা দেখতে, একটি মাত্রিক ক্ষেত্রে বিবেচনা করুন: এবং পরীক্ষা করুন যে আপনি গ্যারান্টি দিতে পারবেন না যে সমস্ত এক্সের জন্য ।

L = \log (e^{- (x / σ_{1})^{2}} + e^{- (x / σ_{2})^{2}})

$L = \log \left(e^{-({x}/{\sigma_{1}})^2} + e^{-({x}/{\sigma_{2}})^2}\right)$

\frac{d^{2} L}{d x^{2}} > 0

$\frac{d^2L}{dx^2} > 0$

নন-উত্তল সমস্যা হওয়ার অর্থ আপনি স্থানীয় মিনিমাতে আটকে যেতে পারেন। সাধারণভাবে, উত্তল অপ্টিমাইজেশনে আপনার কাছে শক্তিশালী ওয়্যারেন্টি নেই, এবং সমাধান অনুসন্ধান করাও অনেক কঠিন।

— jpmuc
সূত্র

3

দ্বিতীয় দফার বিষয়ে: কে-মানেগুলি জিএমএমগুলির একটি বিশেষ কেস হিসাবে দেখা যেতে পারে (আরও সুনির্দিষ্টভাবে, একটি সীমা ক্ষেত্রে যেখানে রূপগুলি শূন্যে নেওয়া হয়)। যদি আমরা জিএমএম-এর ফিটিংয়ের জন্য কে-মাধ্যমগুলি হ্রাস করতে পারি তবে পরবর্তীটি অবশ্যই এনপি-হার্ড সমস্যা হতে হবে।

— লুকাস

1

@ লুকাস: আপনার মন্তব্যের জন্য এখানে ক্রস বৈধিকৃত লিঙ্ক ।

— শি'আন

7

জুম্পার পয়েন্টগুলি ছাড়াও, আমাকে সেই অসুবিধাগুলির সংকেত দেওয়া যাক:

ফাংশন তাই সত্য সর্বাধিক হয়, সীমাবদ্ধ নয় এবং অনুরূপ (উদাহরণস্বরূপ) এবং । সত্যিকারের ম্যাক্সিমাইজারের এই সমাধানটি শেষ হওয়া উচিত, যা অনুমানের উদ্দেশ্যে কার্যকর নয়। $l(\theta|S_n)$ $+\infty$ $\hat\mu^{(i)}=x_1$ $\hat\sigma_i=0$
এমনকি বিবেচনা করা ছাড়া মধ্যে পণ্য একটি সমষ্টি হিসাবে অঙ্কের গুণফল এর পচানি পদ , ফাংশন maximized করা অত্যন্ত অ হচ্ছে মাল্টি-মোডাল (অতিরিক্ত দায়িত্বে উত্তল) সুতরাং সংখ্যাগত পদ্ধতিগুলির জন্য একটি চ্যালেঞ্জ। EM স্থানীয় মোড বা জিন পয়েন্টে রূপান্তর করে এবং একাধিক রান প্রয়োজনের মাধ্যমে অসুবিধা স্বীকার করে। হিসাবে দেখানো হয়েছে $k^n$ $l(\theta|S_n)$ $\theta$

আমার বই থেকে নেওয়া ।

একটি অতিরিক্ত মন্তব্য: ইএম অ্যালগরিদমকে কল না করে, কেউ এক সময় একটি স্ট্যান্ডার্ড অপ্টিমাইজেশন অ্যালগরিদম (নিউটন-রাফসনের মতো) একটি প্যারামিটার ব্যবহার করতে পারে, যা পুনরাবৃত্তি হয়

এটি $\theta_1^\prime=\arg\max_{\theta_1} l(\theta|S_n)$
এটি $\theta_2^\prime=\arg\max_{\theta_2} l(\theta_1^\prime,\theta_{-1}|S_n)$
...
এটি $\theta_v^\prime=\arg\max_{\theta_v} l(\theta_{-v}^\prime,\theta_v|S_n)$

যদি প্যারামিটার থাকে এবং প্রতিটি পদক্ষেপের লক্ষ্য ফাংশনের মান বাড়ানো উচিত তবে এই স্কিমটি ই এম অ্যালগরিদমের মতো একই মোডে সর্বোত্তমভাবে শেষ হবে। $v$ $l(\theta|S_n)$

— সিয়ান
সূত্র

ঠিক আছে, এলটি বিমণ্ডিত হয় যদি ভেরিয়েন্সটি 0 হয় তবে আমরা যদি তাদেরকে সম্ভাব্য পরামিতিগুলি থেকে বাদ দিয়ে থাকি (সুতরাং আমরা সমস্ত বৈকল্প্য> 0 ধরে নিই), তবে যখনই অনন্যতর বাছাই করা বৈকল্পিক (অন্যান্য পয়েন্টগুলির কারণে) খুব বেশি থাকে না তখন एल খুব বেশি হয় না। আমি কি সঠিক? তারপরে, প্যারামিটারগুলির এই সম্ভাব্য সেটটির জন্য, এলটি আবদ্ধ হবে এবং এটি এমএম অ্যালগরিদমকে রূপান্তরিত করবে (বাড়ানো সীমাবদ্ধতা)।

— আহসাত

@ অহসত: ভেরিয়েন্সগুলি কঠোরভাবে ধনাত্মক বলে ধরে নিলে যথেষ্ট পরিমাণে শুরু হলে ইএমকে অবনতিযুক্ত সমাধানে রূপান্তরিত করতে বাধা দেয় না।

— শি'য়ান