এমএলই বনাম এমএপি অনুমান, কখন ব্যবহার করবেন?

Question

এমএলই = সর্বাধিক সম্ভাবনার অনুমান

এমএপি = সর্বাধিক একটি পোস্টেরিয়েরি

এমএলই স্বজ্ঞাত / নিষ্পাপ যে এটি কেবলমাত্র প্যারামিটারের (যেমন সম্ভাবনা ফাংশন) প্রদত্ত পর্যবেক্ষণের সম্ভাবনার সাথেই শুরু হয় এবং পর্যবেক্ষণের সাথে পরামিতিটির সেরা অনুসারগুলি খুঁজে পাওয়ার চেষ্টা করে । তবে পূর্বের জ্ঞানের বিষয়টি বিবেচনায় নেই।

এমএপি আরও যুক্তিসঙ্গত বলে মনে হচ্ছে কারণ এটি বেইস নিয়মের মাধ্যমে পূর্বের জ্ঞানকে বিবেচনা করে না।

এখানে একটি সম্পর্কিত প্রশ্ন, তবে উত্তরটি পুরোপুরি নয়। /signals/13174/differences-using-maximum-likelihood-or-maximum-a-posteriori-for-deconvolution-d

সুতরাং, আমি মনে করি এমএপি আরও ভাল। এটা কি সঠিক? এবং আমি কখন ব্যবহার করব?

Answer 1

যদি কোনও সমস্যা সমাধানের অংশ হিসাবে পূর্বের সম্ভাবনা দেওয়া হয়, তবে সেই তথ্যটি (যেমন এমএপি ব্যবহার করুন) ব্যবহার করুন। এই জাতীয় কোনও পূর্ববর্তী তথ্য যদি না দেওয়া বা ধরে নেওয়া হয় তবে এমএপি সম্ভব নয় এবং এমএলই একটি যুক্তিসঙ্গত পন্থা।

Comments

এটি যোগ করার মতো যে ফ্ল্যাট প্রিয়ার সহ এমএপি এমএল ব্যবহারের সমতুল্য।

— টিম

আরও লক্ষণীয় যে আপনি যদি গাণিতিকভাবে আগে "সুবিধাজনক" চান তবে আপনি যদি আপনার পরিস্থিতির জন্য উপস্থিত থাকে তবে আপনি আগে একটি সংক্ষিপ্ত ব্যবহার করতে পারেন।

— শিম

Answer 2

একজন বায়েশিয়ান আপনার সাথে একমত হবেন, কোনও ঘনঘনবাদী তা মানবে না। এটি মতামত, দৃষ্টিভঙ্গি এবং দর্শনের বিষয়। আমি মনে করি যে একটি পদ্ধতি সর্বদা অন্যের চেয়ে ভাল, এমন যুক্তি দেওয়ার চেষ্টা করার জন্য এটি পরিসংখ্যান সম্প্রদায়ের অনেক ক্ষতি করে। অনেক সমস্যার বায়েশিয়ান এবং ঘন ঘন ঘন ঘন সমাধানগুলি থাকতে পারে যা এতক্ষণ একই রকম থাকে যেহেতু বায়েসিয়ান পূর্বের তুলনায় খুব বেশি শক্তিশালী না থাকে।

Comments

এটি কেবল মতামতের বিষয় নয়। এমন একটি নির্দিষ্ট পরিস্থিতি রয়েছে যেখানে একজন অনুমানকারী অপরটির চেয়ে ভাল।

— টম মিনকা

@ টমমিংকা আমি কখনও বলিনি যে এমন পরিস্থিতি নেই যেখানে একটি পদ্ধতি অন্য পদ্ধতির চেয়ে ভাল! আমি ওপির সাধারণ বিবৃতি যেমন "এমএপি আরও যুক্তিসঙ্গত বলে মনে করি" তে সাড়া দিয়েছি। এ জাতীয় বিবৃতি দাবির সমতুল্য যে বায়সিয়ান পদ্ধতিগুলি সর্বদা ভাল, যা আপনার এবং আমি দৃশ্যত দু'জনেরই একমত নয় বলে একটি বিবৃতি a

— jsk

জোক ঠিক আছে। বায়েশিয়ান এবং ঘন ঘন মতবাদগুলি দার্শনিকভাবে পৃথক। সুতরাং একজন কঠোর ঘন ঘন ঘনবাদী বায়েশিয়ান পদ্ধতির অগ্রহণযোগ্য বলে মনে করবেন।

— মাইকেল আর চেরনিক

Answer 3

ধরে নিচ্ছি আপনার কাছে যথাযথ পূর্বের তথ্য রয়েছে, যদি অনুমানের ক্ষেত্রে সমস্যাটি শূন্য-ওয়ান হ্রাসের কাজ করে তবে এমএপি আরও ভাল। যদি ক্ষতিটি শূন্য-এক না হয় (এবং অনেক বাস্তব-জগতে এটি না হয়), তবে এমএলই কম প্রত্যাশিত ক্ষতি অর্জন করতে পারে। এই ক্ষেত্রেগুলি কেবলমাত্র দুটি বিকল্প হিসাবে নিজেকে এমএপ এবং এমএলইয়ের মধ্যে সীমাবদ্ধ না করাই ভাল হবে, কারণ তারা উভয়ই সাবমোটিমাল।

Comments

যদি কোনও পরামিতি প্যারামিটারাইজেশনের উপর নির্ভর করে তবে এমএপি অনুমানকারী, যেখানে "0-1" ক্ষতি হয় না। কোটায় 0-1 কারণ আমার হিসাব অনুসারে সমস্ত অনুমানকারীরা সাধারণত সম্ভাব্য 1 এর সাথে 1 টি ক্ষতি করে এবং আনুমানিক নির্মাণের যে কোনও প্রচেষ্টা আবার প্যারামিট্রাইজেশন সমস্যার পরিচয় দেয়

— লোক

আমার দৃষ্টিতে শূন্য-ওয়ান ক্ষতি প্যারামিটারাইজেশনের উপর নির্ভর করে, সুতরাং কোনও অসঙ্গতি নেই।

— টম মিনকা

Answer 4

@Ben দ্বারা সংক্ষিপ্ত উত্তর এটি খুব ভাল ব্যাখ্যা করে। যাইহোক, আমি রেজনিক এবং হার্ডিস্টি দ্বারা নিরবচ্ছিন্ন জন্য কাগজ গীবস স্যাম্পলিংয়ের কাগজের ১.১ বিভাগের দিকে ইঙ্গিত করতে চাই যা বিষয়টি আরও গভীরতার দিকে নিয়ে যায়। আমি খুব সামান্য পরিবর্তন দিয়ে এই কাগজটি থেকে কয়েকটি লাইন লিখছি (এই উত্তরগুলি এমন কয়েকটি জিনিসের পুনরাবৃত্তি করে যা ওপেন সম্পূর্ণতার জন্য জানে)

MLE

সাধারণত এমএলই পর্যবেক্ষণ করা ডেটা তৈরি করার সম্ভাবনা সবচেয়ে বেশি পছন্দ করে তোলে (মডেল প্যারামিটারের)।

মানচিত্র

একটি এমএপি অনুমান করা হয় এমন পছন্দ যা সম্ভবত পর্যবেক্ষণ করা ডেটা দেওয়া হয়। এমএলই-এর বিপরীতে, এমএপি অনুমানটি বয়েসের বিধি প্রয়োগ করে, যাতে আমাদের অনুমানগুলি পূর্বের সম্ভাবনা বন্টনের আকারে আমাদের পরামিতিগুলি কী প্রত্যাশা করে তা পূর্বে জ্ঞান বিবেচনা করতে পারে।

ধরা

"সেরা" এর নিজ নিজ ডিস্টেশন অনুসারে এমএলই এবং এমএপি অনুমান দুটিই আমাদের সেরা অনুমান দিচ্ছে। তবে লক্ষ্য করুন যে একটি একক প্রাক্কলন ব্যবহার করে - এটি এমএলই বা এমএপি - তা তথ্য ছুঁড়ে দেয়। নীতিগতভাবে, প্যারামিটারের কোনও মান থাকতে পারে (ডোমেন থেকে); প্যারামিটারের জন্য কেবলমাত্র একটি একক প্রাক্কলিত মানের চেয়ে পুরো বিতরণটি যদি আমলে নেওয়া হয় তবে আমরা কী আরও ভাল অনুমান পেতে পারি না? যদি আমরা এটি করি, আমরা পর্যবেক্ষণ করা ডেটা, এক্স থেকে প্যারামিটার সম্পর্কে সমস্ত তথ্য ব্যবহার করছি।

সুতরাং এই ধরা দিয়ে, আমরা তাদের কোনওটিই ব্যবহার করতে চাইব। এছাড়াও, যেমন ইতিমধ্যে শিম ও টিম উল্লেখ যদি আপনি আছে তাদের মধ্যে একজন ব্যবহার করেন, ব্যবহারযোগ্য একটি আপনি পূর্বে পেয়েছিলাম। আপনার প্রিয়ার না থাকলে, এমএপি এমএলই হ্রাস করে। সংঘবদ্ধ প্রিয়াররা বিশ্লেষণাত্মকভাবে সমস্যার সমাধান করতে সহায়তা করবে, অন্যথায় গীবস স্যাম্পলিং ব্যবহার করুন।

Answer 5

$$\begin{equation}\begin{aligned} \hat\theta^{MAP}&=\arg \max\limits_{\substack{\theta}} \log P(\theta|\mathcal{D})\\ &= \arg \max\limits_{\substack{\theta}} \log \frac{P(\mathcal{D}|\theta)P(\theta)}{P(\mathcal{D})}\\ &=\arg \max\limits_{\substack{\theta}} \log P(\mathcal{D}|\theta)P(\theta) \\ &=\arg \max\limits_{\substack{\theta}} \underbrace{\log P(\mathcal{D}|\theta)}_{\text{log-likelihood}}+ \underbrace{\log P(\theta)}_{\text{regularizer}} \end{aligned}\end{equation}$$

$\exp(-\frac{\lambda}{2}\theta^T\theta)$

Answer 6

যদি ডেটা কম হয় এবং আপনার প্রিয়ার পাওয়া যায় - "ম্যাপের জন্য যান"। আপনার যদি প্রচুর ডেটা থাকে তবে এমএপি এমএলইতে রূপান্তরিত হবে। সুতরাং প্রচুর ডেটা দৃশ্যের ক্ষেত্রে এমএপি-র পরিবর্তে এমএলই করা ভাল।

Comments

এটি এত সহজ নয়।

— মাইকেল আর চেরনিক

@ মিশেল চের্নিক আমি গ্রেড স্কুলে এটি পড়া। আমি অনুরোধ করছি আমি যেখানে ভুল হয়েছি আপনি আমাকে সংশোধন করুন।

— হাইজেনবাগ

ঘন ঘনবাদী দৃষ্টিভঙ্গি এবং বায়েশিয়ান পদ্ধতির দার্শনিকভাবে পৃথক। ফ্রিকোয়েন্সি পদ্ধতির পুনরাবৃত্তি নমুনার উপর ভিত্তি করে মডেল পরামিতির মান অনুমান করে। বায়সিয়ান অ্যাপ্রোচ প্যারামিটারটিকে এলোমেলো পরিবর্তনশীল হিসাবে বিবেচনা করে। সুতরাং বায়েসীয় পদ্ধতির মধ্যে আপনি পরামিতিগুলির পরবর্তী বিতরণ উপাত্তের সাথে পূর্বের বিতরণকে একত্রিত করেন। এমএপি পোস্টেরিয়র ডিস্ট্রিবিউশনের সর্বোচ্চ শিখর সন্ধান করে এবং এমএলই কেবলমাত্র তথ্যের সম্ভাবনা ফাংশনটি দেখে প্যারামিটারটি অনুমান করে।

— মাইকেল আর চেরনিক

@ মিশেল চের্নিক - আপনার ইনপুটটির জন্য আপনাকে ধন্যবাদ। একবার আমাদের কাছে প্রচুর ডেটা হয়ে গেলে এমএপ এমএলইয়ের মতো আচরণ করে না। আমরা যদি এমএপি এক্সপ্রেশনটি ভঙ্গ করি তবে আমরা একটি এমএলই পদও পাই। এমএপিতে প্রচুর পরিমাণে ডেটা সহ এমএলই পদটি পূর্বের উপর নেয়।

— হাইজেনবাগ

এটি পূর্বের এবং ডেটা পরিমাণের উপর নির্ভর করে। তারা বড় নমুনায় অনুরূপ ফলাফল দিতে পারে। পার্থক্যটি ব্যাখ্যায়। আমার মন্তব্যটি বোঝানোর জন্য বোঝানো হয়েছিল যে এটি আপনি যতটা সহজ করেন তেমন সহজ নয়। অল্প পরিমাণে ডেটা সহ এটিকে এমএপি বাছাইয়ের বিষয় নয় কেবল যদি আপনার আগে থাকে। পূর্বে দুর্বলভাবে বাছাই করা খারাপ পোস্টেরিয়র বিতরণ পেতে পারে এবং সেজন্য একটি দুর্বল এমএপি।

— মাইকেল আর চেরনিক