বায়েশিয়ান অনুমান এবং সর্বোচ্চ সম্ভাবনা অনুমানের মধ্যে পার্থক্য কী?

দয়া করে আমাকে বায়েশিয়ান অনুমান এবং সর্বাধিক সম্ভাবনার অনুমানের মধ্যে পার্থক্যটি ব্যাখ্যা করুন?

bayesian maximum-likelihood

বায়েশিয়ান অনুমানের ধরণের উপর নির্ভর করে। মানচিত্র? উত্তরের মানে? কিছু ক্ষতি কাজের জন্য বেইস ঝুঁকি হ্রাস করার ফলাফল? উপরের প্রতিটি? অন্যকিছু?

— Glen_b

আমি এই প্রশ্নের উত্তর, বা একটি এনালগ, এখানে। stats.stackexchange.com/questions/73439/… আপনি দুটি বিষয় বুঝতে কোন সমস্যা পেয়েছেন? আরও বিশদ আমাদের আরও ভাল উত্তর দিতে সহায়তা করবে।

— মনিকা

স্ট্যান রেফারেন্স ম্যানুয়াল থেকে: "পূর্ববর্তীটি অভিন্ন হলে, পূর্ববর্তী মোডটি প্যারামিটারগুলির সর্বাধিক সম্ভাবনা অনুমানের (এমএলই) সাথে মিলে যায় If "

— নীরভ

@ নীরব এটাই আমার দরকার উত্তর । thx

— javadba

বয়েশিয়ান সুনির্দিষ্ট ক্ষেত্রে পরবর্তী পোস্টেরিয়োরিটি নির্দিষ্ট করার জন্য কার্যকর একটি উত্তর দেওয়া হয়েছে ।

— পিজিএলপিএম

উত্তর:

এটি একটি বিস্তৃত প্রশ্ন এবং আমার উত্তর এখানে কেবল পৃষ্ঠকে কিছুটা স্ক্র্যাচ করতে শুরু করে। আমি ধারণাগুলি ব্যাখ্যা করতে বায়েসের নিয়মটি ব্যবহার করব।

আসুন ধরে নেওয়া যাক সম্ভাব্যতা বিতরণের প্যারামিটারগুলির একটি সেট, , ডেটাसेट সর্বোত্তমভাবে ব্যাখ্যা করে । আমরা প্যারামিটারগুলি অনুমান করতে পারি - বেইসের নিয়মের সাহায্যে : $\theta$ $D$ $\theta$

p (θ | D) = \frac{p (D | θ) * p (θ)}{p (D)}

$p(\theta|D)=\frac{p(D|\theta) * p(\theta)}{p(D)}$

p o s t e r i o r = \frac{l i k e l i h o o d * p r i o r}{e v i d e n c e}

$posterior = \frac{likelihood * prior}{evidence}$

ব্যাখ্যা অনুসরণ:

সর্বাধিক সম্ভাবনার প্রাক্কলন

MLE সঙ্গে, আমরা একটি বিন্দু মান চাইতে যা সম্ভাবনা, maximizes , উপরোক্ত সমীকরণ (গুলি) তে দেখানো হয়েছে। আমরা যত এই মান আওতাভুক্ত । এমএলই-তে, a একটি বিন্দু অনুমান, এলোমেলো পরিবর্তনশীল নয়। $\theta$ $p(D|\theta)$ $\hat{\theta}$ $\hat{\theta}$

অন্য কথায়, উপরের সমীকরণে, এমএলই term শব্দটিকে একটি ধ্রুবক হিসাবে বিবেচনা করে এবং আমাদের পূর্ববর্তী বিশ্বাস, সম্পর্কে ইনজেক্ট করতে দেয় না the অনুমানের গণনায় জন্য সম্ভাব্য মান । $\frac{p(\theta)}{p(D)}$ $p(\theta)$ $\theta$

বায়েশিয়ান অনুমান

বৈয়েশিয়ান অনুমান, বিপরীতে, পুরোপুরি গণনা করে (বা প্রায় সময় প্রায়) পশ্চিমা বিতরণ । বায়েশিয়ান অনুমান আচরণ একটি এলোমেলো পরিবর্তনীয় হিসাবে। বয়েসীয় অনুমানে আমরা সম্ভাব্যতা ঘনত্বের ফাংশন রেখেছি এবং এমএলই-তে একটি বিন্দু না রেখে সম্ভাব্যতা ঘনত্বের কার্যগুলি বের করি। $p(\theta|D)$ $\theta$

সব আউটপুট বন্টন দ্বারা করা সম্ভব হয়েছে মান , এটি একটি মান যে আমরা কিছু অর্থে শ্রেষ্ঠ বিবেচনা নির্বাচন করার জন্য আমাদের কাজ। উদাহরণস্বরূপ, আমরা অনুমান করা মানটির পছন্দ পছন্দ করতে পারি - এটির বৈকল্পিকতা যথেষ্ট ছোট বলে ধরে । প্যারামিটারের জন্য আমরা যে বৈচিত্রটি গণনা করতে পারি - এর উত্তরোত্তর বিতরণ থেকে আমাদের অনুমান হিসাবে ব্যবহার করতে পারি এমন কোনও নির্দিষ্ট মানের প্রতি আমাদের আস্থা প্রকাশ করতে দেয়। যদি বৈকল্পিকটি খুব বড় হয় তবে আমরা ঘোষণা করতে পারি যে জন্য ভাল অনুমানের অস্তিত্ব নেই । $\theta$ $p(\theta|D)$ $\theta$ $\theta$ $\theta$

বাণিজ্য-বন্ধ হিসাবে, বায়েশিয়ান অনুমানটি জটিল করে তুলেছে যে আমাদের এখন বেয়েসের শাসনে ডিনোমিনেটরকে মোকাবেলা করতে হবে, । এখানে প্রমাণ-প্রমাণের সম্ভাবনা- প্রতিনিধিত্ব করে: $evidence$

p (D) = \int_{θ} p (D | θ) * p (θ) d θ

$p(D) = \int_{\theta} p(D|\theta) * p(\theta) d\theta$

এটি বায়েশিয়ান অনুমানের মধ্যে 'কনজুগেট প্রিয়ারস' ধারণার দিকে পরিচালিত করে। প্রদত্ত সম্ভাবনার ক্রিয়াকলাপের জন্য, আমরা কীভাবে আমাদের পূর্বের বিশ্বাসগুলি প্রকাশ করি সে সম্পর্কিত কোনও পছন্দ থাকলে, আমাদের অবশ্যই সেই ফর্মটি ব্যবহার করতে হবে যা আমাদের উপরে দেখানো একীকরণটি চালিয়ে যাওয়ার অনুমতি দেয়। কনজিগেট প্রিয়ারদের ধারণা এবং কীভাবে তারা ব্যবহারিকভাবে প্রয়োগ করা হয় সে সম্পর্কে COOlSerdash এই পোস্টে বেশ ভালভাবে ব্যাখ্যা করেছেন ।

— Zhubarb
সূত্র

আপনি কি এই সম্পর্কে আরও বিস্তারিত বলতে চান? : "বেয়েসের শাসনে ডোনমোনেটর, অর্থাৎ প্রমাণ।"

— ড্যানিয়েল

আমি আমার উত্তর প্রসারিত।

— ঝুবার্ব

এখানে সমীকরণে বারকান, পি (ডি | থেইটা) সম্ভাবনা রয়েছে। যাইহোক, সম্ভাবনা ফাংশনটি পি (থেইটা | ডি) হিসাবে সংজ্ঞায়িত করা হয়, এটি পরামিতিগুলির কার্য, প্রদত্ত ডেটা। আমি সবসময় এই সম্পর্কে বিভ্রান্ত। সম্ভাবনা শব্দটি এখানে বিভিন্ন জিনিসকে উল্লেখ করছে? আপনি কি এই বিস্তারিত বলতে পারেন? অনেক ধন্যবাদ!

— zesla

@ জেসলা যদি আমার বোধগম্যতা সঠিক হয় তবে পি (থেইটা | ডি) সম্ভাবনা নয় - এটি উত্তরোত্তর। এটি হ'ল, আপনার উত্সের নমুনা রয়েছে এমন ডেটা উত্সে শর্তসাপেক্ষে থিতা বিতরণ। সম্ভাবনা যেমনটি আপনি বলেছেন: পি (ডি | থেইটা) - থিতাকে প্যারামিটারাইজড হিসাবে আপনার ডেটা বন্টন করা বা সম্ভবত আরও স্বজ্ঞাততার সাথে বলা হয়েছে, "আপনি যা দেখছেন তা দেখার সম্ভাবনা" থিটার ক্রিয়া হিসাবে। যে জানার জন্য? অন্য সবাই: আমি যেখানে ভুল করছি দয়া করে আমাকে সংশোধন করুন।

— গ্রিসাইটিস

@ জেসলা, গ্রিসাইটিস দ্বারা প্রদত্ত ব্যাখ্যাটি সঠিক।

— ঝুবার্ব

আমি মনে করি আপনি প্যারামিট্রিক অনুমিতি হিসাবে পয়েন্ট অনুমানের বিষয়ে কথা বলছেন, যাতে আমরা একটি ডেটা উত্পন্নকরণের ব্যবস্থার জন্য প্যারামিট্রিক সম্ভাব্যতা মডেল ধরে নিতে পারি তবে প্যারামিটারটির প্রকৃত মান অজানা।

সর্বাধিক সম্ভাবনা অনুমান ডেটা জন্য সম্ভাব্যতা মডেল ব্যবহার এবং এক বা একাধিক পরামিতি দ্বারা পর্যবেক্ষণ করা ডেটার যৌথ সম্ভাবনা ফাংশন অনুকূলকরণ বোঝায়। সুতরাং এটি দেখা যায় যে অনুমিত প্যারামিটারগুলি প্যারামিটার স্পেসের অন্য কোনও প্যারামিটারের সাথে সম্পর্কিত পর্যবেক্ষণের ডেটার সাথে সবচেয়ে সুসংগত। নোট যেমন সম্ভাবনা ফাংশন অগত্যা পরামিতি উপর "শর্তসাপেক্ষ" হিসাবে দেখা হয় না যেহেতু প্যারামিটারগুলি এলোমেলো পরিবর্তনশীল নয়, সুতরাং দুটি ভিন্ন পরামিতিগুলির তুলনা করে বিভিন্ন ফলাফলের সম্ভাবনা সম্পর্কে ধারণা করা কিছুটা পরিশীলিত। দেখা যাচ্ছে এটি দার্শনিক দিক থেকে দৃ sound়প্রবণতা।

বায়সিয়ান অনুমানটি কিছুটা সাধারণ, কারণ আমরা সম্ভবত সম্ভাবনার বায়েশিয়ান অ্যানালগ (উত্তরোত্তর ঘনত্ব) সর্বাধিকতর করছি না। যাইহোক, অনুমানের ধরণের ধরণের অনুমান (বা উত্তরোত্তর মোড অনুমান) ডেটা অনুসারে শর্তাধীন পোস্টেরিয়াল প্যারামিটার সম্ভাবনা সর্বাধিক হিসাবে দেখা হয়। সাধারণত, বায়েসের এই জাতীয় উপায়ে প্রাপ্ত প্রাক্কলনগুলি প্রায় এমএল এর মতোই আচরণ করে। মূল পার্থক্য হ'ল বেইস অনুমান পূর্বের তথ্যগুলিকে অন্তর্ভুক্ত করার জন্য একটি সুস্পষ্ট পদ্ধতির অনুমতি দেয়।

এছাড়াও 'সর্বাধিক সম্ভাবনার এপিক হিস্ট্রি একটি আলোকিত পড়ার জন্য তৈরি করে

http://arxiv.org/pdf/0804.2996.pdf

— Adamo
সূত্র

আপনি কি এই সম্পর্কে আরও বিস্তারিত বলতে চান? "তবে, অনুমানের ধরণের ধরণের অনুমান (বা উত্তরোত্তর মোড অনুমান) ডেটা অনুসারে শর্তাধীন পোস্টেরিয়াল প্যারামিটারের সম্ভাবনা সর্বাধিক হিসাবে দেখানো হয়" "

— ড্যানিয়েল

উত্তরোত্তর মোড একটি বিভ্রান্তিকর হিসাবে সামান্য ডিএফ, মান ভালভাবে সংজ্ঞায়িত করা হয় কারণ। উত্তরোত্তর ঘনত্বগুলি ঘন ঘন ঘনত্বগুলির ক্ষেত্রে সম্ভাবনার সাথে সম্পর্কিত, এটি ব্যতীত আপনি উত্তরীয় ঘনত্ব থেকে পরামিতিগুলি অনুকরণ করতে দেয়। মজার বিষয় হল, একজন অতি স্বজ্ঞাতভাবে প্যারামিটারের সেরা পয়েন্টের প্রাক্কলন হিসাবে "উত্তরের গড়" সম্পর্কে ভাবেন। এই পদ্ধতির প্রায়শই করা হয়ে থাকে এবং প্রতিসাম্য ইউনিমোডাল ঘনত্বগুলির জন্য, এটি বৈধ বিশ্বাসযোগ্য অন্তরগুলি তৈরি করে যা এমএল এর সাথে সামঞ্জস্যপূর্ণ। পূর্ববর্তী মোডটি কেবল উত্তর ঘনত্বের শীর্ষে প্যারামিটার মান।

— অ্যাডামো

সম্পর্কে "এটি এমএল এর সাথে সামঞ্জস্যপূর্ণ বৈধ বিশ্বাসযোগ্য ব্যবধানগুলি উত্পাদন করে" ": এটি সত্যই মডেলের উপর নির্ভর করে, তাই না? তারা সামঞ্জস্যপূর্ণ বা নাও হতে পারে ...

— ড্যানিয়েল

অন্তর্নিহিত প্যারাম্যাট্রিক অনুমানের ইস্যুটি সম্পূর্ণ প্যারামিট্রিক বনাম আধা-প্যারামেট্রিক বা নন -প্যারামেট্রিক অনুক্রম সম্পর্কে আলোচনার প্রেরণা দেয় । এটি কোনও এমএল বনাম বায়েশিয়ান সমস্যা নয় এবং আপনি প্রথমবারের মতো ভুলটি করেন না। এমএল একটি সম্পূর্ণ প্যারাম্যাট্রিক পদ্ধতি, এটি আপনাকে এমন কিছু জিনিস অনুমান করতে দেয় যা এসপি বা এনপি না পারে (এবং প্রায়শই আরও দক্ষতার সাথে যখন তারা পারে)। এমএলে সম্ভাব্যতা মডেলকে সঠিকভাবে উল্লেখ করা হ'ল ঠিক পূর্বের এবং সমস্ত দৃust়তা বৈশিষ্ট্য (এবং সংবেদনশীলতা সম্পর্কিত বিষয়) যা বোঝায় সেগুলি বেছে নেওয়ার মতো।

— অ্যাডামো

বিটিডাব্লু, আপনার মন্তব্যগুলি এই প্রশ্নটি আমার মনে উদ্রেক করেছে। এ সম্পর্কে কোন মন্তব্য? stats.stackexchange.com/questions/74164/…

— ড্যানিয়েল

বায়েশিয়ান অনুমান বায়েশিয়ান অনুমান হয় যখন এমএলই হ'ল এক ধরণের ঘন ঘন ঘনতান্ত্রিক অনুকরণ পদ্ধতি।

বায়েশিয়ান অনুমান অনুসারে, ঝুলিতে, যে । লক্ষ্য করুন যে সর্বাধিক সম্ভাবনা অনুমান প্রমাণের অনুপাতটিকে পূর্বের ধ্রুবক হিসাবে গণ্য করে (পূর্বের বিতরণটিকে ইউনিফর্ম বিতরণ হিসাবে নির্ধারণ করে, উদাহরণস্বরূপ একটি পাশা খেলে), যা পূর্বের বিশ্বাসকে বাদ দেয়, এমএলই এটি একটি ঘন ঘন কৌশল হিসাবে বিবেচিত হয় (বায়েশিয়ান না থেকে)। এবং এই দৃশ্যে পূর্বেরটি একই রকম হতে পারে না, কারণ যদি নমুনাগুলি যথেষ্ট পরিমাণে থাকে তবে এমএপি পরিমাণে এমএল পরিমাণ থাকে (বিশদ ছাড়ের জন্য দয়া করে এই উত্তরটি দেখুন )। $f(x_1,...,x_n; \theta) = \frac{f(\theta; x_1,...,x_n) * f(x_1,...,x_n)}{f(\theta)}$ $likelihood = \frac{posterior * evidence}{prior}$ $p(\theta) = 1/6$

বায়সিয়ান অনুমানের মধ্যে এমএলইর বিকল্পটিকে সর্বাধিক পোস্টেরিয়েরি অ্যাসিকেশন (সংক্ষেপে এমএপি) বলা হয়, এবং এমএলই এমএপির একটি বিশেষ ক্ষেত্রে যেখানে পূর্বেরটি অভিন্ন, যেমন আমরা উপরে দেখি এবং উইকিপিডিয়ায় বলেছেন :

বয়েসিয়ান অনুমানের দৃষ্টিকোণ থেকে, এমএলই হ'ল একটি প্যাসিরিওরি অনুমানের (এমএপি) একটি বিশেষ ক্ষেত্রে যা পরামিতিগুলির পূর্ববর্তী বিতরণকে ধরে রাখে।

বিশদগুলির জন্য দয়া করে এই দুর্দান্ত নিবন্ধটি দেখুন: এমএলই বনাম এমএপি: সর্বাধিক সম্ভাবনা এবং সর্বাধিক পোস্টেরিয়েরি অনুমানের মধ্যে সংযোগ ।

এবং আরও একটি পার্থক্য হ'ল সর্বাধিক সম্ভাবনা অত্যধিক মানানসই প্রবণতা, তবে আপনি যদি বায়েশিয়ান পদ্ধতির অবলম্বন করেন তবে অত্যধিক-মানানসই সমস্যা এড়ানো যেতে পারে।

— লারনার ঝাং
সূত্র

বেয়েস সম্পর্কে একটি দুর্দান্ত জিনিস হ'ল আপনি কোনও বিন্দু অনুমানের হিসাব করা মোটেই বাধ্য নন। পুরো উত্তর ঘনত্ব আপনার "অনুমান" হতে পারে।

— ফ্র্যাঙ্ক হ্যারেল

@ ফ্র্যাঙ্কহারেল প্রিয় অধ্যাপক হ্যারেল, আমি কোথাও কিছু ভয়ঙ্কর ভুল করলে আপনি কি আমাকে উত্তর সম্পাদনা করতে সহায়তা করতে পারেন? অনেক ধন্যবাদ!

— লারনার ঝাং

আমি বোঝাতে চাইনি আপনি ভুল করেছেন made

— ফ্র্যাঙ্ক হ্যারেল

@ বার্নার: আমি সর্বাধিক সম্ভাবনার অনুমানকে সর্বাধিক-এ-পোস্টেরিয়েরি অনুমানের নির্দিষ্ট ক্ষেত্রে হিসাবে চিহ্নিত করতে চাইছি (যখন পূর্ববর্তী স্থির থাকে): কেন এই উত্তরে দেখুন ।

— pglpm