সর্বাধিক সম্ভাবনার প্রাক্কলন (এমএলই) এবং বেয়েসের উপপাদ্যের তুলনা করা

Question

বায়সীয় উপপাদ্যে, , এবং আমি যে বইটি পড়ছি, কে বলা হয় সম্ভাবনা , কিন্তু আমি এটা শুধু অনুমান শর্তাধীন সম্ভাব্যতা এর দেওয়া , ডান? p(x|y)x

$$p(y|x) = \frac{p(x|y)p(y)}{p(x)}$$ $p(x|y)$$x$$y$

সর্বাধিক সম্ভাবনা প্রাক্কলন চেষ্টা বাড়ানোর লক্ষ্যে , ডান? যদি তাই হয় তবে আমি খারাপভাবে বিভ্রান্ত, কারণ উভয়ই এলোমেলো ভেরিয়েবল, তাই না? পূর্ণবিস্তার শুধু জানতে হয় ? আরও একটি সমস্যা, যদি এই 2 টি এলোমেলো ভেরিয়েবলগুলি স্বতন্ত্র হয়, তবে কেবল , তাই না? তারপরে সর্বাধিক হ'ল সর্বাধিক ।এক্স , Y পি ( এক্স | Y ) Y পি ( এক্স | Y ) পি ( এক্স ) পি ( এক্স | Y ) পি ( এক্স $p(x|y)$$x,y$$p(x|y)$ $\hat y$$p(x|y)$$p(x)$$p(x|y)$$p(x)$

অথবা হতে পারে, কিছু পরামিতিগুলির একটি ফাংশন , এটি , এবং এমএলই খুঁজে বের করার চেষ্টা করে যা সর্বাধিকতর করতে পারে ? বা এমনকি যে আসলে মডেলের পরামিতি, এলোমেলো পরিবর্তনশীল নয়, সম্ভাবনা সর্বাধিক করে ? খুঁজে পাওয়া যায় ?θ পি ( এক্স | Y ; θ ) θ পি ( এক্স | Y ) Y $p(x|y)$$\theta$$p(x|y; \theta)$$\theta$$p(x|y)$$y$$\hat y$

হালনাগাদ

আমি মেশিন লার্নিংয়ের একজন নবজাতক এবং এই সমস্যাটি আমি মেশিন লার্নিং টিউটোরিয়াল থেকে যে জিনিসগুলি পড়েছি তা থেকে বিভ্রান্তি। এখানে একটি পর্যবেক্ষণ করা ডেটাসেট t লক্ষ্য মানগুলি , এবং আমি এই ডেটাসেটের উপর একটি মডেল ফিট করার চেষ্টা করি , তাই আমি অনুমান দেওয়া , নামে বন্টন একটি ফর্ম আছে দ্বারা স্থিতিমাপ হলো, , এবং আমি অনুমান এই হল অবর সম্ভাব্যতা , ডান?{ Y 1 , Y 2 , । । । , y n } x y W θ p ( y | x ; θ $\{x_1,x_2,...,x_n\}$$\{y_1,y_2,...,y_n\}$$x$$y$$W$$\theta$$p(y|x; \theta)$

এখন মান অনুমান করতে , আমি এমএলই ব্যবহার করি। ঠিক আছে, আমার সমস্যাটি এখানে আসবে, আমি মনে করি সম্ভাবনা , তাই না? সম্ভাবনা সর্বাধিক করা মানে আমার সঠিক pick এবং বেছে নেওয়া উচিত ?পি ( x | y ; θ ) θ $\theta$$p(x|y;\theta)$$\theta$$y$

যদি আমার সম্ভাবনা সম্পর্কে বোঝা ভুল হয় তবে দয়া করে আমাকে সঠিক উপায়টি দেখান।

Comments

আমি মনে করি এই বিভ্রান্তিটি হ'ল: আপনার প্রশ্নের শুরুতে আপনি যেমনটি দিয়েছেন তেমন শর্তসাপেক্ষ সম্ভাবনার হস্তক্ষেপ বায়েসের উপপাদ্য । Bayesian প্রাক্কলন প্যারামিটার হিসেব করতে বায়েসের উপপাদ্য ব্যবহার করে। এটি কেবল পরবর্তী ক্ষেত্রে, সর্বাধিক সম্ভাবনা অনুমান (এমএলই) এবং পরামিতি থিতা ইত্যাদি কার্যকর হয়।

— ঝুবার্ব

@ বারানকান, ভাল, আমি ta থিতা প্রদত্ত সম্ভাবনাটি কী তা বোঝার চেষ্টা করি । $x,y,\theta$

— অ্যাভোকাডো

আমি দেখতে পাচ্ছি, আমি আপনাকে প্যারামিটারের প্রাক্কলনটিতে প্রারম্ভিক বক্তৃতা স্লাইডগুলির এই দুর্দান্ত সেটটি একবার দেখার পরামর্শ দিচ্ছি ।

— ঝুবার্ব

পড়ার জন্য আর একটি দুর্দান্ত বিষয় হ'ল এম্পিরিকাল বেইস এর অনুমানকারী। আমরা শুধু আমার ক্লাসের :) ঐ সম্বন্ধে শিখেছিল biostat.jhsph.edu/~fdominic/teaching/bio656/labs/labs09/...

— bdeonovic

Answer 1

আমি মনে করি আপনার প্রশ্নের প্রথমার্ধে জিজ্ঞাসা করা প্রশ্নগুলি থেকে মূল ভুল বোঝাবুঝি। আমি এই উত্তরটি এমএলই এবং বায়েশিয়ান অনুমানমূলক দৃষ্টান্তের বিপরীত হিসাবে পৌঁছেছি। এমএলই-এর একটি খুব সহজলভ্য আলোচনা গ্যারি কিং-এর অধ্যায় ১, ইউনিফাইডিং রাজনৈতিক পদ্ধতিতে পাওয়া যাবে। গেলম্যানের বায়েশিয়ান ডেটা অ্যানালাইসিস বায়েশিয়ান পক্ষের বিশদ সরবরাহ করতে পারে।

বয়েসের উপপাদ্যে, এবং আমি যে বইটি পড়ছি, কে বলা হয় সম্ভাবনা, কিন্তু আমি এটা ঠিক শর্তারোপিত সম্ভাবনা এর অনুমান করা দেওয়া , ডান? p(x|y)x

$$p(y|x)=\frac{p(x|y)p(y)}{p(x)}$$ $p(x|y)$$x$$y$

সম্ভাবনা নেই একটি শর্তাধীন সম্ভাব্যতা। কোনও বায়েশিয়ার কাছে এই সূত্রটি প্রদত্ত ডেটা এবং পূর্ববর্তী প্যারামিটারের বিতরণকে বর্ণনা করে । তবে যেহেতু এই স্বরলিপিটি আপনার অভিপ্রায় প্রতিফলিত করে না, এখন থেকে আমি প্যারামিটারগুলির জন্য ( , ) এবং আপনার ডেটার জন্য ব্যবহার করব।x p ( y ) θ y x$y$$x$$p(y)$$\theta$$y$$x$

তবে আপনার আপডেটটি ইঙ্গিত দেয় যে কিছু বিতরণ থেকে পর্যবেক্ষণ করা হয়েছে । যদি আমরা বেয়েসের নিয়মে যথাযথ জায়গায় আমাদের ডেটা এবং প্যারামিটারগুলি রাখি তবে আমরা দেখতে পাই যে এই অতিরিক্ত পরামিতিগুলি বয়েশিয়ানদের জন্য কোনও সমস্যা তৈরি করে না: পি ( x | θ , y ) পি ( θ | x , y ) = পি ( x , y | θ ) পি ( θ $x$$p(x|\theta,y)$

$$p(\theta|x,y)=\frac{p(x,y|\theta)p(\theta)}{p(x,y)}$$

আমি বিশ্বাস করি আপনার আপডেটের পরে আপনি যা করছেন তা এই অভিব্যক্তিটি।

সর্বাধিক সম্ভাবনার প্রাক্কলন সর্বাধিক করার চেষ্টা করে , তাই না?$p(x,y|\theta)$

হ্যাঁ. এমএলই পোষ্ট করে যে , এটি term কে অজানা হিসাবে বিবেচনা করে (এবং অজান্তে) ধ্রুবক। বিপরীতে, বায়েশিয়ান অনুমান কে একটি স্বাভাবিক ধ্রুবক হিসাবে বিবেচনা করে (যাতে সম্ভাবনাগুলি যোগ / একতার সাথে সংহত করা হয়) এবং তথ্যের মূল অংশ হিসাবে: পূর্ববর্তী। আমরা যে অঞ্চলটিকে সবচেয়ে প্রশংসনীয় বলে মনে করি সে অঞ্চল থেকে "খুব দূরে ঘুরে বেড়ানো" জন্য অনুকূলিতকরণ পদ্ধতির উপর জরিমানা নেওয়ার উপায় হিসাবে আমরা ভাবতে পারি।p ( θ , y

$$p(x,y|\theta) \propto p(\theta|x,y)$$ $\frac{p(\theta,y)}{p(x)}$$p(x)$$p(\theta,y)$$p(\theta,y)$

যদি তা হয় তবে আমি খুব খারাপভাবে বিভ্রান্ত, কারণ এলোমেলো পরিবর্তনশীল, তাই না? সর্বাধিক করতে কেবল out খুঁজে বের করতে হবে ?$x,y,\theta$$p(x,y|\theta)$$\hat{\theta}$

MLE সালে একটি গণ্য করা হয় সংশোধন করা হয়েছে পরিমাণ অজানা কিন্তু সক্ষম অনুমান করা হয়, যে না একটি এলোপাতাড়ি ভেরিয়েবলের। বায়েশিয়ান অনুমান আচরণ একটি এলোমেলো পরিবর্তনীয় হিসাবে। Bayesian অনুমান রাখে সম্ভাব্যতা ঘনত্ব ফাংশন মধ্যে এবং সম্ভাব্যতা ঘনত্ব ফাংশন পায় আউট , বরং মডেল বিন্দু সারাংশ চেয়ে MLE হিসেবে। এটি হ'ল, বায়েশিয়ান অনুমিতি প্যারামিটার মানগুলির সম্পূর্ণ পরিসীমা এবং প্রতিটিটির সম্ভাব্যতা দেখে। এমএলই পোষ্ট করে যে the মডেলটির দেওয়া তথ্যের যথেষ্ট সংক্ষিপ্তসার।$\hat{\theta}$$\theta$$\hat{\theta}$

Comments

আপনার উত্তরের জন্য ধন্যবাদ, আমি আমার পোস্ট আপডেট, আমার আপডেট দেখুন।

— অ্যাভোকাডো

এই আপডেটটি আমার প্রশ্নের বোঝার বিষয়টি আমূল পরিবর্তন করে। প্রথমদিকে, আমি ভেবেছিলাম আপনি হিসাবে প্যারামিটার হিসাবে এবং আপনার ডেটা হিসাবে । এখন দেখা যাচ্ছে যে ডেটা এবং আপনি এবং মধ্যে সম্পর্কের বর্ণনা দেয় এমন একটি মডেল তৈরি করতে আগ্রহী । সময় থাকায় আমি আমার প্রতিক্রিয়া পরিবর্তন করব। $y$$x$$(x,y)$$x$$y$

— সাইকোরাক্স মনিকাকে

+1 এটি এখনও দুর্দান্ত উত্তর: আমি আশা করি আপনি প্রশ্নের পরিবর্তনগুলির সাথে মেলে এটি পরিবর্তন করেও আপনি এটিকে বহুলাংশে অক্ষত রাখবেন।

— হোয়বার

আপনার আপডেট হওয়া প্রশ্নের প্রতিফলনের জন্য আমি আমার প্রতিক্রিয়া আপডেট করেছি। আমি আশা করি এই বিবরণ সাহায্য করবে। আমি যে উল্লেখগুলি উল্লেখ করেছি সেগুলি উল্লেখ করার জন্য আমি সত্যিই সুপারিশ করি না। এবং আমি আশা করি @ ভুবার এখনও অনুমোদন পেয়েছে। ;-)

— সাইকোরাক্স মনিকে

আপনাকে আপডেটের জন্য অনেক ধন্যবাদ, সুতরাং আপনার অর্থ যদিও আমি জন্য বিতরণের একটি ফর্ম , আমি অনুমান করার চেষ্টা করার সময় আমার উভয় পর্যবেক্ষণ করা ডেটা হিসাবে বিবেচনা করা উচিত ? $p(y|x)$$x,y$$\theta$

— অ্যাভোকাডো

Answer 2

সাধারণত প্যারামিটারের একটি কাজ । বয়েস উপপাদ্যের নিম্নলিখিত সংস্কার বিবেচনা করুন:$p(x|y)$$y$

$$p(\theta|x) = \frac{p(x|\theta)p(\theta)}{p(x)}$$

বা আরও স্পষ্টভাবে (সম্ভাবনার ধারণার সাথে):

$$p(\theta|x) = \frac{L(\theta;x)p(\theta)}{p(x)}$$

একটি দৃ concrete় উদাহরণের জন্য, মডেলটি বিবেচনা করুন

$$X|\theta \sim Binomial(\theta) \\ \theta \sim Beta(\alpha,\beta)$$

Comments

সুতরাং, সাধারণত র্যান্ডম ভেরিয়েবল নয় তবে , ডান? $y$$x$

— অ্যাভোকাডো

ওয়াই সাধারণত এক্স এর পিডিএফ এর প্যারামিটার হয় is একটি ঘন ঘন সেটিংয়ে y সাধারণত একটি নির্দিষ্ট মান। বায়েশিয়ান সেটিংয়ে, ওয়াই নিজেই এলোমেলো পরিবর্তনশীল (যেমন আমি দিয়েছি উদাহরণ হিসাবে)। এক্স | ওয়াই আপনার যে অর্থে বোঝানো হচ্ছে তাতে শর্তযুক্ত সম্ভাবনাও হতে পারে, আমি আপনাকে সেই পরিমাণটিকে কেন সম্ভাবনা বলা হয় তার পিছনে প্রেরণা দেওয়ার চেষ্টা করছিলাম।

— ডেভিড মার্কস

আপনার উত্তরে প্রদত্ত কংক্রিট উদাহরণের প্রতি শ্রদ্ধার সাথে আপনি কি বোঝাতে চেয়েছেন? আসলে একটি এলোমেলো পরিবর্তনশীল, তবে এর বিতরণে, এটি প্যারামিটার হিসাবে নেওয়া হয়েছে? $\theta$$X$

— অ্যাভোকাডো

কিছু কিছু এলোমেলো ভেরিয়েবলের অর্থ এই নয় যে এটি প্যারামিটার হতে পারে না। বায়সিয়ান সম্ভাব্যতার দুর্দান্ত পৃথিবীতে আপনাকে স্বাগতম :)

— ডেভিড মার্কস

Answer 3

• "... কে সম্ভাবনা বলা হয় ..."$p(x|y)$

$p(x|y)$ হল প্রদত্ত x এর সম্ভাবনা । এটির সম্ভাবনা কী তা বলা গুরুত্বপূর্ণ। এবং হ্যাঁ, এটি কেবল প্রদত্ত এর শর্তসাপেক্ষ সম্ভাবনা ।$x$$y$

• "... যদি এই 2 টি এলোমেলো ভেরিয়েবলগুলি স্বতন্ত্র থাকে, তবে ঠিক , তাই না? তবে সর্বাধিক করা ..."$p(x|y)$$p(x)$$p(x|y)$$p(x)$

তারা স্বাধীন হন, অর্থাত , সম্মান সঙ্গে ধ্রুবক । এখানে সতর্ক থাকুন, আপনি যে বিষয়ে সম্মানের সাথে সর্বাধিকীকরণ করছেন তা নির্দিষ্ট না করে - আপনি যা লিখেছিলেন তা থেকে, আমি ধরে নেব যে আপনি প্রতি সম্মানের সাথে সর্বাধিকতর করছেন ।$p(x|y) = p(x)$$p(x)$$y$$y$

• ... বা হতে পারে, কিছু পরামিতিগুলির একটি ফাংশন , এটি হল , এবং এমএলই the খুঁজে বের করার চেষ্টা করে যা সর্বাধিক করতে পারে ? বা এমনকি যে y আসলে মডেলের প্যারামিটার, এলোমেলো পরিবর্তনশীল নয়, সম্ভাবনা সর্বাধিক করে ...?θ পি ( এক্স | Y ; θ ) θ পি ( এক্স | Y ) $p(x|y)$$\theta$$p(x|y;\theta)$$\theta$$p(x|y)$$\hat{y}$

পরিচয় একেবারে নতুন সমস্যা করে তোলে। সাধারণভাবে, এখানে এই প্রশ্নের বেশিরভাগ উত্তর 'এটি নির্ভর করে' বলে মনে হয়। আমরা চাইলে প্যারামিটারগুলি হিসাবে চিহ্নিত করতে পারতাম এবং তাদের প্রতি শ্রদ্ধা জানাতে পারি। সমানভাবে আমরা একটি অবস্থা যেখানে আমরা পূর্ণবিস্তার থাকতে পারে পরামিতি থেকে সম্মান সঙ্গে যে যদি হাতে সমস্যা সমীপবর্তী একটি যুক্তিসম্মত উপায়।y পি ( x | y ; θ ) $\theta$$y$$p(x|y;\theta)$$\theta$

Comments

আমি পরিচয় করিয়ে দেওয়ার কারণটি হ'ল, মেশিন লার্নিং বইটিতে আমি পড়ছি, একটি ডেটাসেট দিয়েছি , এবং এর সাথে সম্পর্কিত টার্গেট মান, তাই এই ডেটাসেটের কোনও মডেল ফিট করার জন্য, আমি অনুমানের জন্য এমএলই ব্যবহার করতে পারি মডেলের প্যারামিটারটি কোনটি? x y $\theta$$x$$y$$\theta$

— অ্যাভোকাডো

Answer 4

স্ট্যান রেফারেন্স ম্যানুয়াল থেকে:

পূর্ববর্তীটি অভিন্ন হলে, পোস্টেরিয়র মোডটি প্যারামিটারগুলির সর্বাধিক সম্ভাবনা অনুমানের (এমএলই) সাথে মিলে যায়। পূর্ববর্তীটি অভিন্ন না হলে, পোস্টেরিয়র মোডটিকে কখনও কখনও সর্বাধিক পোস্টেরিয়র (এমএপি) অনুমান বলা হয়।