সর্বাধিক পোস্টেরিয়েরি অনুমানের উদাহরণ

Question

আমি সর্বাধিক সম্ভাবনার অনুমান এবং সর্বাধিক উত্তরোত্তর অনুমান সম্পর্কে পড়ছি এবং এখন পর্যন্ত আমি সর্বাধিক সম্ভাবনা অনুমানের সাথে কংক্রিটের উদাহরণগুলি পেয়েছি। সর্বাধিক পোস্টেরিয়েরি অনুমানের কয়েকটি বিমূর্ত উদাহরণ আমি পেয়েছি, তবে এটির সংখ্যার সাথে এখনও কংক্রিটের কিছু নেই: এস

এটি খুব বিস্ময়কর হতে পারে, কেবল বিমূর্ত পরিবর্তনশীল এবং ফাংশনগুলির সাথে কাজ করে এবং এই বিমূর্ততায় ডুবে না যাওয়ার জন্য, সময়ে সময়ে বাস্তব বিশ্বের সাথে জিনিসগুলি যুক্ত করে রাখা ভাল। তবে অবশ্যই এটি আমার (এবং কিছু অন্যান্য লোকের) পর্যবেক্ষণ :)

সুতরাং, কেউ কি আমাকে তার সংখ্যার সাথে সর্বাধিক পোস্টেরিয়েরি অনুমানের একটি সহজ, তবে দৃ concrete় উদাহরণ দিতে পারেন? এটি অনেক সাহায্য করবে :)

ধন্যবাদ!

আমি এই প্রশ্নটি মূলত এমএসইতে পোস্ট করেছি, তবে সেখানে কোনও উত্তর পাইনি:

/math/449386/example-of-maximum-a-posteriori-estimation

আমি এখানে ক্রস পোস্টিংয়ে প্রদত্ত নির্দেশাবলী অনুসরণ করেছি:

http://meta.math.stackexchange.com/questions/5028/how-do-i-move-a-post-to-another-forum-like-cv-stats

Answer 1

1 ম উদাহরণ

একটি সাধারণ ক্ষেত্রে প্রাকৃতিক ভাষা প্রক্রিয়াকরণের প্রসঙ্গে ট্যাগিং করা হয়। বিস্তারিত ব্যাখ্যার জন্য এখানে দেখুন । ধারণাটি মূলত একটি বাক্যে কোনও শব্দের সংক্ষিপ্ত বিভাগ নির্ধারণ করতে সক্ষম হয় (এটি কি একটি বিশেষ্য, বিশেষণ, ...)। মূল ধারণাটি হ'ল আপনার কাছে আপনার ভাষার একটি মডেল রয়েছে যা একটি লুকানো মার্কভ মডেল ( এইচএমএম ) সমন্বিত। এই মডেলটিতে, লুকানো রাজ্যগুলি বর্ণবাদী বিভাগগুলির সাথে মিলিত হয় এবং পর্যবেক্ষিত রাজ্যগুলি প্রকৃত শব্দের সাথে মিলিত হয়।

সম্পর্কিত গ্রাফিক্যাল মডেলের ফর্ম রয়েছে,

যেখানে শব্দের অনুক্রম এবং ক্রম ট্যাগের।এক্স = ( x এর 1 , । । । , x এন$\mathbf{y} = (y1,...,y_{N})$$\mathbf{x} = (x1,...,x_{N})$

একবার প্রশিক্ষণপ্রাপ্ত হওয়ার পরে লক্ষ্যটি হ'ল বর্ণিত বিভাগগুলির সঠিক ক্রম যা কোনও প্রদত্ত ইনপুট বাক্যটির সাথে সঙ্গতিপূর্ণ তা সন্ধান করা। এটি ট্যাগগুলির ক্রম সন্ধানের জন্য প্রস্তুত করা হয়েছে যা ভাষার সর্বাধিক সামঞ্জস্যপূর্ণ / সম্ভবত ভাষা মডেল দ্বারা উত্পাদিত হয়েছে সম্ভবত

$$f(y) = \mathbf{argmax}_{\mathbf{x} \in Y}p(\mathbf{x})p(\mathbf{y}|\mathbf{x})$$

দ্বিতীয় উদাহরণ

আসলে, একটি ভাল উদাহরণ হ'ল রিগ্রেশন। এটি বুঝতে সহজ কারণেই নয়, সর্বাধিক সম্ভাবনার (এমএল) এবং সর্বাধিক একটি পোস্টেরিয়েরি (এমএপি) এর মধ্যে পার্থক্যও পরিষ্কার করে দেয় because

মূলত, সমস্যাটি হ'ল নমুনা দ্বারা প্রদত্ত কিছু ফাংশনকে ভিত্তি ফাংশনগুলির একটি সেট, যেখানে বেস ফাংশন এবং the ওজন। এটি সাধারণত অনুমান করা হয় যে নমুনাগুলি গাউসের আওয়াজ দ্বারা দূষিত হয়েছে। অতএব, আমরা যদি ধরে নিই যে লক্ষ্য ফাংশনটি ঠিক যেমন একটি রৈখিক সংমিশ্রণ হিসাবে রচনা করা যায় তবে আমাদের আছে,$t$

$$y(\mathbf{x};\mathbf{w}) = \sum_{i}w_{i}\phi_{i}(\mathbf{x})$$ $\phi(\mathbf{x})$$\mathbf{w}$

$$t = y(\mathbf{x};\mathbf{w}) + \epsilon$$

সুতরাং আমাদের কাছে এই সমস্যার এমএল সমাধান হ্রাস করার সমান,$p(t|\mathbf{w}) = \mathcal{N}(t|y(\mathbf{x};\mathbf{w}))$

$$E(\mathbf{w}) = \frac{1}{2}\sum_{n}\left(t_{n} - \mathbf{w}^{T}\phi(\mathbf{x}_{n}) \right)^{2}$$

যা সুপরিচিত সর্বনিম্ন স্কোয়ার ত্রুটির সমাধান দেয়। এখন, এমএল শব্দে প্রেরণাদায়ক, এবং নির্দিষ্ট পরিস্থিতিতে স্থিতিশীল নয়। এমএপি আপনাকে ওজনগুলিতে সীমাবদ্ধতা রেখে আরও ভাল সমাধানগুলি তুলতে দেয়। উদাহরণস্বরূপ, একটি সাধারণ কেস হ'ল রিজ রিগ্রেশন, যেখানে আপনি ওজনকে যথাসম্ভব ছোট করার আদর্শ দাবি করেন,

$$E(\mathbf{w}) = \frac{1}{2}\sum_{n}\left(t_{n} - \mathbf{w}^{T}\phi(\mathbf{x}_{n}) \right)^{2} + \lambda \sum_{k}w_{k}^{2}$$

যা ওজন আগে গাউসিয়ান সেট করার সমতুল্য । সব মিলিয়ে আনুমানিক ওজন$\mathcal{N}(\mathbf{w}|\mathbf{0},\lambda^{-1}\mathbf{I})$

$$\mathbf{w} = \mathbf{argmin}_{w}p(\mathbf{w};\lambda)p(t|\mathbf{w};\phi)$$

লক্ষ করুন যে এমএপ-এ ওজনগুলি এমএল এর মতো পরামিতি নয়, তবে এলোমেলো পরিবর্তনশীল। তবুও, এমএল এবং এমএপি উভয়ই বিন্দু অনুমানকারী (তারা সর্বোত্তম ওজনের বিতরণের পরিবর্তে ওজনের একটি সর্বোত্তম সেট ফেরত দেয়)।

Comments

+1 হাই @ জাজোপা আপনার জবাবের জন্য আপনাকে ধন্যবাদ :) তবে আমি আরও

— নিবিড়

আবার আপনাকে ধন্যবাদ @ জুমপা। আপনি কিভাবে এখন এটি এগিয়ে যাবে যা argmin ছোট? আপনি কি নিউটনের পদ্ধতি ইত্যাদির মতো গ্রেডিয়েন্ট বা কিছু পুনরাবৃত্ত অ্যালগরিদম ব্যবহার করেন? $w$

— jjepsuomi

ঠিক। যে কেউ এটি সরাসরি সমাধান করতে পারে (একটি বন্ধ ফর্ম সমাধান রয়েছে) তবে ম্যাট্রিক্স ইনভার্টিংয়ের সাথে জড়িত । এবং এটিই পুনরাবৃত্ত পদ্ধতিগুলি ব্যবহার করার কারণ (বিশেষত যখন উচ্চ মাত্রিক সমস্যাগুলি মোকাবেলা করা হয়)। $O(n^{3})$

— jpmuc

এ প্রথম সমীকরণটি কি ?? $f(y) = \mathbf{argmax}_{\mathbf{x} \in X}p(\mathbf{x})p(\mathbf{y}|\mathbf{x})$

— লারনার ঝাং