বাএসিয়ার উত্তরকেন্দ্র কেন কেএল ডাইভারজেনের মিনিমিজারের চারদিকে কেন ঘন করে?

Question

বায়েশিয়ান উত্তরোত্তর বিবেচনা করুন $\theta\mid X$। অ্যাসিপটোটিক্যালি, এর সর্বোচ্চটি এমএলই অনুমানে ঘটে$\hat \theta$, যা কেবল সম্ভাবনা সর্বাধিক করে তোলে $\operatorname{argmin}_\theta\, f_\theta(X)$।

এই সমস্ত ধারণাগুলি — বায়েশিয়ান প্রিয়ার্স, সম্ভাবনা সর্বাধিক করে তোলা — শব্দটি সুপার অরিজিনাল এবং মোটেও স্বেচ্ছাসেবক নয়। দর্শন লগ নেই।

তবুও এমএলই প্রকৃত বিতরণের মধ্যে কেএল বৈচিত্রকে হ্রাস করে $\tilde f$ এবং $f_\theta(x)$, অর্থাত্, এটি হ্রাস করে

$$KL(\tilde f \parallel f_\theta) = \int_{-\infty}^{+\infty} \tilde f(x) \left[ \log \tilde f(x) - \log f_\theta(x) \right] \, dx$$

ওহ — এই লগগুলি কোথা থেকে এসেছে? কেন বিশেষত কেএল ডাইভারজেন্স?

উদাহরণস্বরূপ, কেন কোনও ভিন্ন ভিন্নতা হ্রাস করা বায়েসিয়ার পোস্টেরিয়ারগুলির সুপার নীতিগত এবং অনুপ্রাণিত ধারণার সাথে মিলিত হয় না এবং উপরের সম্ভাবনা সর্বাধিকতর করে তোলে?

এই প্রসঙ্গে কেএল ডাইভারজেন্স এবং / অথবা লগগুলি সম্পর্কে বিশেষ কিছু বলে মনে হচ্ছে। অবশ্যই, আমরা বাতাসে হাত নিক্ষেপ করতে পারি এবং গণিতটি ঠিক এটিই বলতে পারি। তবে আমার সন্দেহ হয় উদঘাটনের জন্য আরও গভীরতর অন্তর্দৃষ্টি বা সংযোগ থাকতে পারে।

Comments

আপনি এখানে কিছু ধারণাগুলি পেতে পারেন: stats.stackexchange.com/questions/188903/…

— kjetil b halvorsen

@Kjetilbhalvorsen পূর্বের শিরোনামটি নকলের মতো শোনাচ্ছে; আমি ক্ষমাপ্রার্থী. আমি একটি সম্পাদনা করেছি এবং এটি কেন স্পষ্ট হওয়া উচিত যে কেন এই প্রশ্নটির সদৃশ নয়।

— ইয়থার্থ আগরওয়াল

অন্যান্য প্রশ্নগুলি জিজ্ঞাসা করে, "কেএল ডাইভার্জেনশন কী এবং কেন এটি প্রতিসম নয়?" উত্তরগুলি একটি বিচরণের ধারণা এবং কেএল সম্পর্কে কিছু তথ্য ব্যাখ্যা করে। বিপরীতে, এই প্রশ্নটি জিজ্ঞাসা করে যে "কেন বায়সিয়ান উত্তরোত্তর কেনিয়ার বিচ্যুতির মিনিমিজারের চারদিকে কেন মনোনিবেশ করে?" ডাইভার্জেন্সগুলি কীভাবে প্রতিসম হতে হবে তা ব্যাখ্যা করে এবং কেএলকে ব্যাখ্যা করে এবং কেএল এমএলএর সাথে সংযুক্ত রয়েছে প্রশ্নের উত্তরটি এখানে সমাধান করতে ব্যর্থ হয়েছে: কেন অনেক সম্ভাব্য বিচরণের মধ্যে বিশেষত বেএলিয়ান উত্তরোত্তরগুলির একটি বিশেষ সংযোগ রয়েছে? এটা কোনো কিছু হলো?

— ইয়থার্থ আগরওয়াল

হ্যাঁ, এটি উপলব্ধি করে তবে এখনও একটি সমস্যা রয়েছে a পূর্ববর্তীটি পূর্বের উপরও নির্ভর করে এবং যদি এটি শক্তিশালী হয় তবে পোস্টেরিয়ের্কানটি ম্লে থেকে সর্বাধিক দূরে থাকতে পারে। তবে পূর্বেরটি আপনার প্রশ্ন থেকে অনুপস্থিত।

— কেজেটিল বি হালওয়ারসেন

@ কেজেটিভালভারসেন মানে আমি বেশি সংখ্যক আইআইডি নমুনাগুলি নিয়ে এবং (কঠোর) শর্তের অধীনে পূর্বরূপটিকে তাত্পর্যপূর্ণ বিবেচনা করি না বলে সংক্ষিপ্ত বিবরণ দিয়েছি!

— ইয়থার্থ আগরওয়াল

Answer 1

এরকম গণনায় লোগারিদমের ব্যবহার তথ্য তত্ত্ব থেকে আসে । কেএল ডাইভারজেন্সের বিশেষ ক্ষেত্রে, পরিমাপটিকে দুটি বিতরণের সম্পর্কিত তথ্য হিসাবে ব্যাখ্যা করা যেতে পারে:

$$\begin{equation} \begin{aligned} KL(\tilde{f} \parallel f_\theta) &= \int \limits_{-\infty}^\infty \tilde{f}(x) (\log \tilde{f}(x) - \log f_\theta (x)) \ dx \\[6pt] &= \Bigg( \underbrace{- \int \limits_{-\infty}^\infty \tilde{f}(x) \log f_\theta(x) \ dx}_{H(\tilde{f}, f_\theta)} \Bigg) - \Bigg( \underbrace{- \int \limits_{-\infty}^\infty \tilde{f}(x) \log \tilde{f}(x) \ dx}_{H(\tilde{f})} \Bigg), \\[6pt] \end{aligned} \end{equation}$$

কোথায় $H(\tilde{f})$হয় এনট্রপি এর$\tilde{f}$ এবং $H(\tilde{f}, f_\theta)$ এর ক্রস-এনট্রপি $\tilde{f}$ এবং $f_\theta$। এন্ট্রপিকে ঘনত্বের দ্বারা উত্পাদিত গড় হারের ব্যবস্থাসমূহ হিসাবে বিবেচনা করা যেতে পারে (চিন্তার ক্রস-এন্ট্রপি কিছুটা জটিল)। একটি নির্দিষ্ট মানের জন্য কেএল ডাইভারজেন হ্রাস করা$\tilde{f}$ (আপনি যে সমস্যার উল্লেখ করেছেন তাতে) ক্রস-এন্ট্রপি হ্রাস করার সমতুল্য, এবং তাই এই অপ্টিমাইজেশানটি একটি তথ্য-তাত্ত্বিক ব্যাখ্যা দেওয়া যেতে পারে।

সংক্ষিপ্ত পোস্টে আমার পক্ষে তথ্য তত্ত্ব এবং তথ্য ব্যবস্থার বৈশিষ্ট্যগুলির একটি ভাল অ্যাকাউন্ট দেওয়া সম্ভব নয়। তবে, আমি ক্ষেত্রটি একবার দেখার পরামর্শ দিচ্ছি, কারণ এটির পরিসংখ্যানের সাথে নিবিড় সংযোগ রয়েছে। ঘনত্বের লগারিদমের উপরে সংহত ও সংখ্যাসমূহের সাথে জড়িত অনেক পরিসংখ্যানমূলক ব্যবস্থা হ'ল পরিমাপ তত্ত্বের ক্ষেত্রে ব্যবহৃত স্ট্যান্ডার্ড তথ্য ব্যবস্থার সহজ সংমিশ্রণ এবং এই জাতীয় ক্ষেত্রে, বিভিন্ন ঘনত্বের তথ্যের অন্তর্নিহিত স্তরের ক্ষেত্রে তাদের ব্যাখ্যা দেওয়া যেতে পারে ইত্যাদি।

Comments

তথ্য তত্ত্বের দিকে তাকানো আশাব্যঞ্জক! আমাকে এটি দেখানোর জন্য ধন্যবাদ।

— ইয়থার্থ আগরওয়াল

স্পষ্টতই, আপনি স্ট্যাকএক্সচেঞ্জ পোস্টে একটি সম্পূর্ণ গাণিতিক ক্ষেত্রটি ব্যাখ্যা করতে পারবেন না, তবে লগ যেভাবে আসে সে সম্পর্কে আপনার কোনও বিশেষ উল্লেখ থাকতে পারে?

— ইয়থার্থ আগরওয়াল

আমি কেবল মনে করি কেন এটির পিছনে এত গভীর অন্তর্দৃষ্টি আছে, বলুন যে, এটি ইউলারের সমীকরণে এবং এরকম, এখানে একই রকম অন্তর্দৃষ্টি লুকিয়ে আছে। হতে পারে কোনও পণ্য কোথাও প্রাকৃতিক লোগারিদম উত্থিত করে। আমি নিশ্চিত নই.

— ইয়থার্থ আগরওয়াল

@ ইয়থার্থ লোগারিদম এখানে উত্থাপিত হয়েছে কারণ শ্যানন এন্ট্রপির সংজ্ঞাতে এর কেন্দ্রীয় ভূমিকা ছিল। "কেন" লোগারিদম তথ্যের পরিমাপের জন্য উপযুক্ত, অন্য ফাংশনের বিপরীতে, শ্যাননের "গণিতের তত্ত্বের যোগাযোগের" উপপাদ্য 2টি একবার দেখুন। এছাড়াও, জেনের "ইনফরমেশন থিওরি এবং স্ট্যাটিস্টিকাল মেকানিক্স" একটি দুর্দান্ত ভূমিকা।

— নেট পোপ