ভেরিয়েশনাল বয়েস মন্টি কার্লোর সাথে মিলিত

Question

আমি ভেরিয়েশনাল বেয়েস নিয়ে পড়ছি, এবং আমি এটি বুঝতে পেরে এটির ধারণাটি নেমে আসে যে আপনি আনুমানিক (যেখানে আপনার মডেলের সুপ্ত পরিবর্তনশীল এবং পর্যবেক্ষণের ডেটা) একটি ফাংশন সহ , ধৃষ্টতা উপার্জন যে যেমন factorizes যেখানে সুপ্ত ভেরিয়েবল একটি উপসেট নয়। তারপরে এটি দেখা যাবে যে সর্বোত্তম গুণক হ'ল: $p(z\mid x)$$z$$x$$q(z)$$q$$q_i(z_i)$$z_i$$q_i(z_i)$

$$q^*_i(z_i) = \langle \ln p(x, z)\rangle_{z/i} + \text{const.}$$

কোণ বন্ধনীগুলি বিতরণ সাথে ব্যতীত সমস্ত সুপ্ত ভেরিয়েবলের উপর প্রত্যাশাকে বোঝায় ।$z_i$$q(z)$

এখন, এই অনুমানটি প্রায়শই বিশ্লেষণ করে মূল্যায়ন করা হয়, আনুমানিক টার্গেট মানটির সঠিক উত্তর দিতে give তবে, এটি আমার কাছে ঘটেছিল যেহেতু এটি একটি প্রত্যাশা, তাই একটি প্রত্যাশিত পদ্ধতির নমুনা গ্রহণের মাধ্যমে এই প্রত্যাশাটিকে আনুমানিক করা appro এটি আপনাকে আনুমানিক টার্গেট ফাংশনের একটি আনুমানিক উত্তর দেবে, তবে এটি খুব সাধারণ অ্যালগরিদম তৈরি করে, সম্ভবত এমন ক্ষেত্রে ক্ষেত্রে বিশ্লেষণী পদ্ধতির ব্যবহার সম্ভব হয় না।

আমার প্রশ্ন, এটি কি একটি পরিচিত পদ্ধতির ? এটির কি একটি নাম আছে? এটি এত ভাল কাজ না করার কারণগুলি রয়েছে বা এ জাতীয় সরল অ্যালগরিদম নাও পেতে পারে?

Comments

আমি মনে করি সবচেয়ে বড় সমস্যা হ'ল ভিবি আনুমানিকতা সাধারণত উত্থাপিত অনিশ্চয়তার আধিক্য।

— সম্ভাব্যতা ব্লগ

Answer 1

আমি স্বীকার করব যে এটি কোনও ডোমেন নয় যা আমি খুব ভাল জানি, তাই এটি লবণের এক দানা দিয়ে নিন।

প্রথমত, নোট করুন আপনি যা প্রস্তাব করছেন তা এত সহজ অ্যালগরিদম দেয় না: নতুন গণনা করার জন্য আমাদের একক প্রত্যাশিত মান (কোনও গড় বা মতো) গণনা করার দরকার নেই, তবে একটি সম্পূর্ণ ফাংশনের প্রত্যাশিত মান। এটি গণনামূলকভাবে কঠোর এবং আপনাকে কিছু দ্বারা প্রকৃত আনুমানিক প্রয়োজন হবে (উদাহরণস্বরূপ, আমরা একটি হিস্টোগ্রামের সান্নিধ্য পেতে পারি)$q^\star_i$$q^\star$$\tilde q$

কিন্তু, আপনি যদি সীমাবদ্ধ করা যাচ্ছে একটি ছোট স্থিতিমাপ পরিবারকে, একটি ভাল ধারণা সম্ভাব্যতার সূত্রাবলি গ্রেডিয়েন্ট বংশদ্ভুত ব্যবহার করা সর্বোত্তম পরামিতির মান এটি হতে পারে (দেখুন: ভেরিয়েশনাল bayesian অনুমান সম্ভাব্যতার সূত্রাবলি অনুসন্ধান, 2012, পেইসলি, Blei, জর্ডান সঙ্গে )। তাদের যে গ্রেডিয়েন্টটি গণনা করা হয়েছে তা আপনি যা লিখেছেন তার সাথে খুব মিল: তারা বর্তমানে যে অনুকূলিতকরণ করছেন না এমন সমস্ত অনুমানের থেকে নমুনা দেয়।$q_i$

সুতরাং আপনি যা প্রস্তাব করেন তা সহজ নয়, তবে এটি একটি বাস্তব পদ্ধতির সাথে খুব কাছাকাছি যা খুব সম্প্রতি প্রস্তাব করা হয়েছিল