MCMC বনাম ভেরিয়েন্টাল ইনফারেন্স: একে অপরের থেকে কখন বেছে নেবেন?


36

আমি মনে করি আমি এমসিএমসির বিভিন্ন স্বাদ যেমন গিবস স্যাম্পলিং, মেট্রোপলিস হেস্টিংস ইত্যাদি সহ ষষ্ঠ ও এমসিসি উভয়েরই সাধারণ ধারণা পেয়েছি এই কাগজটি উভয় পদ্ধতির একটি দুর্দান্ত প্রদর্শন প্রদান করে।

আমার নিম্নলিখিত প্রশ্নগুলি রয়েছে:

  • যদি আমি বায়েশিয়ান অনুমান করতে চান তবে আমি কেন অন্য পদ্ধতির চেয়ে একটি পদ্ধতি বেছে নেব?
  • পদ্ধতির প্রতিটি উপকারিতা এবং কনস কি?

আমি বুঝতে পারি যে এটি একটি বিস্তৃত প্রশ্ন, তবে যে কোনও অন্তর্দৃষ্টি প্রশংসিত হবে।

উত্তর:


34

একটি দীর্ঘ উত্তরের জন্য Blei, Kucukelbir এবং McAuliffe দেখতে এখানে । এই সংক্ষিপ্ত উত্তরটি এর থেকে ভারী আঁকবে।

  • এমসিমিসি অসম্পূর্ণভাবে সঠিক; ষষ্ঠ না । সীমাতে, এমসিসিএমসি লক্ষ্য বন্টনকে প্রায় আনুমানিক করবে। ছয়টি ওয়ারেন্টি ছাড়াই আসে।
  • MCMC গণনামূলকভাবে ব্যয়বহুল । সাধারণভাবে, ষষ্ঠটি দ্রুত হয়।

অর্থ, যখন আমাদের গণনার সময় নির্ণয় করতে হয় এবং আমাদের অনুমানের যথার্থ মূল্য দিতে হয়, তখন এমসিসিসি জিতে যায়। আমরা sacrificing যে জন্য যুক্তিযুক্ততা-অথবা আমরা আপনার ডেটা সঙ্গেও কাজ করছি সহ্য করতে পারে যদি তাই হয় বৃহৎ আমরা আছে ট্রেড বন্ধ-ষষ্ঠ একটি প্রাকৃতিক পছন্দ করা।

বা উপরে বর্ণিত লেখক হিসাবে আরও স্পষ্টভাবে এবং পুঙ্খানুপুঙ্খভাবে বর্ণনা করেছেন:

সুতরাং, ভেরিয়াল ইনফেরেন্সটি বড় ডেটা সেট এবং দৃশ্যের সাথে উপযুক্ত যেখানে আমরা দ্রুত অনেকগুলি মডেল অন্বেষণ করতে চাই; এমসিএমসি ছোট ডেটা সেট এবং পরিস্থিতিগুলির জন্য উপযুক্ত যেখানে আমরা আনন্দের সাথে আরও সুনির্দিষ্ট নমুনাগুলির জন্য একটি ভারী গুণগত মূল্য প্রদান করি। উদাহরণস্বরূপ, আমরা এমসিসিএমিকে এমন একটি সেটিংয়ে ব্যবহার করতে পারি যেখানে আমরা একটি ছোট কিন্তু ব্যয়বহুল ডেটা সেট সংগ্রহের জন্য 20 বছর অতিবাহিত করেছি, যেখানে আমাদের আত্মবিশ্বাসী যে আমাদের মডেলটি উপযুক্ত, এবং যেখানে আমাদের সুনির্দিষ্ট ইনফারেন্সের প্রয়োজন। আমরা এক বিলিয়ন পাঠ্য নথিতে পাঠ্যের একটি সম্ভাব্য মডেলটি ফিটিং করার সময় এবং যেখানে ব্যবহারকারীদের বিশাল জনগোষ্ঠীর জন্য অনুসন্ধান ফলাফলগুলি পরিবেশন করতে অনুজ্ঞাগুলি ব্যবহার করা হবে তার ক্ষেত্রে আমরা বৈকল্পিক সূচনা ব্যবহার করতে পারি। এই দৃশ্যে, অনুমানের স্কেল এবং গতি বাড়ানোর জন্য আমরা বিতরণ করা গণনা এবং স্টোকাস্টিক অপ্টিমাইজেশন ব্যবহার করতে পারি এবং আমরা সহজেই ডেটাগুলির বিভিন্ন মডেল অন্বেষণ করতে পারি।


আমার ধারণা স্টান এমসিএমসি (এনইটিএস) করার সবচেয়ে দ্রুত সফটওয়্যার। ভেরিয়াল ইনফারেন্সটি করতে দ্রুত (বা আরও শক্তিশালী) কোনটি?
45 'এ 18

3
@ সাকান ওয়ান্ডারফুল প্রশ্ন! আমি সাধারণ উদ্দেশ্যে ষষ্ঠ সফ্টওয়্যারটির নিকটতমটি এডওয়ার্ড , যদিও আমি নিজে এটি ব্যবহার করি নি। (ষষ্ঠীর অনেকগুলি অ্যাপ্লিকেশনই কাস্টম হয়, এতে তারা আগ্রহের নির্দিষ্ট মডেলের সাথে মানানসই একটি অ্যালগরিদম অর্জন করে))
শন ইস্টার

2
স্ট্যানও ষষ্ঠ সমর্থন করে। স্ট্যানের একমাত্র সীমাবদ্ধতা হ'ল এটি পৃথক ভেরিয়েবলগুলির নমুনা করতে পারে না।
আরজেটিকে

এছাড়াও, আমি বিশ্বাস করি না স্ট্যান জিপিইউতে ADVI চালায় ... তবুও হোক। পরিবর্তনীয় অনুমানের জন্য দ্রুততম সফ্টওয়্যারটি সম্ভবত টেনসরফ্লো প্রব্যাবিলিটি (টিএফপি) বা পাইরো, উভয়ই অত্যন্ত অনুকূলিত গভীর শেখার ফ্রেমওয়ার্কগুলিতে নির্মিত (যেমন, সিউডিএ)। ডাস্টিন ট্রান দ্বারা পরিচালিত এডওয়ার্ডের প্রাথমিক কাজ থেকে টিএফপি বেড়েছে, যিনি এখন বিশ্বাস করেন গুগলে টিএফপিকে নেতৃত্ব দেন।
অ্যাডাম এরিকসন

@ অ্যাডামিক্রেসন এফওয়াইআই: স্টান ধীরে ধীরে জিপিইউগুলি ব্যবহার শুরু করে arxiv.org/abs/1907.01063
টিম
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.