এমসিমিসি কখন কার্যকর?

Question

এমসিএমসি পদ্ধতিটি আসলে কোন পরিস্থিতিতে কার্যকর তা বুঝতে আমার সমস্যা হচ্ছে। আমি ক্রুশকে বই "ডোয়িং বেয়েসিয়ান ডেটা অ্যানালাইসিস: আর টিউটোরিয়াল উইথ আর এবং বিজিজি" থেকে একটি খেলনার উদাহরণ দিয়ে যাচ্ছি।

আমি এতক্ষণ যা বুঝতে পেরেছি তা হল আমাদের লক্ষ্যমাত্রার বন্টন দরকার যা নমুনা পেতে সমানুপাতিক । তবে, আমার কাছে মনে হয় যে একবার পেলে উত্তরোত্তর পাওয়ার জন্য আমাদের কেবল বিতরণকে স্বাভাবিক করতে হবে, এবং স্বাভাবিকীকরণ ফ্যাক্টরটি সহজেই সংখ্যাসূচকভাবে খুঁজে পাওয়া যেত। সুতরাং এটি সম্ভব না হলে কি কি ক্ষেত্রে আছে?$p(D|\theta)p(\theta)$$P(\theta|D)$$p(D|\theta)p(\theta)$

Comments

ধরুন কোনও স্কেলার নয় বরং এর পরিবর্তে 10000 মাত্রাযুক্ত ভেক্টর \ বোল্ডসিম্বল \ থিয়েটা । $\theta$$\boldsymbol\theta$

— জান গালকোভস্কি

আমার উত্তরটি কিছুটা জ্বলজ্বল ছিল। ধ্রুবকটি পেতে, \ int _ {- \ infty} ^ {\ infty} p (D | ta theta) p (\ theta) গণনা করতে হবে $\int_{-\infty}^{\infty} p(D|\theta)p(\theta)$। এমনকি স্কেলারের ক্ষেত্রেও ধরুন, $p(D|\theta)$ সত্যই বিরক্তিকর তাই সংহতকরণও করা কঠিন, এমনকি সংখ্যাগতভাবে is তারপরে আপনি এমসিএমসি ব্যবহার করতে চাইতে পারেন।

— জান গালকোভস্কি

অ্যালান সোকালের সতর্কতার একটি শব্দ: "মন্টি কার্লো একটি অত্যন্ত খারাপ পদ্ধতি; এটি তখনই ব্যবহার করা উচিত যখন সমস্ত বিকল্প পদ্ধতি সবচেয়ে খারাপ হয়"। তারপরে তিনি এমসির পদ্ধতিগুলির দীর্ঘ আলোচনা শুরু করেন। stat.unc.edu/factory/cji/Sokal.pdf

— ইয়ার

@ ইয়ার: আমার কাছে মনে হচ্ছে সোকাল চার্চিলকে চ্যানেল করছে।

— কার্ডিনাল

যখন আর কিছুই কাজ করবে না ...

— কেজেটিল বি হালওয়ারসেন

Answer 1

মন্টি কার্লো ইন্টিগ্রেশন এমন একক সংখ্যাগত ইন্টিগ্রেশনের যা বহুগুণের সাথে সংখ্যার সমান করে সংখ্যার সংহতকরণের চেয়ে অনেক বেশি দক্ষ হতে পারে । এটি উচ্চ মাত্রায় বিশেষত সত্য, যেখানে সাধারণ সংখ্যার একীকরণের কৌশলগুলিতে প্রচুর ফাংশন মূল্যায়ন প্রয়োজন। সাধারণকরণের ধ্রুবক গণনা করতে , আমরা গুরুত্বের নমুনা ব্যবহার করতে পারি ,$p(D)$

$$p(D) = \int \frac{q(\theta)}{q(\theta)} p(\theta)p(D \mid \theta) \, d\theta \approx \frac{1}{N} \sum_n w_n p(\theta_n)p(D \mid \theta_n),$$

যেখানে এবং কে থেকে নমুনা দেওয়া হয়েছে । নোট করুন যে আমাদের কেবল নমুনাযুক্ত পয়েন্টগুলিতে যৌথ বন্টনকে মূল্যায়ন করতে হবে। সঠিক , এই অনুমানকারী খুব কম নমুনার প্রয়োজনের অর্থে খুব দক্ষ হতে পারে। অনুশীলনে, উপযুক্ত নির্বাচন করা কঠিন হতে পারে, তবে এটিই এমসিসিএম সাহায্য করতে পারে! ঘোষিত গুরুত্বের নমুনা (নিল, 1998) এমসিএমসিকে গুরুত্বের নমুনার সাথে সংযুক্ত করে।$w_n = 1/q(\theta_n)$$\theta_n$$q$$q$$q$

এমসিসিএম কার্যকর হবার আরেকটি কারণ হ'ল: আমরা সাধারণত ঘনত্বের প্রতি আগ্রহী নই , বরং সংক্ষিপ্ত পরিসংখ্যান এবং প্রত্যাশায় যেমন,$\theta$

$$\int p(\theta \mid D) f(\theta) \, d\theta.$$

জানার অর্থ সাধারণত এই নয় যে আমরা এই অবিচ্ছেদ্য সমাধান করতে পারি, তবে নমুনাগুলি এটি অনুমান করার জন্য খুব সুবিধাজনক উপায়।$p(D)$

অবশেষে, মূল্যায়ন করতে সক্ষম হওয়া কিছু এমসিসিএম পদ্ধতির জন্য প্রয়োজনীয়তা, তবে সেগুলি সমস্ত নয় (যেমন, ম্যারে এট আল। 2006 ) 2006$p(D \mid \theta)p(\theta)$

Comments

দুঃখিত, তবে এটি এখনও আমার কাছে পরিষ্কার নয়। আমার প্রশ্ন হ'ল: আমরা যদি কেবল করি আমরা একটি অস্বাভাবিক পিডিএফ পাই। এমসিএমসি চালিয়ে আমরা একটি নমুনা পাই যার জন্য আমরা অস্বাভাবিক পিডিএফ অনুমান করতে পারি। আমরা চাইলে আমরা দুজনকেই স্বাভাবিক করতে পারি। সুতরাং, ধরে নিই আমি কোনও সংক্ষিপ্ত পরিসংখ্যানের প্রতি আগ্রহী নই, তবে কেবল পোস্টারিয়রগুলিতেই কেন আমরা এমসিএমসি প্রথম স্থানে ব্যবহার করি? যেমনটি আপনি বলেছেন, কিছু এমসিসিএম পদ্ধতিতে ta থেইটা থটা গণনার প্রয়োজন হয় না , তাই আমি সেগুলির উল্লেখ করছি না। আমি যতদূর জানি, তাদের বেশিরভাগেরই এটির গণনা প্রয়োজন। এই পদ্ধতির উপযোগিতা কী? $p(D|\theta)p(\theta)$$p(D|\theta)p(\theta)$

— ভাইয়াল

এমসিএমসি চলাকালীন আপনি নরমালাইজড পিডিএফ থেকে একটি নমুনা পান যাতে সাধারণীকরণের ধ্রুবকটি গণনা করা এড়ানো যায়। এবং এটি নিখরচায়।

— শি'আন

@ ভয়াল: আপনার ধারণা "সাধারণকরণের উপাদানটি সহজেই সংখ্যাসূচকভাবে পাওয়া যেতে পারে" কেবল সাধারণ অবিচ্ছিন্ন বিতরণের জন্য রয়েছে holds উচ্চ-মাত্রিক টির জন্য, সাধারণকরণ সাধারণভাবে অত্যন্ত কঠিন। এই ক্ষেত্রে, এমসিএমসি এখনও স্বাভাবিককরণের ধ্রুবকটি অনুমান করতে ব্যবহার করা যেতে পারে (উদাহরণস্বরূপ annealed গুরুত্বের নমুনার মাধ্যমে)। $\theta$$p(D \mid \theta) p(\theta)$

— লুকাস

Answer 2

যখন আপনাকে পূর্বের এবং সম্ভাবনা হয় যা হয় বন্ধ আকারে গণ্যযোগ্য নয় বা যেমন উত্তরোত্তর বিতরণ কোনও স্ট্যান্ডার্ড ধরণের নয়, এই লক্ষ্য থেকে সরাসরি মন্টি কার্লো উত্তরোত্তর বিতরণের সমীকরণের দিকে অনুকরণ করা সম্ভব নয়। একটি সাধারণ উদাহরণ নন-কঞ্জুগেট প্রিয়ারগুলির সাথে শ্রেণিবদ্ধ মডেলগুলি তৈরি করা হয়েছে, যেমন বিইজিএস বইতে পাওয়া যায় ।$p(\theta)$$f(x|\theta)$

$$p(\theta|x)\propto p(\theta)f(x|\theta)$$

যেমন গ্রহণ-প্রত্যাখ্যান যেমন পরোক্ষ সিমুলেশন পদ্ধতি, অনুপাত অফ অভিন্ন, অথবা গুরুত্ব-স্যাম্পলিং কৌশল রীতিমত সংখ্যাসূচক এবং স্পষ্টতা অসুবিধা মধ্যে চালানো যখন প্যারামিটারের মাত্রা কয়েক ইউনিট পরলোক বাড়ে।$\theta$

বিপরীতে, মার্কোভ চেইন মন্টি কার্লো পদ্ধতিগুলি বৃহত্তর মাত্রাগুলির সাথে আরও সুসংগঠিত যে তারা স্থানীয় ভিত্তিতে, যেমন বর্তমান মানের একটি প্রতিবেশী এবং ছোট সংখ্যক উপাদানগুলিতে, অর্থাৎ উপ-স্পেসগুলিতে উত্তরোত্তর বিতরণটি অন্বেষণ করতে পারে। উদাহরণস্বরূপ, গিবস স্যাম্পলার এই ধারণাটিকে বৈধ করে তোলে যে এক সময় এক-মাত্রিক লক্ষ্য থেকে সিমুলেট করা, যথা সাথে যুক্ত সম্পূর্ণ শর্তযুক্ত বিতরণ দীর্ঘমেয়াদে সত্যিকারের উত্তরোত্তর থেকে সিমুলেশন অর্জনের জন্য যথেষ্ট।$p(\theta|x)$

মেট্রোপলিস-হেস্টিংস অ্যালগরিদমের মতো আলগোরিদিমগুলিতে মার্কোভ চেইন মন্টি কার্লো পদ্ধতিতে কিছুটা সার্বজনীনতাও রয়েছে যে কোনও উত্তরোত্তর ডিস্ট্রিবিউশন জন্য আনুষ্ঠানিকভাবে উপলব্ধ যা একটি ধ্রুবক পর্যন্ত গণনা করা যেতে পারে।$p(\theta|x)$

ক্ষেত্রে যখন সহজেই গণনা করা যায় না, বিকল্পগুলি উপস্থিত থাকে, হয় হয় এই ডিস্ট্রিবিউশনটিকে একটি বৃহত্তর স্থানের মধ্যে একটি পরিচালনাযোগ্য বিতরণ হিসাবে সম্পূর্ণ করে, যেমন বা এবিসির মতো চিহ্নবিহীন পদ্ধতির মাধ্যমে ।$p(\theta)f(x|\theta)$

$$p(\theta)f(x|\theta)\propto \int g(z|\theta,x) p(\theta)f(x|\theta)\text{d}z$$

১৯৯০ সালে অ্যালান গেল্ফ্যান্ড এবং অ্যাড্রিয়ান স্মিথের এই পদ্ধতির জনপ্রিয়তা অর্জনের পরে উত্থানের মাধ্যমে এমসিএমসি পদ্ধতিগুলি বয়েসীয় পদ্ধতিগুলির জন্য আরও বিস্তৃত পৌঁছে দিয়েছে।

Comments

বাগ বইয়ের লিঙ্কটি আর কাজ করছে না।

— হ্যালো ওয়ার্ল্ড