এমসিএমসি নমুনাগুলি থেকে প্রান্তিক সম্ভাবনার গণনা

এটি একটি পুনরাবৃত্তিযোগ্য প্রশ্ন ( এই পোস্টটি , এই পোস্ট এবং এই পোস্টটি দেখুন ) তবে আমার আলাদা স্পিন রয়েছে।

ধরুন আমার কাছে জেনেরিক এমসিএমসি স্যাম্পেলার থেকে প্রচুর নমুনা রয়েছে। প্রতিটি নমুনার জন্য , আমি লগ সম্ভাবনা মান জানি এবং লগ পূর্বে এর । যদি এটি সহায়তা করে তবে আমি লগের সম্ভাব্য তথ্য প্রতি পয়েন্ট, ta মূল্যও জানি (এই তথ্যটি নির্দিষ্ট পদ্ধতিগুলির সাথে সহায়তা করে যেমন ডাব্লিউএআইসি এবং পিএসআইএস-এলইউ)। $\theta$ $\log f(\textbf{x} | \theta)$ $\log f(\theta)$ $\log f(x_i | \theta)$

আমি যে নমুনা পেয়েছি তার সাথে প্রান্তিক সম্ভাবনার একটি (অপরিশোধিত) অনুমান এবং সম্ভবত কয়েকটি অন্যান্য ফাংশন মূল্যায়ন (তবে কোনও অ্যাডহক এমসিএমসি পুনরায় চালু না করে ) পেতে চাই।

প্রথমত, আসুন টেবিলটি সাফ করুন। আমরা সকলেই জানি যে সুরেলা অনুমানক এখন পর্যন্ত সবচেয়ে খারাপ অনুমানকারী । চল এগোই. আপনি যদি বদ্ধ আকারে প্রিয়ার এবং পোস্টেরিয়ারগুলির সাথে গিবস স্যাম্পলিং করছেন, আপনি চিবের পদ্ধতিটি ব্যবহার করতে পারেন ; তবে আমি জানি না যে কীভাবে এই মামলার বাইরে সাধারণীকরণ করা যায়। এমন কয়েকটি পদ্ধতি রয়েছে যার জন্য আপনাকে স্যাম্পলিং পদ্ধতিটি পরিবর্তন করতে হবে (যেমন টেম্পারড পোস্টেরিয়ারগুলির মাধ্যমে ), তবে আমি এখানে সে বিষয়ে আগ্রহী নই।

আমি যে পদ্ধতির কথা ভাবছি তাতে প্যারামেট্রিক (বা ননপ্যারমেট্রিক) শেপ ta দিয়ে অন্তর্নিহিত বিতরণকে প্রায় ঘনিষ্ঠ করা এবং তারপরে নরমালাইজেশন ধ্রুবক 1-ডি অপটিমাইজেশন সমস্যা হিসাবে চিহ্নিত করা (যেমন, যা কিছু ত্রুটি হ্রাস করে) মধ্যে এবং , নমুনা উপর মূল্যায়ন)। সহজতম ক্ষেত্রে, ধরুন যে পশ্চাতটি মোটামুটিভাবে মাল্টিভারিয়েট স্বাভাবিক, আমি একটি মাল্টিভারিয়েট নরমাল হিসাবে ফিট করতে পারি এবং ল্যাপ্লেস সান্নিধ্যের মতো কিছু পেতে পারি (এর অবস্থানটি পরিমার্জন করতে আমি কয়েকটি অতিরিক্ত ফাংশন মূল্যায়ন ব্যবহার করতে চাই ভাব). তবে, আমি হিসাবে ব্যবহার করতে পারি $g(\theta)$ $Z$ $Z$ $Z g(\theta)$ $f(\textbf{x}|\theta) f(\theta)$ $g(\theta)$ $g(\theta)$ একটি আরও নমনীয় পরিবার যেমন মাল্টিভারিয়েট বিতরণের একটি পরিবর্তিত মিশ্রণ । $t$

আমি প্রশংসা করি যে এই পদ্ধতিটি কেবল তখনই কাজ করে যদি একটি যুক্তিসঙ্গত অনুমান , তবে কেন এটি খুব বুদ্ধিমান হবে তার কোনও কারণ বা সতর্কতার কাহিনী tale এটা কর? কোন পড়া যা আপনি সুপারিশ করবেন? $Z g(\theta)$ $f(\textbf{x}|\theta) f(\theta)$

সম্পূর্ণ ননপ্যারামেট্রিক পদ্ধতিতে আনুপাতিক (বা এর কিছু অন্যান্য অবৈধ রূপান্তরকরণ, যেমন কিছু পরিবার ব্যবহার করে) বর্গক্ষেত্র হিসাবে), এবং বেইসিয়ান চতুর্ভুজ অন্তর্নিহিত লক্ষ্যটির উপর সুস্পষ্টভাবে সংহত করতে ( এখানে এবং এখানে দেখুন )। এটি একটি আকর্ষণীয় বিকল্প পদ্ধতির মতো বলে মনে হচ্ছে তবে আত্মার সাথে সাদৃশ্যপূর্ণ (এটিও খেয়াল করুন যে জিপিগুলি আমার ক্ষেত্রে অকার্যকর হবে)। $\log f(\textbf{x}|\theta) + \log f(\theta)$

— lacerbi
সূত্র

আমি মনে করি চিব, এস এবং জেলিয়াজকভ, আই। 2001 "মহানগরীর প্রান্তিক সম্ভাবনা - হেস্টিংস আউটপুট" সাধারণ এমসিএমসি আউটপুটগুলিকে সাধারণীকরণ করে - এই পদ্ধতির সাথে অভিজ্ঞতাগুলি শুনতে আগ্রহী হবে। জিপি হিসাবে - মূলত, এটি উত্তরোত্তর অনুকরণে ফোটে যা আপনি অন্যান্য সমস্যার জন্যও বিবেচনা করতে পারেন। আমার ধারণা সমস্যাটি হ'ল আপনি আনুমানিক মানের সম্পর্কে কখনই নিশ্চিত নন। আমার যেটা অবাক হয় তা হ'ল যদি কোনও এমসিএমসি নমুনা জিপি মডেলের জন্য আদর্শ হয়, বা আপনার লেজগুলিতে আরও বিনিয়োগ করা উচিত।

— ফ্লোরিয়ান হারটিগ

(+1) রেফারেন্সের জন্য ধন্যবাদ, স্পট দেখায় - আমি এটি পরীক্ষা করে দেখব। আমি সম্মত হই যে সমস্ত মডেল-ভিত্তিক পদ্ধতিগুলি সমস্যাযুক্ত হতে পারে (বায়েশিয়ান চতুর্ভুজের সাথে ভাল জিনিসটি আপনি অনিশ্চয়তার একটি অনুমান পেতে পারেন, যদিও এটি কতটা ক্যালিবিরেটেড তা নিশ্চিত নয়)। এই মুহুর্তের জন্য আমার পরিমিত লক্ষ্যটি এমন কিছু করা যা "ল্যাপ্লেস আনুমানিকের চেয়ে ভাল"।

— লাসেরবী

চিব এবং জেলিয়াজকভের (2001) এর বর্ধন দুর্ভাগ্যক্রমে দ্রুত ব্যয়বহুল বা উচ্চ পরিবর্তনশীল হয়ে যায়, এটি গীবস স্যাম্পলিং মামলার বাইরে এটি বেশি ব্যবহার না করার কারণ।

যদিও নরমালাইজেশন ধ্রুবক অনুমানের সমস্যার অনেক উপায় এবং উপায় রয়েছে ( ওয়ারউইক বিশ্ববিদ্যালয়ে আমরা গত সপ্তাহে যে অনুমানের কনস্ট্যান্ট ওয়ার্কশপে আমরা বেশ কয়েকটি বিভিন্ন আলোচনার দ্বারা চিত্রিত করেছি সেখানে স্লাইডগুলি পাওয়া গেছে ), কিছু সমাধান সরাসরি এমসিসিএম আউটপুটকে কাজে লাগায় । $\mathfrak{Z}$

যেমনটি আপনি উল্লেখ করেছেন, নিউটন এবং রাফটারি (১৯৯৪) এর সুরেলা গড় অনুমানকারী অসীম বৈকল্পিকতার জন্য প্রায় অভাবজনক is যাইহোক, সুরেলা গড় পরিচয় পরিবর্তে একটি সীমাবদ্ধ সমর্থন লক্ষ্য ব্যবহার করে অসীম বৈকল্পিক অভিশাপ এড়ানোর উপায় রয়েছে অবচয় দ্বারাঅবর জন্য একটি HPD অঞ্চলের সূচক হিসেবে। সুরেলা গড়তে লেজগুলি সরিয়ে এটি সীমাবদ্ধ বৈকল্পিকতা নিশ্চিত করে। (আমি ড্যারেন ওয়ারেথের সাথে লিখেছিলামএবংএকটি প্রবন্ধেজিন-মিশেল মেরিনের সাথে লেখানিয়মিত ধরণের সাধারণ সম্পর্কেএকটিঅধ্যায়েবিশদটি পাওয়া যাবে।) সংক্ষেপে, পদ্ধতিটি এমসিসিএম আউটপুটচিহ্নিত করে পুনরায়করে( 20% বলে) লক্ষ্য বৃহত্তম মানএবং তৈরি
$\int \frac{α (θ)}{π (θ) f (x | θ)} d π (θ | x) = \frac{1}{Z}$ $\int \dfrac{\alpha(\theta)}{\pi(\theta)f(x|\theta)}\text{d}\pi(\theta|x)=\frac{1}{\mathfrak{Z}}$ $\alpha$ $\theta_1,\ldots,\theta_M$ $\beta$ $\pi(\theta)f(x|\theta)$ $\alpha$ যেমন বাজে কথা ইউনিয়নের উপর একটি অভিন্ন ঐ বৃহত্তম ঘনত্ব কেন্দ্রীভূত (HPD) সিমিউলেশন এবং ব্যাসার্ধ সঙ্গে , স্বাভাবিক ধ্রুবক হিসেব অর্থ দেওয়া হয় $\theta^0_i$ $\rho$ $\mathfrak{Z}$ যদিমাত্রা হয়(সংশোধন বাজে কথা ছেদ জন্য প্রযোজ্য) এবং যদিকখনো ছেদ বল জন্য ছোট যথেষ্ট (অর্থাত বল শ্রেষ্ঠ সময়ে শুধুমাত্র একটি সূচক যে শূন্য থেকে পৃথক)। জন্য ব্যাখ্যাহর যে, এই একটি ডবল সমষ্টি হলপদ: ${\hat{Z}}^{- 1} = \underset{double sum over β M ball centres θ_{i}^{0} and M simulations θ_{m}}{\underset{⏟}{\frac{1}{β M^{2}} \sum_{m = 1}^{M}}} \underset{\frac{β M α (θ_{m})}{π (θ_{m}) f (x | θ_{m})}}{\underset{⏟}{I_{(0, ρ)} (min_{i} | | θ_{m} - θ_{i}^{0} | |) {π (θ_{m}) f (x | θ_{m})}^{- 1} / \overset{volume of ball with radius ρ}{\overset{⏞}{π^{d / 2} ρ^{d} Γ (d / 2 + 1)^{- 1}}}}}$ $\hat{\mathfrak{Z}}^{-1}=\underbrace{\frac{1}{\beta M^2}\sum_{m=1}^M}_{\text{double sum over}\\\beta M\text{ ball centres }\theta_i^0\\\text{and $M$ simulations } \theta_m} \underbrace{\mathbb{I}_{(0,\rho)}(\min_i||\theta_m-\theta^0_i||)\{\pi(\theta_m)f(x|\theta_m)\}^{-1}\big/\overbrace{\pi^{d/2}\rho^d\Gamma(d/2+1)^{-1}}^{\text{volume of ball with radius $\rho$}}}_{\dfrac{\beta M\alpha(\theta_m)}{\pi(\theta_m)f(x|\theta_m)}}$ $d$ $\theta$ $\rho$ $\alpha M^2$ $\beta M^2$ প্রতিটি শব্দ দিয়েথেকে একীভূত। $\frac{1}{β M} \sum_{i = 1}^{β M} \underset{same as with min}{\underset{⏟}{\frac{1}{M} \sum_{m = 1}^{M} U (θ_{i}^{0}, ρ) (θ_{m})}} \times \frac{1}{π (θ_{m}) f (x | θ_{m})}$ $\frac{1}{\beta M}\sum_{i=1}^{\beta M} \underbrace{\frac{1}{M}\sum_{m=1}^M {\cal U}(\theta_i^0,\rho)(\theta_m)}_{\text{same as with $\min$}} \times \frac{1}{\pi(\theta_m)f(x|\theta_m)}$ $\theta_m$ ${\mathfrak{Z}}^{-1}$
আর একটি পদ্ধতি হ'ল স্বাভাবিককরণের ধ্রুবক প্যারামিটারে পরিণত করা। এটি একটি পরিসংখ্যানগত ধর্মবিরোধ বলে মনে হচ্ছে তবে গুটম্যান এবং হাইভরিনেন (২০১২) এর কাগজ আমাকে তার বিপরীতে বিশ্বাস করেছিল। অত্যধিক বিস্তারিত মধ্যে পাচ্ছেন না, ঝরঝরে ধারণা তাতে পর্যবেক্ষিত লগ-সম্ভাবনা চালু হয় এক যৌথ লগ-সম্ভাবনা মধ্যে $\mathfrak{Z}$
$\sum_{i = 1}^{n} f (x_{i} | θ) - n \log \int \exp f (x | θ) d x$ $\sum_{i=1}^n f(x_i|\theta) - n \log \int \exp f(x|\theta) \text{d}x$ যা তীব্রতা ফাংশন সহ পোইসন পয়েন্ট প্রক্রিয়াটির লগ-সম্ভাবনা $\sum_{i = 1}^{n} [f (x_{i} | θ) + ν] - n \int \exp [f (x | θ) + ν] d x$ $\sum_{i=1}^n[f(x_i|\theta)+\nu]-n\int\exp[f(x|\theta)+\nu]\text{d}x$ $\exp {f (x | θ) + ν + \log n}$ $\exp\{ f(x|\theta) + \nu +\log n\}$ এটি একটি বিকল্প মডেল যাতে মূল সম্ভাবনা উপরের একটি প্রান্তিক হিসাবে উপস্থিত হয় না। নরমালাইজিং ধ্রুবক সরবরাহ করে শর্তাধীন মোডের সাথে কেবল মোডগুলি মেলে। অনুশীলনে, উপরের পোসন প্রক্রিয়া সম্ভাবনা অনুপলব্ধ এবং গুটম্যান এবং হাইভরিনেন (২০১২) একটি লজিস্টিক রিগ্রেশন মাধ্যমে একটি আনুমানিক প্রস্তাব দেয়। আপনার প্রশ্নের সাথে আরও ভালভাবে সংযোগ স্থাপন করতে, গিয়ারের অনুমান একটি এমএলই, সুতরাং একটি সর্বাধিক সমস্যার সমাধান।
সংযুক্ত পদ্ধতির নাম হ'ল চার্লি জিয়েরের লজিস্টিক রিগ্রেশন পন্থা। মৌলিক ধারণা থেকে এমসিএমসি নমুনা যোগ করতে হয় এ আপনার সেরা অনুমানটি একটি পরিচিত লক্ষ্য, যেমন থেকে অন্য নমুনা , , এবং সূচক উপর পণ্য সরবরাহ সংশ্লেষণ চালানোর জন্য তথ্য পিছনে বিতরণ (1 জন্য এবং 0 এর জন্য $\pi(\theta|x)$ $\pi(\theta|x)$ $g(\theta)$ $\pi(\theta|x)$ $g(\theta)$ )। রেজিস্ট্রারগুলি উভয় ঘনত্বের মান হিসাবে রয়েছে, স্বাভাবিক হয় বা না। এটি সরাসরি জেলম্যান এবং মেং (১৯৯)) ব্রিজের নমুনার সাথে সংযুক্ত হওয়ার ঘটনা ঘটে যা বিভিন্ন লক্ষ্য থেকে নমুনাগুলি পুনরুদ্ধার করে। এবং পরবর্তী সংস্করণগুলি, মেনগের এমএলইয়ের মতো।
একটি পৃথক পদ্ধতি যা কাউকে একটি নির্দিষ্ট এমসিএমসি স্যাম্পলার চালাতে বাধ্য করে তা হ'ল স্কিলিংয়ের নেস্টেড নমুনা । যদিও আমি [এবং অন্যদের] পদ্ধতির দক্ষতা কিছু আপত্তি রয়েছে, এটা astrostatistics এবং সৃষ্টিতত্ব বেশ জনপ্রিয় সফটওয়্যার সাথে উপলব্ধ মত, multinest ।
$H_0: \theta=\theta_0$ $\xi$ $\pi_1(\theta)\pi_2(\xi)$ $H_0$ $B_{01} (x) = \frac{π^{θ} (θ_{0} | x)}{π_{1} (θ_{0})}$ $\mathfrak{B}_{01}(x)=\dfrac{\pi^\theta(\theta_0|x)}{\pi_1(\theta_0)}$ $\pi^\theta(\theta_0|x)$ $\theta$ $\theta_0$ $H_0: \theta=\theta_0$ $m_{0} (x) = \int_{Ξ} f (x | θ_{0}, ξ) π_{2} (ξ) d ξ$ $m_0(x)=\int_\Xi f(x|\theta_0,\xi)\pi_2(\xi)\text{d}\xi$ $m_{a} (x) = \int_{Θ \times Ξ} f (x | θ, ξ) π_{1} (θ) π_{2} (ξ) d θ d ξ$ $m_a(x)=\int_{\Theta\times\Xi} f(x|\theta,\xi)\pi_1(\theta)\pi_2(\xi)\text{d}\theta\text{d}\xi$

[ গত ডিসেম্বরে এনআইপিএস কর্মশালার জন্য ধ্রুবকগুলি স্বাভাবিক করার অনুমান সম্পর্কে স্লাইডগুলির একটি সেট এখানে দেওয়া হয়েছে ।]

— সিয়ান
সূত্র

(+1) অবিশ্বাস্যভাবে সমৃদ্ধ উত্তর, আপনাকে ধন্যবাদ। এটি আমার পক্ষে এবং আরও অনেক লোকের জন্য কার্যকর হবে। বিভিন্ন পদ্ধতির দিকে নজর রাখতে আমার কিছুটা সময় লাগবে এবং তারপরে আমি নির্দিষ্ট প্রশ্নগুলি নিয়ে ফিরে আসতে পারি।

— lacerbi

বিন্দু (1) থেকে শুরু করে ... আমি প্রবন্ধটি পড়ি। "সংশোধন" সুরেলা গড় অনুমানকটি ঠিক আমি যা খুঁজছিলাম তা মনে হয় । এটি এমসিএমসি আউটপুট প্রদানে ঝরঝরে এবং গণনা করা সহজ। তো ... ধরাটা কী? গুগল স্কলারে একটি তাত্ক্ষণিক অনুসন্ধান থেকে বিচার করে পদ্ধতিটি ব্যাপকভাবে ব্যবহৃত হচ্ছে বলে মনে হচ্ছে না। এর সীমাবদ্ধতাগুলি কী? (এইচপিডি অঞ্চলগুলি চিহ্নিত করার প্রয়োজনীয়তা ছাড়াও, আমি উচ্চতর মাত্রায় অত্যন্ত জটিল পোস্টারিয়ারগুলির জন্য একটি সমস্যা হয়ে উঠতে পারি বলে ধারণা করি)। আমি অবশ্যই এটি চেষ্টা করে যাচ্ছি - তবে আমি অবাক হওয়ার মতো কিছু আছে কিনা তা অবাক করি।

— lacerbi

আমি আরও কয়েকটি বিশদ যুক্ত করেছি: এইচপিডি ইউনিফর্ম প্রয়োগের বিষয়টি হ'ল এইচপিডি অঞ্চলের জন্য একটি সঠিক কমপ্যাক্ট আনুমানিকতা বের করা। উচ্চ উত্তরোত্তর মানগুলির সাথে পয়েন্টগুলির উত্তল হাল (এনপি?) নির্ধারণ করা শক্ত যখন এই পয়েন্টগুলিতে কেন্দ্রে বলগুলি ছেদ করতে পারে, যা একটি গৌণ স্বাভাবিককরণ স্থির সমস্যা তৈরি করে।

— শি'আন

@ শিয়ান: খুব সহায়ক, ধন্যবাদ! আমি কি জিজ্ঞাসা করতে পারি: উল্লিখিত সমস্ত পদ্ধতির মধ্যে বর্তমানে যদি আপনার বাক্সের বাইরে কাজ করার প্রবণতা (যেমন কোনও ব্যবহারকারীর কাছ থেকে কোনও সুরকরণ / চেকিং প্রয়োজন হয় না) এমন কোনও সাধারণ পদ্ধতির সন্ধান করে তবে আপনার পরামর্শটি কী হবে? আমি বিশেষত কম (<50) সংখ্যার পরামিতি, অ-স্বাভাবিক পোস্টারিয়র এবং পরামিতির মধ্যে দৃ strong় সম্পর্কযুক্ত মডেলগুলির ক্ষেত্রে আগ্রহী।

— ফ্লোরিয়ান হারটিগ

@ ফ্লোরিয়ান হার্টিগ: সত্য যে BUGS এর মতো জেনেরিক সফ্টওয়্যার জেনেরিক প্রাক্কলনটি ফিরিয়ে দেয় না

Z

$\mathfrak{Z}$ সমস্যাটির মাত্রাটি প্রকাশ করার উপায়। বিশেষায়িত সাহিত্যে যে বহু সমাধান খুঁজে পেতে পারে সেগুলি aক্যমতের প্রাক্কলন তৈরি করে নি। অতএব, আমার প্রস্তাবটি হ'ল জিয়রের লজিস্টিক রিগ্রেশন সলিউশনটি বেছে নেওয়া, যা মাত্রা সম্পর্কে কিছুটা সংবেদনশীল নয়।

— শি'আন