এমসিএমসি অ্যালগরিদমে ত্রুটির উদাহরণ

Question

আমি মার্কভ চেইন মন্টি কার্লো পদ্ধতিগুলি স্বয়ংক্রিয়ভাবে পরীক্ষার জন্য একটি পদ্ধতি অনুসন্ধান করছি এবং আমি এমন কিছু ভুলের উদাহরণ চাই যা এই জাতীয় অ্যালগরিদমগুলি নির্মাণ বা প্রয়োগ করার সময় ঘটতে পারে। কোনও প্রকাশিত কাগজে যদি ভুল পদ্ধতি ব্যবহার করা হত তবে বোনাস পয়েন্ট।

আমি বিশেষত সে ক্ষেত্রে আগ্রহী যেখানে ত্রুটির অর্থ দাঁড়ায় যে চেইনের ভুল অদম্য বিতরণ রয়েছে, যদিও অন্যান্য ধরণের ত্রুটি (যেমন চেইন ইরগোডিক নয়) এছাড়াও আগ্রহী হবে।

মেট্রোপলিস-হেস্টিংস প্রস্তাবিত পদক্ষেপটি প্রত্যাখ্যান করলে এ জাতীয় ত্রুটির একটি উদাহরণ কোনও মান আউটপুট করতে ব্যর্থ হবে।

Comments

আমার প্রিয় উদাহরণগুলির মধ্যে একটি হরমোনিক গড় অনুমানক কারণ এটিতে দুর্দান্ত অ্যাসেম্পটোটিক বৈশিষ্ট্য রয়েছে তবে এটি অনুশীলনে কাজ করতে ব্যর্থ হয়। র‌্যাডফোর্ড নয়েল তাঁর ব্লগে এটি নিয়ে আলোচনা করেছেন: "দুঃসংবাদটি হ'ল এই অনুমানকারীকে সঠিক উত্তরের নিকটবর্তী হওয়ার জন্য প্রয়োজনীয় পয়েন্টগুলির সংখ্যা প্রায়শই পর্যবেক্ষণযোগ্য মহাবিশ্বে পরমাণুর সংখ্যার চেয়ে বেশি হবে"। অ্যাপ্লিকেশনগুলিতে এই পদ্ধতিটি ব্যাপকভাবে প্রয়োগ করা হয়েছে।

অধ্যাপক নীলের আর একটি সৌজন্যে।

— সায়ান

@ সায়ান ফর নীলকে গুরুত্ব সহকারে নেওয়া উচিত বলে আমি মনে করি তার একটি জার্নাল পাওয়া উচিত ছিল যা কেবলমাত্র তার নিবন্ধটি ইন্টারনেটে জমা দেওয়ার চেয়ে গ্রহণ করবে। আমি সহজেই বিশ্বাস করতে পারি যে তিনি ঠিক আছেন এবং রেফারি এবং লেখক ভুল। যদিও প্রকাশিত ফলাফলগুলির বিপরীতে এবং জাসা প্রত্যাখ্যানকে নিরুৎসাহিত করা হচ্ছে এমন কাগজপত্রগুলি পাওয়া খুব কঠিন, তবে আমি মনে করি তিনি সফল না হওয়া পর্যন্ত আরও কয়েকটি জার্নালের চেষ্টা করা উচিত ছিল। আপনার অনুসন্ধানে বিশ্বাসযোগ্যতা যুক্ত করার জন্য আপনার একটি নিরপেক্ষ এবং স্বতন্ত্র রেফারি দরকার।

— মাইকেল আর চেরনিক

প্রিয়াজ নীলকে সর্বদা গুরুত্ব সহকারে নেওয়া উচিত! ; ও) সিরিয়াসলি এটি লজ্জার বিষয় যে এর ফলাফলগুলি প্রকাশ করা কঠিন, এবং দুর্ভাগ্যক্রমে আধুনিক একাডেমিক সংস্কৃতি সেই ধরণের জিনিসটিকে মূল্য বলে মনে হয় না, সুতরাং এটি যদি তার পক্ষে উচ্চ অগ্রাধিকারের কার্যকলাপ না হয় তবে এটি বোধগম্য। আকর্ষণীয় প্রশ্ন, আমি উত্তর খুব আগ্রহী।

— ডিকরান মার্শুপিয়াল

@ মিশেল: সম্ভবত অধ্যাপক নীলের অবস্থান সহ অনেক সময় একই ধরণের পরিস্থিতিতে থাকার পরে, আমার উপাখ্যান পর্যবেক্ষণটি হ'ল যে কাগজ প্রত্যাখ্যান বেশিরভাগ ক্ষেত্রেই অনেক গ্রহণযোগ্যতার মতো তথ্য বিষয়বস্তু বহন করে। পিয়ার পর্যালোচনা হ'ল লোকেরা যতটা স্বাচ্ছন্দ্য বোধ করে তার চেয়ে বেশি শোরগোলের আদেশ এবং প্রায়শই এখানে যেমন হতে পারে, সেখানে আংশিক এবং আগ্রহী (অর্থাত্ স্বতন্ত্র নয়) এবং খেলায় আগ্রহ রয়েছে। এটি বলেছিল, বিষয়টির এত দূরে আমাদের কাছে নিয়ে যাওয়ার জন্য আমি আমার মূল মন্তব্যটি করতে চাইনি। বিষয়টি সম্পর্কে আপনার মতামত ভাগ করে নেওয়ার জন্য ধন্যবাদ।

— কার্ডিনাল

Answer 1

প্রান্তিক সম্ভাবনা এবং সুরেলা মানে অনুমানকারী

প্রান্তিক সম্ভাবনা অবর বিতরণের স্বাভাবিক ধ্রুবক হিসেবে সংজ্ঞায়িত করা হয়

$$p({\bf x})=\int_{\Theta}p({\bf x}\vert\theta)p(\theta)d\theta.$$

এই পরিমাণের গুরুত্বটি বাইসের কারণগুলির মাধ্যমে মডেলের তুলনায় কার্যকর হওয়া ভূমিকা থেকে আসে ।

এই পরিমাণ আনুমানিক জন্য বেশ কয়েকটি পদ্ধতি প্রস্তাব করা হয়েছে। রাফারি এট। (2007) হরমোনিক গড় অনুমানকারী প্রস্তাব , যা তার সরলতার কারণে দ্রুত জনপ্রিয় হয়েছিল। ধারণাটি ব্যবহার করে থাকে using

$$\dfrac{1}{p({\bf x})}=\int_{\Theta}\dfrac{p(\theta\vert{\bf x})}{p({\bf x}\vert\theta)}d\theta.$$

অতএব, যদি আমাদের থেকে কোনও নমুনা থাকে, , এই পরিমাণটি দ্বারা প্রায় অনুমান করা যায়$(\theta_1,...,\theta_N)$

$$\dfrac{1}{p({\bf x})}\approx\dfrac{1}{N}\sum_{j=1}^N \dfrac{1}{p({\bf x}\vert\theta_j)}.$$

এই অনুমানটি গুরুত্ব স্যাম্পলিংয়ের ধারণার সাথে সম্পর্কিত ।

নীলের ব্লগে যেমন আলোচিত হয়েছে প্রচুর সংখ্যক আইন অনুসারে , আমাদের কাছে এই অনুমানকটি সামঞ্জস্যপূর্ণ । সমস্যাটি হ'ল ভাল অনুমানের জন্য প্রয়োজনীয় বিশাল হতে পারে। কিছু উদাহরণের জন্য নীলের ব্লগ বা রবার্টের ব্লগ 1 , 2 , 3 , 4 দেখুন ।$N$

বিকল্প

প্রায় আনুমানিক । চপিন এবং রবার্ট (২০০৮) কয়েকটি স্যাম্পলিং-ভিত্তিক কয়েকটি গুরুত্বের পদ্ধতি উপস্থাপন করেন।$p({\bf x})$

২. আপনার এমসিসিএম স্যাম্পলারটি দীর্ঘকাল ধরে চালাচ্ছেন না (বিশেষত বহুমাত্রিকতার উপস্থিতিতে)

মেন্দোজা এবং গুতেরেজ-পেঁয়া (১৯৯৯) দুটি স্বাভাবিক উপায়ের অনুপাতের জন্য পূর্ববর্তী / উত্তরোত্তর রেফারেন্সটি কেটে ফেলুন এবং একটি সত্যিকারের ডেটা সেট ব্যবহার করে এই মডেলটির সাথে প্রাপ্ত সূত্রগুলির উদাহরণ উপস্থাপন করুন। এমসিএমসি পদ্ধতি ব্যবহার করে, তারা নীচে দেখানো মানে means অনুপাতের উত্তরোত্তর এর আকারের একটি নমুনা পান$2000$$\varphi$

এবং জন্য এইচপিডি ব্যবধান । উত্তরোত্তর বিতরণের অভিব্যক্তি বিশ্লেষণের পরে, এটি সহজেই দেখতে পাওয়া যায় যে এটির এককতা রয়েছে এবং উত্তরোত্তরটি অবশ্যই এটির মতো দেখতে হবে ( তে এককত্ব নোট করুন )$\varphi$ $(0.63,5.29)$$0$$0$

আপনি কেবলমাত্র দীর্ঘ সময় ধরে MCMC স্যাম্পলার চালনা করলে বা আপনি একটি অভিযোজিত পদ্ধতি ব্যবহার করলেই এটি সনাক্ত করা যায়। এর মধ্যে একটি পদ্ধতির সাথে প্রাপ্ত এইচপিডি হ'ল যেমন ইতিমধ্যে জানা গেছে । এইচপিডি ব্যবধানের দৈর্ঘ্যটি উল্লেখযোগ্যভাবে বৃদ্ধি পেয়েছে যা এর দৈর্ঘ্য ঘন ঘনতত্ত্ববিদ / শাস্ত্রীয় পদ্ধতির সাথে তুলনা করা হয় যখন গুরুত্বপূর্ণ জড়িত ।$(0,7.25)$

৩. কিছু অন্যান্য ইস্যু যেমন কনভার্ভেশন মূল্যায়ন করা, মূল্যবোধ শুরু করা, চেইনের দুর্বল আচরণ এই আলোচনাতে জেলম্যান, কার্লিন এবং নীল খুঁজে পাওয়া যায় ।

4. গুরুত্ব নমুনা

অবিচ্ছেদ্য আনুমানিক করার জন্য একটি পদ্ধতিতে একই ঘনত্ব দ্বারা পূর্ণসংখ্যার সমন্বয় করা হয় , একই সমর্থন সহ, আমরা যেগুলি থেকে অনুকরণ করতে পারি$g$

$$I=\int f(x)dx = \int \dfrac{f(x)}{g(x)}g(x)dx.$$

তারপরে, যদি আমাদের কাছে , থেকে একটি নমুনা থাকে তবে আমরা নীচের হিসাবে আনুমানিক$g$$(x_1,...,x_N)$$I$

$$I\approx \dfrac{1}{N}\sum_{j=1}^N \dfrac{f(x_j)}{g(x_j)}.$$

একটি সম্ভাব্য সমস্যা হ'ল লেজগুলি ভারী / অনুরূপ / চেয়ে বেশি হওয়া উচিত বা একটি ভাল অনুমানের জন্য প্রয়োজনীয় বিশাল হতে পারে। আর এ নিম্নলিখিত খেলনা উদাহরণ দেখুন।f $g$$f$$N$

# Integrating a Student's t with 1 d.f. using a normal importance function   
x1 = rnorm(10000000)   # N=10,000,000
mean(dt(x1,df=1)/dnorm(x1))

# Now using a Student's t with 2 d.f. function
x2 = rt(1000,df=2)
mean(dt(x2,df=1)/dt(x2,df=2))

Comments

তারা কিছু দুর্দান্ত উদাহরণ। যে কারও আগ্রহী, চিত্রটির সাথে সম্পাদককে চিঠিটি এখানে: onLelelibrary.wiley.com/doi/10.1002/bimj.200800256/abstract

— সাইমন

খুব সুন্দর এবং পরিষ্কার সংক্ষিপ্তসার !! (+1)

— gui11aume

Answer 2

ড্যারেন উইলকিনসন তার ব্লগে র্যান্ডম ওয়াক মেট্রোপলিস-হেস্টিংসে সাধারণ ভুলের বিশদ উদাহরণ দিয়েছেন। আমি এটি সম্পূর্ণরূপে পড়ার পরামর্শ দিচ্ছি, তবে এখানে tl; dr সংস্করণ রয়েছে।

লক্ষ্য বিতরণ যদি এক মাত্রায় ইতিবাচক হয় (গামা বিতরণ ইত্যাদির মতো ), তবে সরাসরি মাত্রাটির নেতিবাচক মান রয়েছে এমন প্রস্তাবগুলি প্রত্যাখ্যান করার জন্য এটি লোভনীয়। ভুলটি হ'ল প্রস্তাবগুলি এমনভাবে ফেলে দেওয়া হয় যেগুলি কখনই ঘটে নি এবং কেবল অন্যগুলির মেট্রোপলিস-হেস্টিংস (এমএইচ) গ্রহণযোগ্যতা অনুপাতকে মূল্যায়ন করে। এটি একটি ভুল কারণ এটি একটি প্রতিসামহীন প্রস্তাবের ঘনত্ব ব্যবহারের পরিমাণ to

লেখক দুটি ফিক্সের মধ্যে একটি প্রয়োগ করার পরামর্শ দিয়েছেন।

1. ব্যর্থতা গ্রহণযোগ্যতা হিসাবে "নেতিবাচক" গণনা করুন (এবং কিছুটা দক্ষতা হারাবেন)।

2. সেই ক্ষেত্রে সঠিক এমএইচ অনুপাত ব্যবহার করুন, যা

$$\frac{\pi(x^*)}{\pi(x)} \frac{\Phi(x)}{\Phi(x^*)},$$

যেখানে লক্ষ্য ঘনত্ব এবং হ'ল কেটে যাওয়া র্যান্ডম ওয়াক প্রস্তাব , অর্থাৎ এর স্বাভাবিককরণ ধ্রুবক ।Φ ϕ Φ ( x ) = ∫ ∞ 0 ϕ ( y - x ) d $\pi$$\Phi$$\phi$ $\Phi(x) = \int_0^{\infty} \phi(y-x)dy$

Comments

+1 আকর্ষণীয় উদাহরণ। আমি গ্রহণযোগ্যতার হার সম্পর্কিত এমএইচ সহ অন্যান্য ইস্যুগুলির বিষয়েও ভাবছিলাম। আমি মনে করি 0.234 অনুকূল হার অতিরিক্ত ব্যবহার করা হয়েছে।

@ প্রিলিনেটর আপনি এমসিসিএম সাহিত্যের খুব ভাল জানেন। এটি কি আপনার দক্ষতার ডোমেন?

— gui11aume

আপনার মন্তব্যের জন্য ধন্যবাদ. আমি বায়েশিয়ান পরিসংখ্যান পছন্দ করি, তারপরে আমার এমসিএমসি ক্রস বহন করা দরকার;)।

Answer 3

একটি খুব স্পষ্ট কেস (প্রথম উত্তরে উল্লিখিত প্রান্তিক সম্ভাবনার সান্নিধ্যের সাথে সংযুক্ত) যেখানে সত্য সংযোগ হ'ল চিবের (1995) অনুমানক ব্যবহারের সাথে মিশ্রণ মডেলগুলিতে লেবেল স্যুইচিংয়ের সমস্যা । র‌্যাডফোর্ড নিল (১৯৯৯) দ্বারা নির্দেশিত অনুসারে , যদি এমসিসিএম চেইন সঠিকভাবে রূপান্তর না করে, এই অর্থে যে এটি লক্ষ্য বন্টনের কিছু মোড আবিষ্কার করে, চিবের মন্টি কার্লো আনুমানিক সঠিক সংখ্যাতে পৌঁছাতে ব্যর্থ হয়।