মার্কভ চেইন এবং মার্কভ চেইন মন্টি কার্লোর মধ্যে কী সংযোগ রয়েছে

Question

আমি এসএএস ব্যবহার করে মার্কভ চেইনগুলি বোঝার চেষ্টা করছি। আমি বুঝতে পেরেছি যে একটি মার্কভ প্রক্রিয়া এমন এক যেখানে ভবিষ্যতের অবস্থা কেবল বর্তমান রাষ্ট্রের উপর নির্ভর করে কেবল অতীতের রাষ্ট্রের উপর নয় এবং সেখানে একটি ট্রানজিশন ম্যাট্রিক্স রয়েছে যা একটি রাজ্য থেকে অন্য রাজ্যে রূপান্তর সম্ভাবনাটি ধারণ করে।

তবে আমি এই শব্দটি পেলাম: মার্কভ চেইন মন্টি কার্লো। আমি যা জানতে চাই তা হল যে যদি মার্কোভ চেইন মন্টি কার্লো কোনওভাবেই মার্কোভ প্রক্রিয়া সম্পর্কিত যা আমি উপরে বর্ণনা করেছি?

Answer 1

ঠিক আছে, হ্যাঁ, দু'টি শর্তের মধ্যে একটি সম্পর্ক রয়েছে কারণ এমসিসিএম থেকে প্রাপ্ত একটি মার্কভ চেইন গঠন করে। গেলম্যান, বায়সিয়ান ডেটা অ্যানালাইসিস (তৃতীয় সংস্করণ) থেকে, পি। 265:

মার্কভ চেইন সিমুলেশন (নামেও মার্কভ চেইন মন্টে কার্লো বা এমসিএমসি) একটি সাধারণ পদ্ধতি মান অঙ্কন ভিত্তিতে উপযুক্ত ডিস্ট্রিবিউশন থেকে এবং তারপর সংশোধন ঐ ভাল লক্ষ্য অবর বন্টন, আনুমানিক থেকে স্বপক্ষে পি ( θ | Y ) । নমুনাটি ক্রমানুসারে সম্পন্ন হয়, টানা শেষ মানটির উপর নির্ভর করে নমুনাযুক্ত অঙ্কনের বিতরণ সহ; সুতরাং, আঁকাগুলি একটি মার্কভ চেইন গঠন করে।$\theta$$p(\theta|y)$

Comments

উম্মু ঠিক আছে, তবে কেন আমাকে এলোমেলো নমুনাগুলি চিহ্নিত করতে একটি মার্কভ প্রক্রিয়া তৈরি করতে হবে, অন্যান্য অনেক ধরণের প্রক্রিয়া যেমন নরমাল, বার্নোল্লি, ক্যাসিয়োন ইত্যাদি রয়েছে

— ভিক্টর

@ ভিক্টর আমি মনে করি আপনি এমসিসিসির ব্যবহারের দৃষ্টিভঙ্গি হারিয়ে ফেলেছেন । উত্তরোত্তর বিতরণের কোনও বিশ্লেষণাত্মক রূপ না থাকলে আমরা বায়সিয়ান পরিসংখ্যানগুলিতে এমসিএমসি ব্যবহার করি।

— সাইকোরাক্স বলছেন মনিকা

+1 বায়েশিয়ান পরিসংখ্যান সম্ভবত এমসিএমসির সর্বাধিক সুস্পষ্ট প্রয়োগ (যেখানে লক্ষ্য বিতরণ একটি যৌথ উত্তোলন) তবে একমাত্র সম্ভাব্য নয় not

— গ্লেন_বি -রিনস্টেট মনিকা

Answer 2

উভয় ধারণার মধ্যে সংযোগ করে মার্কভ চেইন মন্টে কার্লো (ওরফে এমসিএমসি) পদ্ধতি মার্কভ চেইন তত্ত্ব উপর নির্ভর একটি জটিল লক্ষ্য বন্টন থেকে সিমিউলেশন এবং মন্টে কার্লো অনুমান উত্পাদন করতে ।$\pi$

অনুশীলনে, এই সিমুলেশন পদ্ধতিগুলি একটি ক্রম একটি মার্কভ চেইন হিসাবে আউটপুট দেয় , যেমন, এক্স i এর বিতরণ পুরো অতীতকে দিয়েছে { এক্স i - 1 , … , এক্স 1 } কেবলমাত্র এক্স এর উপর নির্ভর করে i - 1 । অন্য কথায়, এক্স i = f ( এক্স i - 1 , ϵ i ) যেখানে $X_1,\ldots,X_N$$X_i$$\{X_{i-1},\ldots,X_1\}$$X_{i-1}$

$$X_i=f(X_{i-1},\epsilon_i)$$ $f$আলগোরিদিম দ্বারা নির্দিষ্ট একটি ফাংশন এবং লক্ষ্য বিতরণ এবং ϵ i এর iid হয়। (Ergodic) তত্ত্ব গ্যারান্টী যে এক্স আমি এগোয় (বিতরণে) এর পাইয়ের মান যেমন আমি পায় $\pi$$\epsilon_i$$X_i$$\pi$$i$$\infty$ ।

এমসিসিএম অ্যালগরিদমের সবচেয়ে সহজ উদাহরণটি হ'ল স্লাইস স্যাম্পলার : এই অ্যালগরিদমের পুনরাবৃত্তির সময়, কর

1. সিমুলেট করুন $\epsilon^1_i\sim\mathrm{U}(0,1)$
2. $X_{i}\sim\mathrm{U}(\{x;\pi(x)\ge\epsilon^1_i\pi(X_{i-1})\})$$\epsilon^2_i$

$\mathrm{N}(0,1)$

1. সিমুলেট করুন ϵ 1 i ∼ U ( 0 , 1 $\epsilon^1_i\sim\mathrm{U}(0,1)$
2. $X_{i}\sim\mathrm{U}(\{x;x^2\le-2\log(\sqrt{2\pi}\epsilon^1_i\})$, i.e., $X_i=\pm \epsilon_i^2\{-2\log(\sqrt{2\pi}\epsilon^1_i)\varphi(X_{i-1})\}^{1/2}$ with $\epsilon_i^2\sim\mathrm{U}(0,1)$

or in R

T=1e4
x=y=runif(T) #random initial value
for (t in 2:T){
  epsilon=runif(2)#uniform white noise 
  y[t]=epsilon[1]*dnorm(x[t-1])#vertical move       
  x[t]=sample(c(-1,1),1)*epsilon[2]*sqrt(-2*#Markov move from
        log(sqrt(2*pi)*y[t]))}#x[t-1] to x[t]

Here is a representation of the output, showing the right fit to the $\mathrm{N}(0,1)$ target and the evolution of the Markov chain $(X_i)$.

And here is a zoom on the evolution of the Markov chain $(X_i,\epsilon^1_i\pi(X_i))$ over the last 100 iterations, obtained by

curve(dnorm,-3,3,lwd=2,col="sienna",ylab="")
for (t in (T-100):T){
lines(rep(x[t-1],2),c(y[t-1],y[t]),col="steelblue");
lines(x[(t-1):t],rep(y[t],2),col="steelblue")}

that follows vertical and horizontal moves of the Markov chain under the target density curve.