এমসিসিএম চেইনে দ্রুত মিশ্রণের বিষয়ে আমাদের কেন যত্ন করা উচিত?

Question

মার্কোভ চেইন মন্টি কার্লো দিয়ে অনুমান আঁকতে কাজ করার সময় আমাদের একটি শৃঙ্খলা প্রয়োজন যা দ্রুত মিশে যায়, অর্থাত্ উত্তরোত্তর বিতরণের সমর্থনটি দ্রুত সঞ্চালিত হয়। তবে কেন আমাদের এই সম্পত্তিটির প্রয়োজন তা আমি বুঝতে পারি না, কারণ যা আমি বুঝতে পেরেছি তা গ্রহণযোগ্য ক্যান্ডিয়েট আঁকতে হবে এবং উত্তরোত্তর বিতরণের উচ্চ ঘনত্বের অংশে কেন্দ্রীভূত হবে। আমি যা বুঝতে পেরেছি তা যদি সত্য হয় তবে আমরা কী এখনও চেইনটি সমর্থনটির (যাতে কম ঘনত্বের অংশটি অন্তর্ভুক্ত করে) মাধ্যমে চলতে চাই?

তদ্ব্যতীত, আমি যদি অপ্টিমাইজেশন করতে এমসিসিএম ব্যবহার করি তবে আমার কি এখনও দ্রুত মিশ্রণ সম্পর্কে যত্ন নেওয়া দরকার এবং কেন?

আপনার চিন্তা ভাগ করে নেওয়ার জন্য আপনাকে ধন্যবাদ!

Comments

এটি এমসিএমসি সাহিত্যে জানা যায় যে যখন কোনও মার্কোভ চেইন জ্যামিতিকভাবে অহংকারযুক্ত হয়, তখন এটি দ্রুত আলফা-মিশ্রণ ক্ষয় হয়। আমি অস্পষ্ট যে কীভাবে এক্স_ {n rapidly লক্ষ্য বিতরণে দ্রুত রূপান্তর করতে পারে এবং তবুও ক্রমাগত নমুনাগুলির মধ্যে উচ্চ সম্পর্ক স্থাপন করে। কোন সহজ উদাহরণ আছে? কোন ইনপুট জন্য ধন্যবাদ!

Answer 1

আদর্শ মন্টি কার্লো অ্যালগরিদম স্বাধীন ক্রমাগত এলোমেলো মান ব্যবহার করে । এমসিএমসিতে, ক্রমান্বিত মানগুলি স্বতন্ত্র নয়, যা পদ্ধতিটি আদর্শ মন্টি কার্লোয়ের চেয়ে ধীরে ধীরে ধীরে ধীরে পরিণত হয়; তবে এটি যত দ্রুত মিশে যায়, ধারাবাহিক পুনরাবৃত্তিতে দ্রুত নির্ভরতা হ্রাস পায় এবং তত দ্রুত তা রূপান্তরিত হয়।

¹ আমি এখানে বলতে চাচ্ছি যে ধারাবাহিক মান দ্রুত প্রাথমিক অবস্থায় এর "প্রায় স্বাধীন", অথবা বরং যে মান দেওয়া হয় এক পর্যায়ে, মান এর দ্রুত হয়ে "প্রায় স্বাধীন" যেমন বৃদ্ধি হয়; সুতরাং, যেমন কিখালি মন্তব্যে বলেছেন, "শৃঙ্খলা রাষ্ট্রের একটি নির্দিষ্ট অঞ্চলে আটকে থাকবে না"।এক্স ń + কে এক্স এন$X_n$$X_{ń+k}$$X_n$$k$

সম্পাদনা: আমি মনে করি নিম্নলিখিত উদাহরণগুলি সাহায্য করতে পারে

ভাবুন আপনি এমসিসিএম দ্বারা on এ অভিন্ন বিতরণের গড় অনুমান করতে চান । আপনি আদেশ ক্রম দিয়ে শুরু ; প্রতিটি পদক্ষেপে, আপনি ক্রমানুসারে উপাদান বেছে নিয়ে এলোমেলোভাবে এগুলি পরিবর্তন করেছেন। প্রতিটি পদক্ষেপে, অবস্থান 1 এ উপাদানটি রেকর্ড করা হয়; এটি অভিন্ন বিতরণে রূপান্তরিত হয়। মান নিয়ন্ত্রণ মিশ ক্ষিপ্রতা যখন , এটি ধীর হয়; যখন , ক্রমিক উপাদানগুলি স্বাধীন হয় এবং মিশ্রণটি দ্রুত হয় is( 1 , … , এন ) কে > 2 কে কে = 2 কে = $\{1, \dots, n\}$$(1, \dots, n)$$k>2$$k$$k=2$$k=n$

এই এমসিসিএম অ্যালগরিদমের জন্য এখানে একটি আর ফাংশন রয়েছে:

mcmc <- function(n, k = 2, N = 5000)
{
  x <- 1:n;
  res <- numeric(N)
  for(i in 1:N)
  {
    swap <- sample(1:n, k)
    x[swap] <- sample(x[swap],k);
    res[i] <- x[1];
  }
  return(res);
}

আসুন এটি এর জন্য প্রয়োগ করুন এবং এমসিসিএমসি পুনরাবৃত্তির সাথে গড় এর অনুক্রমিক অনুমানের প্লট করুন :μ = $n = 99$$\mu = 50$

n <- 99; mu <- sum(1:n)/n;

mcmc(n) -> r1
plot(cumsum(r1)/1:length(r1), type="l", ylim=c(0,n), ylab="mean")
abline(mu,0,lty=2)

mcmc(n,round(n/2)) -> r2
lines(1:length(r2), cumsum(r2)/1:length(r2), col="blue")

mcmc(n,n) -> r3
lines(1:length(r3), cumsum(r3)/1:length(r3), col="red")

legend("topleft", c("k = 2", paste("k =",round(n/2)), paste("k =",n)), col=c("black","blue","red"), lwd=1)

আপনি এখানে দেখতে পারেন যে (কালো রঙের) জন্য, রূপান্তরটি ধীর গতিতে; জন্য (নীল), এটি দ্রুত, কিন্তু এখনও সঙ্গে তুলনায় ধীর (লাল)।কে = 50 কে = $k=2$$k=50$$k=99$

আপনি নির্ধারিত সংখ্যার পুনঃনির্মাণের পরে আনুমানিক গড় বিতরণের জন্য একটি হিস্টোগ্রাম প্লট করতে পারেন, যেমন 100 পুনরাবৃত্তি:

K <- 5000;
M1 <- numeric(K)
M2 <- numeric(K)
M3 <- numeric(K)
for(i in 1:K)
{
  M1[i] <- mean(mcmc(n,2,100));
  M2[i] <- mean(mcmc(n,round(n/2),100));
  M3[i] <- mean(mcmc(n,n,100));
}

dev.new()
par(mfrow=c(3,1))
hist(M1, xlim=c(0,n), freq=FALSE)
hist(M2, xlim=c(0,n), freq=FALSE)
hist(M3, xlim=c(0,n), freq=FALSE)

আপনি দেখতে পাচ্ছেন যে (এম 1) দিয়ে, 100 পুনরাবৃত্তির পরে প্রাথমিক মানের প্রভাব কেবল আপনাকে একটি ভয়ানক ফলাফল দেয়। সঙ্গে এটা ঠিক সঙ্গে তুলনায় এখনও বৃহত্তর স্ট্যানডার্ড ডেভিয়েশন সঙ্গে মনে হয় । এখানে উপায় এবং এসডি:কে = 50 কে = $k=2$$k=50$$k=99$

> mean(M1)
[1] 19.046
> mean(M2)
[1] 49.51611
> mean(M3)
[1] 50.09301
> sd(M2)
[1] 5.013053
> sd(M3)
[1] 2.829185

Comments

আমার মনে হয় না যে "এটি যত দ্রুত মিশে যায়, ধারাবাহিক পুনরাবৃত্তিতে দ্রুত নির্ভরতা ক্ষয় হয়" ঠিক আছে। ক্রমাগত পুনরাবৃত্তি সর্বদা মহানগর-হেস্টিংস অ্যালগরিদম ব্যবহার করে নির্ভরশীল হবে। আপনার নমুনাগুলি কত দ্রুত লক্ষ্য বন্টনকে রূপান্তরিত করে তা নির্ভর করে, মিশ্রণের ক্ষেত্রে নির্ভরযোগ্য পুনরাবৃত্তিগুলি কতটা নির্ভরযোগ্য নয়।

— ম্যাক্রো

এটি একই রকম: যদি এটি লক্ষ্য বন্টনকে দ্রুত রূপান্তরিত করে, প্রাথমিক রাষ্ট্রের নির্ভরতা দ্রুত ক্ষয় হয় ... অবশ্যই শৃঙ্খলের যে কোনও বিন্দুতে এটি একই হবে (যা প্রাথমিক অবস্থা হিসাবে বেছে নেওয়া যেতে পারে)। আমি মনে করি উপরোক্ত উদাহরণের চূড়ান্ত অংশটি এই দিকটির জন্য আলোকিত।

— এলভিস

হ্যাঁ, প্রাথমিক অবস্থার ক্ষয় থেকে নির্ভরতা ক্রমাগত পুনরাবৃত্তির মধ্যে নির্ভরতা নয়।

— ম্যাক্রো

আমি "ধারাবাহিক পুনরাবৃত্তিতে" লিখেছি, "এর মধ্যে" নয়। আমি সত্যই "বরাবর" বোঝাতে চাইছি ... এটি অস্পষ্ট, আমি সংশোধন করব।

— এলভিস

আমি মনে করি দ্রুত মিশ্রণের অর্থ কী আমি তা বুঝতে পেরেছি। এটি নয় যে চেইন লক্ষ্য বিতরণের সমর্থনের প্রতিটি অংশে চলে যায়। বরং, এটি সমর্থনটির নির্দিষ্ট অংশে আটকে থাকা চেইন সম্পর্কে আরও বেশি।

— কিখলি

Answer 2

উভয় আগের উত্তরের সম্পূর্ণতে, মিক্সিং শুধুমাত্র এক এমসিএমসি অভিসৃতি দৃষ্টিভঙ্গি। এটি সত্যই মার্কভ চেইনের প্রাথমিক মূল্য বা বিতরণ ভুলে যাওয়ার গতির সাথে সরাসরি যুক্ত । উদাহরণস্বরূপ, মিক্সিংয়ের গাণিতিক ধারণাটি পরিমাপের দ্বারা সংজ্ঞায়িত করা হয়$(X_n)$$\alpha$

( এক্স এন )

$$\alpha(n) = \sup_{A,B} \left\{\,|P(X_0\in A,X_n\in\cap B) - P(X_0\in A)P(X_n\in B)\right\}\,, n\in \mathbb{N}\,,$$ যার রূপান্তর গতি শূন্যের সাথে মিশ্রণের বৈশিষ্ট্য। যাইহোক, এই পরিমাপটি সরাসরি গতির সাথে সম্পর্কিত নয় লক্ষ্য বন্টন রূপান্তর করে । কেউ লক্ষ্যতে খুব দ্রুত একত্রিত হতে পারে এবং এখনও চেইনের উপাদানগুলির মধ্যে উচ্চ সম্পর্ক রাখতে পারে corre$(X_n)$$\pi$

, মধ্যে স্বাধীনতা কিছু সেটিংসে কেবলমাত্র প্রাসঙ্গিক। ইন্টিগ্রেশন লক্ষ্য যখন, নেতিবাচক পারস্পরিক সম্পর্ক (ওরফে অ্যান্টিথ্যাটিক সিমুলেশন ) স্বাধীনতার চেয়ে সেরা।$X_n$

আপনার নির্দিষ্ট মন্তব্য সম্পর্কে যে

... গৃহীত প্রার্থীর উত্তরোত্তর বিতরণের উচ্চ ঘনত্বের অংশে মনোনিবেশ করা উচিত এবং করা উচিত। আমি যা বুঝতে পেরেছি তা যদি সত্য হয় তবে আমরা কী এখনও চেইনটি সমর্থনটির (যাতে কম ঘনত্বের অংশটি অন্তর্ভুক্ত করে) মাধ্যমে চলতে চাই?

এমসিএমসি চেইন তার উচ্চতার (তার স্থায়ী শাসনব্যবস্থায়) সঠিক অনুপাতে লক্ষ্যটি আবিষ্কার করে তাই প্রকৃতপক্ষে উচ্চ ঘনত্ব অঞ্চলে (গুলি) বেশি সময় ব্যয় করে। যখন লক্ষ্যটি কম ঘনত্ব অঞ্চলে পৃথক পৃথকভাবে কয়েকটি উচ্চ ঘনত্বের উপাদান থাকে তখন চেনটি নিম্ন ঘনত্ব অঞ্চলগুলি অতিক্রম করতে হবে relevant (এটিকে মাল্টিমোডাল সেটিংও বলা হয়)) ধীর মিশ্রণ চেইনকে এই জাতীয় নিম্ন ঘনত্বের অঞ্চলগুলি অতিক্রম করতে বাধা দিতে পারে। একমাত্র অঞ্চল চেইনটি কখনই পরিদর্শন করা উচিত নয় এমন অঞ্চলগুলি লক্ষ্য বন্টনের আওতায় শূন্য সম্ভাবনা রয়েছে।$(X_n)$

Comments

+1 এন্টিথ্যাটিক সিমুলেশন সম্পর্কে মন্তব্য করার জন্য অনেক ধন্যবাদ, এটি দুর্দান্ত

— এলভিস

@ শি'আন (+১): এটি ( -) মিশ্রণের প্রথম স্পষ্ট সংজ্ঞা যা আমি পেয়েছি, দুটি প্রশ্ন (1) অন্যান্য ধরণের মিশ্রণের অন্যান্য ধরণের রয়েছে মিক্সিং এবং (২) কোন ব্যবহারিকভাবে রয়েছে? ব্যবহারযোগ্য ব্যবস্থা কারণ আমি দেখতে পাচ্ছি না যে আমি কীভাবে এই শৃঙ্খলা মিশ্রণের সংজ্ঞা দিতে পারি su এরপরে আমি দেখতে পাচ্ছি যে রূপান্তরকরণের জন্য যথেষ্ট নয়, সেখানে কি একীকরণের ব্যবস্থা রয়েছে? α - α → $\alpha$$\alpha-$$\alpha \to 0$

বিভিন্ন ধরণের মিশ্রণ রয়েছে যেমন -mixing এবং মিক্সিং। এমসিএমসির সাথে সম্পর্কযুক্ত, এবং উইকিপিডিয়া থেকে উদ্ধৃতি দিয়ে, একটি কঠোরভাবে স্থির মার্কোভ প্রক্রিয়াটি যদি মিশ্রিত হয় তবে কেবলমাত্র এটি যদি এপিওরিওডিক পুনরাবৃত্ত হ্যারিস চেইন হয়। $\rho$$\beta$

— শি'য়ান

Answer 3

দ্রুত মিশ্রণ শৃঙ্খলার জন্য আকাঙ্ক্ষাকে প্রেরণা দেয় এমন হ'ল আপনি গণনার সময় সম্পর্কে যত্নশীল এবং আপনি উত্তরোত্তর থেকে কোনও প্রতিনিধি নমুনা চান। প্রাক্তন সমস্যাটির জটিলতার উপর নির্ভর করবে: আপনার যদি একটি ছোট / সাধারণ সমস্যা থাকে তবে আপনার অ্যালগোরিদম দক্ষ কিনা তা খুব বেশি গুরুত্ব পাবে না। যদি আপনি পরবর্তী অনিশ্চয়তার বিষয়ে আগ্রহী হন বা উচ্চ নির্ভুলতার সাথে উত্তরোত্তরটি জানতে আগ্রহী হন তবে পরবর্তীটি খুব গুরুত্বপূর্ণ। তবে, যদি আপনি পূর্ববর্তীটির কোনও প্রতিনিধি নমুনা রাখার বিষয়ে চিন্তা না করেন কারণ আপনি কেবলমাত্র আনুমানিক অপ্টিমাইজেশন করতে এমসিসিএম ব্যবহার করছেন, এটি আপনার পক্ষে খুব গুরুত্বপূর্ণ হবে না।