এমসিএমসি এবং মেট্রোপলিস-হেস্টিংস অ্যালগরিদম বোঝা

Question

মার্কোভ চেইন মন্টি কার্লো (এমসিএমসি) কীভাবে কাজ করে তা আমি গত কয়েক দিন ধরে বোঝার চেষ্টা করছি। বিশেষত আমি মেট্রোপলিস-হেস্টিংস অ্যালগরিদম বোঝার এবং প্রয়োগ করার চেষ্টা করে যাচ্ছি। এখনও অবধি আমি মনে করি আমার কাছে অ্যালগরিদম সম্পর্কে সামগ্রিক ধারণা আছে তবে বেশ কয়েকটি জিনিস রয়েছে যা আমার কাছে এখনও পরিষ্কার নয়। আমি ডেটাতে কিছু মডেল ফিট করতে এমসিএমসি ব্যবহার করতে চাই। এই কারণে আমি ঝুলানো একটি সরল রেখা জন্য মেট্রোপলিস-হেস্টিংস আলগোরিদিম আমার বোঝার বর্ণনা করবে কিছু পর্যবেক্ষিত ডেটাতে :$f(x)=ax$$D$

1) জন্য ইনিশিয়াল অনুমান করে $a$ । এই সেট $a$ আমাদের বর্তমান যেমন $a$ ( $a_0$ )। মার্কভ চেইন ( সি ) এর শেষে একটি যুক্ত করুন ।$a$$C$

2) কয়েক বার ধাপে পুনরাবৃত্তি করুন।

3) a_0 এবং D প্রদত্ত বর্তমান সম্ভাবনা ( \ \ সিএল L_0 _0 ) মূল্যায়ন করুন ।${\cal L_0}$$a_0$$D$

4) একটি নতুন প্রস্তাব $a$ ( $a_1$ সঙ্গে একটি স্বাভাবিক বন্টন থেকে স্যাম্পলিং দ্বারা) $\mu=a_0$ এবং $\sigma=stepsize$ । আপাতত, $stepsize$ ধ্রুবক।

5) নতুন সম্ভাবনা (মূল্যনির্ধারণ ${\cal L_1}$ ) দেওয়া $a_1$ এবং $D$ ।

6) যদি ${\cal L_1}$ চেয়ে বড় ${\cal L_0}$ গ্রহণ $a_1$ নতুন $a_0$ শেষে পরিশেষে যোগ এটা $C$ এবং ধাপে 2 এ যান।

)) যদি ${\cal L_1}$ than এর চেয়ে ছোট হয় তবে ইউনিফর্ম বিতরণ থেকে [0,1] ${\cal L_0}$ একটি সংখ্যা ( $U$ ) তৈরি করে

8) যদি দুটি সম্ভাবনার ( {\ ক্যাল L_1} - {\ ক্যাল L_0} ) পার্থক্যটির তুলনায় $U$ ছোট হয় , a_1 কে নতুন a_0 হিসাবে স্বীকার করুন, সি এর শেষে যুক্ত করুন এবং দ্বিতীয় ধাপে যান।${\cal L_1}$${\cal L_0}$$a_1$$a_0$$C$

9) যদি দুই likelihoods মধ্যে পার্থক্য চেয়ে বড় ( - ), পরিশেষে যোগ শেষে , একই ব্যবহার করা চালিয়ে , ধাপ 2 এ যান।$U$${\cal L_1}$${\cal L_0}$$a_0$$C$$a_0$

10) পুনরাবৃত্তির সমাপ্তি।

১১) (বার্ন-ইন ফেজ) থেকে কিছু উপাদান সরান ।$C$

12) এখন এর মানগুলির গড় নিন । এই গড়টি অনুমান করা হয় ।$C$$a$

উপরের পদক্ষেপগুলি সম্পর্কে এখন আমার কিছু প্রশ্ন রয়েছে:

• আমি কীভাবে জন্য সম্ভাব্যতা ফাংশনটি তৈরি করতে পারি তবে যেকোন স্বেচ্ছাসেবী কাজের জন্য?$f(x)=ax$
• এটি কি মেট্রোপলিস-হেস্টিংস অ্যালগরিদমের সঠিক বাস্তবায়ন?
• Step ধাপে এলোমেলো সংখ্যা জেনারেশন পদ্ধতি নির্বাচন কীভাবে ফলাফল পরিবর্তন করতে পারে?
• আমার একাধিক মডেল পরামিতি থাকলে কীভাবে এই অ্যালগরিদম পরিবর্তন হতে চলেছে? উদাহরণস্বরূপ, যদি আমার কাছে মডেল থাকে ।$f(x)=ax+b$

নোটস / ক্রেডিট: উপরে বর্ণিত অ্যালগরিদমের মূল কাঠামোটি এমপিআইএ পাইথন ওয়ার্কশপের কোডের উপর ভিত্তি করে।

Answer 1

অ্যালগরিদমের বিবরণে মেট্রোপলিস-হেস্টিংস (এমএইচ) অ্যালগরিদম কী তা সম্পর্কে কিছু ভুল ধারণা রয়েছে বলে মনে হয়।

সবার আগে, আপনার বুঝতে হবে যে এমএইচ একটি নমুনা অ্যালগরিদম। যেমন উইকিপিডিয়াতে বলা হয়েছে

পরিসংখ্যান এবং পরিসংখ্যান পদার্থবিজ্ঞানে মেট্রোপলিস ast হেস্টিংস অ্যালগরিদম হ'ল একটি মার্কোভ চেইন মন্টি কার্লো (এমসিএমসি) পদ্ধতি যা সম্ভাব্যতা বন্টন থেকে এলোমেলো নমুনার সিকোয়েন্স পাওয়ার জন্য যার জন্য সরাসরি নমুনা দেওয়া কঠিন।

এমএইচ অ্যালগরিদম বাস্তবায়নের জন্য আপনার প্রস্তাবের ঘনত্ব বা জাম্পিং ডিস্ট্রিবিউশন , যা থেকে এটি নমুনা দেওয়া সহজ। যদি আপনি ডিস্ট্রিবিউশন থেকে নমুনা নিতে চান তবে এমএইচ অ্যালগরিদমটি নিম্নলিখিত হিসাবে প্রয়োগ করা যেতে পারে:$Q(\cdot\vert\cdot)$$f(\cdot)$

1. একটি প্রাথমিক এলোমেলো অবস্থা বেছে নিন ।$x_0$
2. থেকে a প্রার্থী তৈরি করুন ।$x^{\star}$$Q(\cdot\vert x_0)$
3. Ratio অনুপাত গণনা করুন ।$\alpha=f(x^{\star})/f(x_0)$
4. সম্ভাব্যতা সহ উপলব্ধি হিসাবে Ac গ্রহণ করুন ।$x^{\star}$$f$$\alpha$
5. the কে নতুন প্রাথমিক অবস্থা হিসাবে নিন এবং আপনি পছন্দসই নমুনার আকার না পাওয়া পর্যন্ত নমুনা চালিয়ে যান।$x^{\star}$

নমুনাটি একবার পাওয়ার পরেও আপনি এটি জ্বলতে এবং এটি পাতলা করতে হবে: নমুনাটি asyptotically কাজ করে, আপনাকে প্রথম নমুনাগুলি (বার্ন-ইন) সরিয়ে ফেলতে হবে এবং প্রদত্ত যে নমুনাগুলি নির্ভরশীল আপনাকে প্রতিটি পুনরাবৃত্তিকে সাবমেল করতে হবে (তরলীকরণ)।$N$$k$

আর এর একটি উদাহরণ নীচের লিঙ্কে পাওয়া যাবে:

http://www.mas.ncl.ac.uk/~ndjw1/teaching/sim/metrop/metrop.html

মডেল প্যারামিটারগুলির উত্তরোত্তর বিতরণ থেকে নমুনা দেওয়ার জন্য এই পদ্ধতিটি মূলত বায়েশিয়ান পরিসংখ্যানগুলিতে নিযুক্ত করা হয়।

আপনি যে উদাহরণটি ব্যবহার করছেন তা আমার কাছে অস্পষ্ট বলে মনে হচ্ছে যে একটি ঘনত্ব নয় যদি আপনি সীমাবদ্ধ সেটটিতে সীমাবদ্ধ না করেন । আমার ধারণাটি হ'ল আপনি পয়েন্টের একটি সেটটিতে একটি সরল রেখায় ফিট করার বিষয়ে আগ্রহী যার জন্য আমি আপনাকে রৈখিক প্রতিরোধের প্রসঙ্গে মেট্রোপলিস-হেস্টিংস অ্যালগরিদমের ব্যবহার পরীক্ষা করার জন্য সুপারিশ করব। নীচের লিঙ্কটি এই প্রসঙ্গে এমএইচ কীভাবে ব্যবহার করা যেতে পারে সে সম্পর্কে কিছু ধারণা উপস্থাপন করে (উদাহরণ 6.8):$f(x)=ax$$x$

রবার্ট এবং কেসেলা (২০১০), আর , সিএইচ সহ মন্টি কার্লো পদ্ধতিগুলি উপস্থাপন করছেন । 6, "মহানগর ast হেস্টিংস অ্যালগরিদম"

এই সাইটে সম্ভাব্যতার ফাংশনটির অর্থ সম্পর্কে আলোচনা করে আকর্ষণীয় উল্লেখগুলির সাথে পয়েন্টার সহ অনেকগুলি প্রশ্নও রয়েছে।

সম্ভাব্য আগ্রহের আর একটি পয়েন্টার হ'ল আর প্যাকেজ mcmc, যা কমান্ডের গাউসিয়ান প্রস্তাবগুলির সাথে এমএইচ অ্যালগরিদম প্রয়োগ করে metrop()।

Comments

হাই আমার বন্ধু। হ্যাঁ, আমি লিনিয়ার রিগ্রেশন প্রসঙ্গে এমএইচ সন্ধান করছি। আপনি আমাকে যে ইউআরএল দিয়েছেন তা সমস্ত সুন্দরভাবে ব্যাখ্যা করে। ধন্যবাদ. আমি যদি এমএইচ সম্পর্কিত আরও কিছু প্রশ্ন নিয়ে আসে তবে আমি আবার একটি প্রশ্ন পোস্ট করব। আবার ধন্যবাদ.

— অ্যাস্ট্রোনে