এমসিএমসি / ইএম সীমাবদ্ধতা? এমসির উপর এমএমএমসি?

Question

আমি বর্তমানে আরএর থেকে জেএজিএস ব্যবহার করে বায়বীয় মডেলগুলির হাইয়ারার্কিকাল মডেলগুলি এবং পাইথন ( "হ্যাকারদের জন্য বয়েসিয়ান পদ্ধতি" ) ব্যবহার করে পিমক শিখছি ।

আমি এই পোস্টটি থেকে কিছুটা স্বজ্ঞাততা পেতে পারি : "আপনি সংখ্যার একটি গাদা দিয়ে শেষ করবেন যা দেখে মনে হচ্ছে" যেন "আপনি যে জটিল বিতরণ সম্পর্কে জানতে চান তা থেকে কোনওভাবে স্বাধীন নমুনা নিতে পেরেছেন managed" এটি শর্তযুক্ত সম্ভাবনা দিতে পারার মতো কিছু, তবে শর্তাধীন সম্ভাবনার উপর ভিত্তি করে আমি একটি স্মরণবিহীন প্রক্রিয়া তৈরি করতে পারি। আমি যখন প্রক্রিয়াটি দীর্ঘ সময় উত্পন্ন করি, তখন যৌথ সম্ভাবনাটি রূপান্তর করতে পারে এবং তারপরে আমি উত্পন্ন ক্রমের শেষে সংখ্যার একটি গাদা নিতে পারি। আমি জটিল যৌথ বন্টন থেকে স্বাধীন নমুনা নেওয়ার মতোই এটি। উদাহরণস্বরূপ, আমি হিস্টগ্রাম তৈরি করতে পারি এবং এটি বিতরণ কার্যটি আনুমানিক করতে পারে।

তারপরে আমার সমস্যাটি হ'ল, কোনও এমসিএমসি নির্দিষ্ট মডেলের জন্য রূপান্তর করে কিনা তা কি আমাকে প্রমাণ করার দরকার আছে? আমি এটি জানতে অনুপ্রাণিত কারণ আমি এর আগে জিএমএম এবং এলডিএর জন্য ইএম অ্যালগরিদম শিখেছি (গ্রাফিকাল মডেল)। যদি আমি এটি রূপান্তর করে কিনা তা প্রমাণ না করে কেবল এমসিএমসি অ্যালগরিদম ব্যবহার করতে পারি তবে এটি EM এর চেয়ে অনেক বেশি সময় সাশ্রয় করতে পারে। যেহেতু আমাকে প্রত্যাশিত লগ সম্ভাবনা ফাংশন গণনা করতে হবে (উত্তরোত্তর সম্ভাবনা গণনা করতে হবে), এবং তারপরে প্রত্যাশিত লগ সম্ভাবনা সর্বাধিক বৃদ্ধি করতে হবে। এটি এমসিসিএমির চেয়ে স্পষ্টতই আরও জটিল (আমার কেবল শর্তসাপেক্ষ সম্ভাবনা তৈরি করা দরকার)।

আমিও ভাবছি যে সম্ভাবনা ফাংশন এবং পূর্ব বিতরণ যৌথভাবে হয়। এর অর্থ কি এমসিসিমিকে অবশ্যই রূপান্তর করতে হবে? আমি এমসিএমসি এবং ইএম এর সীমাবদ্ধতা সম্পর্কে ভাবছি।

Comments

MCMC সংজ্ঞা অনুসারে হিসাবে রূপান্তর করে। বরং তারপর এটি প্রতিপাদন আপনি নির্ণয় চেক করতে অভিসৃতি যদি আপনার মডেল যেমন converged করেছে math.pku.edu.cn/teachers/xirb/Courses/QR2013/ReadingForFinal/... বা people.fas.harvard.edu/~plam/teaching/methods / রূপান্তর /…$n \rightarrow \infty$

— টিম

ই.এম., দ্রুততর এটি নন-Bayesian (সকলেই Bayesian পরিসংখ্যান ভালবাসে) এবং কিছু কিছু ক্ষেত্রে এটি কম identifiability বিষয় (এটা একটি একক-র দিকে এগোয় রয়েছে সর্বাধিক মান যখন এমসিএমসি পদ্ধতির সঙ্গে আপনি একটি সম্পূর্ণ বন্টন যে আরো তারপর জটিল হতে পারে বিন্দু অনুমান আছে ) ইত্যাদি

— টিম

EM সর্বাধিক সম্ভাবনা বা সর্বাধিক পোস্টেরিয়েরি অনুমানের জন্য ব্যবহৃত হয় তবে প্রাথমিকভাবে এটি এমএল অ্যালগরিদম হিসাবে বর্ণনা করা হয়েছিল এবং সাধারণত এমএল পদ্ধতির ক্ষেত্রে ব্যবহৃত হয় (দেখুন en.wikedia.org/wiki/… )।

— টিম

এমনকি আপনি এমএল-এর পরিবর্তে এমএপি অনুমানের জন্য ইএম ব্যবহার করলেও এটি আমার পক্ষে বেইসিয়ান নয় কারণ এটি উত্তরোত্তর বিতরণকে বৈশিষ্ট্যযুক্ত করার চেষ্টা করে তবে কেবল এটির স্থানীয় মোড আপনাকে পেয়ে যায়।

— লুকা

আমার জন্য ইএম ব্যবহার করা বে-বেইশিয়ান কারণ এটি আপনাকে আপনার আগ্রহের পরামিতিগুলির একটি বিন্দু অনুমান দেয় এবং পুরো উত্তরোত্তর বিতরণকে মাপ দেয় না। ইএম এবং এমসিএমসি উভয়ের সাথেই একজন প্রিয়ার, সুপ্ত এবং পর্যবেক্ষণ করা এলোমেলো ভেরিয়েবলগুলির সাথে একটি সম্পূর্ণ সম্ভাব্য মডেল থাকতে পারে তবে অনুমানটি ভিন্ন। এমসিএমসির লক্ষ্য ছিল পুরো উত্তরোত্তর বিতরণকে চিহ্নিত করা হবে যখন ইএম দেয় পুরো উত্তরোত্তর বিতরণের তথ্য সরবরাহ করে না। আমার কাছে একজন বায়েসিয়ান এমন কেউ যিনি সিদ্ধান্ত গ্রহণের জন্য উত্তর বিতরণ ব্যবহার করেন। তবে এটি সরল হতে পারে। আমি এই জিনিস শিখছি।

— লুকা

Answer 1

EM একটি অপ্টিমাইজেশান কৌশল: দরকারী সুপ্ত ভেরিয়েবলগুলির একটি সম্ভাবনা দেওয়া হলে, এটি একটি স্থানীয় সর্বাধিক প্রদান করে, যা শুরুর মানের উপর নির্ভর করে গ্লোবাল সর্বাধিক হতে পারে।

এমসিএমসি হ'ল একটি সিমুলেশন পদ্ধতি: সুপ্ত ভেরিয়েবলের সাথে বা তার ব্যতীত সম্ভাবনা দেওয়া হয় এবং এর পূর্বে এটি একটি নমুনা তৈরি করে যা প্রায় উত্তরোত্তর বিতরণ থেকে বিতরণ করা হয়। সেই নমুনার প্রথম মানগুলি সাধারণত শুরু মানের উপর নির্ভর করে, যার অর্থ এগুলি প্রায়শই বার্ন-ইন (বা ওয়ার্ম-আপ) পর্যায়ে ফেলে দেওয়া হয়।

এই নমুনাটি উত্তরোত্তর বিতরণের সাথে যুক্ত সংহতদের মূল্যায়নের জন্য ব্যবহার করা হয় [বেশিরভাগ ক্ষেত্রে ক্ষেত্রে) অভিব্যক্তির বৈশিষ্ট্যগুলি মূলত এরগোডিক উপপাদ্য অনুসারে আইড মন্টি কার্লো সান্নিধ্য হিসাবে সমান হয়।

যদি আরও প্রয়োজন হয়, যেমন, গ্যারান্টি যে থেকে প্রাপ্ত নমুনা , কিছু অভিযোজন মূল্যায়ন কৌশল উপলব্ধ, উদাহরণস্বরূপ মধ্যে আর coda প্যাকেজ । তাত্ত্বিকভাবে, সরঞ্জামগুলি যে রূপান্তরটি নিশ্চিত করে তা সম্ভবত আপনার নাগালের বাইরে। উদাহরণস্বরূপ, নিখুঁত নমুনা বা পুনর্বিবেচনা পদ্ধতি ।$(x_t,\ldots,x_{t+T})$$\pi(x|\mathfrak{D})$