সর্বাধিক একটি-পোস্টেরিয়েরি অনুমান পাওয়া যায় তখন কি এমসিসিএম ভিত্তিক পদ্ধতিগুলি উপযুক্ত?

Question

আমি লক্ষ করছি যে অনেক ব্যবহারিক অ্যাপ্লিকেশনগুলিতে, এমসিএমসি-ভিত্তিক পদ্ধতিগুলি পরামিতি বিশ্লেষণাত্মক হলেও পরামিতিটি অনুমান করার জন্য ব্যবহৃত হয় (উদাহরণস্বরূপ, কারণ প্রিয়ারগুলি সংযোগী ছিল)। আমার কাছে এটি এমসিএমসি-ভিত্তিক অনুমানকারীদের চেয়ে এমএপি-এসেসেক্টর ব্যবহার করা আরও বোধগম্য। কেউ বিশ্লেষণাত্মক উত্তরোত্তর উপস্থিতিতে কেন এখনও এমসিএমসি একটি উপযুক্ত পদ্ধতি হিসাবে চিহ্নিত করতে পারেন?

Comments

আপনি বাস্তবে এর উদাহরণ দিতে পারেন? নোট করুন যে পূর্বের কনজুগেট এবং শর্তসাপেক্ষে বিবাহিতের মধ্যে পার্থক্য রয়েছে । অনেক গিবস স্যাম্পলিং অ্যাপ্লিকেশনগুলিতে, বাছাই করা প্রিয়াররা শর্তসাপেক্ষে বিবাহবন্ধনে আবদ্ধ হয়, তবে পূর্ববর্তীটি নিজেই বিবাহবন্ধ নয়; উদাহরণস্বরূপ, ল্যাটেন্ট ডিরিচলেট বরাদ্দ বিবেচনা করুন।

— লোক

এটি ম্যাপের পাশাপাশি এর কী কী করবে তা অস্পষ্ট। বেইস প্রাক্কলনকারী পশ্চাত্পদ গড় নয়, পশ্চাত্পদ মোড নয়। এমনকি যখন প্রিয়ারদের সংযোগ না হয়, আপনি প্রায়শই এমএপি অনুমানকারী পেতে কিছু অপ্টিমাইজেশন করতে পারেন - স্ট্যান এটি কম-বেশি বা কোনও পূর্বের জন্য এটি করে। এমসিএমসি করার বিষয়টি হ'ল পোস্টেরিয়র ডিস্ট্রিবিউশনটি অনুমান করা, যার কাছে কেবল এমএপি অনুমানকারীর চেয়ে অনেক বেশি তথ্য রয়েছে।

— লোক

Answer 1

এক্ষেত্রে MCMC ব্যবহার করার দরকার নেই: মার্কভ চেইন মন্টি-কার্লো (এমসিএমসি) একটি বন্টন থেকে মান উত্পন্ন করতে ব্যবহৃত একটি পদ্ধতি। এটি লক্ষ্য বন্টনের সমান স্টেশনিয় বিতরণ সহ স্বয়ং-সংযুক্ত মানগুলির একটি মার্কভ চেইন উত্পাদন করে। লক্ষ্য বিতরণে বিশ্লেষণাত্মক ফর্ম রয়েছে এমন ক্ষেত্রেও এই পদ্ধতিটি আপনি যা চান তা পেতে আপনাকে এখনও কাজ করবে। যাইহোক, এমন সহজ এবং কম কম্পিউটেশনাল নিবিড় পদ্ধতি রয়েছে যা এই জাতীয় ক্ষেত্রে কাজ করে, যেখানে আপনি একটি উত্তাল বিশ্লেষণাত্মক রূপ রয়েছে এমন একটি উত্তরোত্তর নিয়ে কাজ করছেন।

যে ক্ষেত্রে উত্তরোত্তর বিতরণে একটি বিশ্লেষণাত্মক ফর্ম রয়েছে, সেখানে স্ট্যান্ডার্ড ক্যালকুলাস কৌশলগুলি ব্যবহার করে সেই বিতরণ থেকে অনুকূলকরণের মাধ্যমে প্যারামিটারের প্রাক্কলনগুলি (যেমন, এমএপি) পাওয়া সম্ভব obtain যদি লক্ষ্য বিতরণ যথেষ্ট সহজ হয় তবে আপনি প্যারামিটার অনুমানের জন্য একটি বদ্ধ ফর্ম সমাধান পেতে পারেন, তবে তা না হলেও আপনি সাধারণত সাধারণ পুনরাবৃত্ত কৌশলগুলি (যেমন, নিউটন-রাফসন, গ্রেডিয়েন্ট-ডেসেন্ট) ইত্যাদি ব্যবহার করতে পারেন find যে কোনও ইনপুট ডেটার জন্য পরামিতি অনুমানের অনুকূলকরণ। লক্ষ্য বিতরণের কোয়ান্টাইল ফাংশনের জন্য যদি আপনার কাছে বিশ্লেষণাত্মক ফর্ম থাকে এবং আপনাকে বিতরণ থেকে মান উত্পন্ন করতে হবে তবে আপনি বিপরীত রূপান্তর নমুনার মাধ্যমে এটি করতে পারেন, যা এমসিএমসির চেয়ে কম গণনামূলকভাবে নিবিড়, এবং আপনাকে জটিল স্বতঃ-সম্পর্কের ধরণগুলির চেয়ে মানগুলির চেয়ে আইআইডি মান উত্পন্ন করতে দেয়।

এর পরিপ্রেক্ষিতে, আপনি যদি স্ক্র্যাচ থেকে প্রোগ্রামিং করছিলেন তবে লক্ষ্য বন্টনটি উপলভ্য বিশ্লেষণাত্মক ফর্ম রয়েছে এমন ক্ষেত্রে আপনি এমসিএমসি ব্যবহার করবেন এমন কোনও কারণ বলে মনে হয় না। আপনি যদি এমসিএমসির জন্য ইতিমধ্যে লিখিত জেনেরিক অ্যালগরিদম থাকে তবে এটি ন্যূনতম প্রচেষ্টা দিয়ে প্রয়োগ করা যেতে পারে এবং আপনি সিদ্ধান্ত নিতে পারেন যে বিশ্লেষণাত্মক ফর্মটি ব্যবহারের দক্ষতা প্রয়োজনীয় গণিত করার চেষ্টা করে ছাড়িয়ে গেছে decide কিছু ব্যবহারিক প্রসঙ্গে আপনি এমন সমস্যাগুলির সাথে মোকাবিলা করবেন যা সাধারণত অবিচল থাকে, যেখানে এমসিসিএমের অ্যালগরিদম ইতিমধ্যে সেট আপ করা হয়েছে এবং ন্যূনতম প্রচেষ্টা সহ প্রয়োগ করা যেতে পারে (যেমন, আপনি যদি ডেটা বিশ্লেষণ করেন তবেRStan)। এই ক্ষেত্রেগুলির ক্ষেত্রে সমস্যার বিশ্লেষণাত্মক সমাধান অর্জনের চেয়ে আপনার বিদ্যমান এমসিএমসি পদ্ধতিগুলি পরিচালনা করা সবচেয়ে সহজ হতে পারে, যদিও পরবর্তীকালে অবশ্যই আপনার কার্যকারিতা হিসাবে পরীক্ষা হিসাবে ব্যবহার করা যেতে পারে।

Answer 2

$\pi(\theta)$

$$\min_\delta\int_\Theta \text{L}(\theta,\delta)\,\tilde\pi(\theta)\,f(x|\theta)\,\text{d}\theta$$ $\tilde\pi(\cdot)\propto\pi(\cdot)$

যখন স্বাভাবিককরণের ধ্রুবক উপলব্ধ থাকে না, তখন

$$\int \tilde\pi(\theta)\,\text{d}\theta$$ একটি উত্তরীয় গড় বা মাঝারি বা এমনকি মোড [যা ধ্রুবকটি জানতে হবে না] সন্ধান করে, প্রায়শই এগিয়ে যায় এমসিএমসি অ্যালগরিদমের মাধ্যমে। উদাহরণস্বরূপ, যদি আমাকে যৌথ ঘনত্ব দেওয়া হয় , যখন , দ্বারা অনুপ্রাণিত আলী-মিখাইল হক যোজক পদ : এটা সঠিকভাবে স্বাভাবিক হতে পারে (এবং প্রকৃতপক্ষে), কিন্তু শর্তসাপেক্ষ প্রত্যাশা এর দেওয়া এই ঘনত্ব যখন অধীনে$x,y\in(0,1)$

$$f_\theta(x,y)=\dfrac{1+\theta[(1+x)(1+y)-3]+\theta^2(1-x)(1-y)) }{[1-\theta(1-x)(1-y)]^3}\qquad\theta\in(-1,1)$$ $\Phi^{-1}(X)$$Y=y$$\Phi(.)$এটি সাধারণ সিডিএফ, বন্ধ আকারে পাওয়া যায় না। এটি তবে প্রাথমিক আগ্রহের প্রশ্ন ।

আরও মনে রাখবেন যে বেইসিয়ান সেটিং- এ সর্বাধিক পোস্টেরিয়েরি অনুমানক সর্বাধিক প্রাকৃতিক অনুমানকারী নয় , যেহেতু এটি কোনও ক্ষতির ফাংশনের সাথে মিলে না এবং ঘনত্বের বদ্ধ-রূপ উপস্থাপনা এমনকি ধ্রুবক পর্যন্তও এমএপি সন্ধান করে না অগত্যা সহজ। অথবা এমএপি প্রাসঙ্গিক ব্যবহার।

Answer 3

আমি যেমন এটি পড়ছি, এই প্রশ্নটি দুটি কিছুটা অরথোগোনাল প্রশ্ন জিজ্ঞাসা করছে। একটি হ'ল একজনের উত্তরোত্তর উপায়ে এমএপি-এসেসেক্টর ব্যবহার করা উচিত, এবং অন্যটিটি যদি উত্তরোত্তর বিশ্লেষণাত্মক ফর্ম থাকে তবে একটিকে MCMC করা উচিত কিনা।

তাত্ত্বিক দৃষ্টিকোণ থেকে উত্তরের মাধ্যমের তুলনায় এমএপি অনুমানকারীদের ক্ষেত্রে, উত্তরের উত্তরগুলিতে @ জিয়ান নোট হিসাবে সাধারণত উত্তরোত্তর উপায়গুলি পছন্দ করা হয়। এমএপি অনুমানকারীদের আসল সুবিধাটি হ'ল, বিশেষত আরও সাধারণ ক্ষেত্রে যেখানে উত্তরোত্তর বন্ধ আকারে নেই, সেগুলি উত্তরের গড়ের অনুমানের চেয়ে অনেক দ্রুত (অর্থাত্ বেশ কয়েকটি আদেশের) গণনা করা যায়। যদি উত্তরোত্তরটি আনুমানিক প্রতিসাম্যযুক্ত হয় (যা প্রায়শই বড় আকারের নমুনা আকারের ক্ষেত্রে বেশিরভাগ ক্ষেত্রে দেখা যায়), তবে এমএপি অনুমানটি উত্তরোত্তর গড়ের খুব কাছাকাছি হওয়া উচিত। সুতরাং এমএপির আকর্ষনীয়তা আসলে এটি পোস্টেরিয়র গড়ের খুব কম সস্তায় হতে পারে।

নোট করুন যে নরমালাইজিং ধ্রুবকটি আমাদের উত্তরোত্তর মোড খুঁজে পেতে সহায়তা করে না, সুতরাং উত্তরোত্তর জন্য প্রযুক্তিগতভাবে বন্ধ ফর্ম সমাধান আমাদের এমএপি অনুমান খুঁজে পেতে সহায়তা করে না, এমন ক্ষেত্রে যেখানে আমরা উত্তরোত্তরকে নির্দিষ্ট বন্টন হিসাবে স্বীকৃত করি আমরা জানি এটি মোড

দ্বিতীয় প্রশ্নের প্রসঙ্গে, যদি কারও নিকটবর্তী বন্টন বন্ধ থাকে তবে সাধারণত বলা হয় এমসিসিএমির অ্যালগোরিদম ব্যবহার করার কোনও কারণ নেই। তাত্ত্বিকভাবে, যদি আপনার উত্তরোত্তর বিতরণের জন্য একটি বদ্ধ ফর্ম সমাধান ছিল তবে কিছু ফাংশন গড়ার জন্য কোনও বন্ধ ফর্ম না থাকলে এবং এই বদ্ধ ফর্ম বিতরণ থেকে সরাসরি অঙ্কন করতে না পারলে কেউ এমসিসিএমের অ্যালগরিদমে যেতে পারে। তবে আমি এই পরিস্থিতির কোনও ঘটনা সম্পর্কে অবগত নই।

Answer 4

আমি যুক্তি দিয়ে বলব যে এমসিএমসি পদ্ধতিগুলি অগত্যা অনুপযুক্ত নয় , এমনকি ক্লোড-ফর্ম সমাধানগুলি উপস্থিত থাকলেও। স্পষ্টতই, কোনও বিশ্লেষণাত্মক সমাধান উপস্থিত থাকলে এটি দুর্দান্ত: তারা সাধারণত দ্রুত হয়, আপনি রূপান্তর (ইত্যাদি) সম্পর্কে উদ্বেগ এড়ান।

অন্যদিকে, ধারাবাহিকতাও গুরুত্বপূর্ণ। কৌশল থেকে কৌশলতে স্যুইচ করা আপনার উপস্থাপনাকে জটিল করে তোলে: সর্বোপরি, এটি বহিরাগত বিশদ যা দর্শকদের বিভ্রান্ত করতে পারে বা আপনার মূল ফলাফল থেকে দূরে সরিয়ে ফেলতে পারে এবং পরিণতিতে এটি ফলাফলকে পক্ষপাতদুষ্ট করার প্রয়াসের মতো দেখাতে পারে। আমার কাছে যদি বেশ কয়েকটি মডেল থাকে, যার মধ্যে কয়েকটিই ক্লোড-ফর্ম সমাধানগুলি স্বীকার করে, আমি কঠোরভাবে প্রয়োজনীয় না হলেও এমনকি একই MCMC পাইপলাইনের মাধ্যমে সেগুলি চালানোর বিষয়ে দৃ strongly়তার সাথে বিবেচনা করব।

আমি এটি সন্দেহ করি, এর সাথে জড়তা ("আমাদের কাছে এই স্ক্রিপ্টটি কাজ করে") আপনি যা দেখছেন তার বেশিরভাগের জন্য এটি অ্যাকাউন্ট করে।