বিচ্ছিন্ন পরামিতিগুলির জন্য কোন MCMC অ্যালগরিদম / কৌশল ব্যবহার করা হয়?

ধারাবাহিক পরামিতিগুলি বিশেষত গ্রেডিয়েন্ট-ভিত্তিক পদ্ধতিগুলি ফিট করার বিষয়ে আমি মোটামুটি পরিমাণ জানি, তবে পৃথক পৃথক পরামিতিগুলির ক্ষেত্রে বেশি কিছু নয় not

বিচ্ছিন্ন পরামিতি ফিটিংয়ের জন্য সাধারণত এমসিএমসি অ্যালগরিদম / কৌশলগুলি কী ব্যবহৃত হয়? সাধারণভাবে এবং মোটামুটি শক্তিশালী উভয়ই কি অ্যালগরিদম রয়েছে? অ্যালগরিদমগুলি রয়েছে যা মাত্রিকতার অভিশাপকে ভালভাবে মোকাবেলা করে? উদাহরণস্বরূপ, আমি বলব হ্যামিলটোনিয়ান এমসিসিএম সাধারণ, শক্তিশালী এবং স্কেলগুলি ভাল।

একটি অবিচ্ছিন্ন বিতরণ থেকে নমুনা নিরবচ্ছিন্ন বিতরণ থেকে নমুনা তুলনায় আরো কঠিন মনে হয়, কিন্তু আমি কৌতূহল করছি শিল্পের অবস্থা কী the

সম্পাদনা : জেএমএস আমাকে বিস্তৃত করতে বলেছে।

আমার মনে নির্দিষ্ট অ্যাপ্লিকেশন নেই, তবে এখানে আমি কল্পনা করছি এমন কয়েকটি ধরণের মডেল রয়েছে:

বিভিন্ন ধরণের ক্রমাগত রিগ্রেশন মডেলগুলির মধ্যে মডেল নির্বাচন। আপনার একটি পৃথক একক 'মডেল' পরামিতি রয়েছে
একটি অবিচ্ছিন্ন মডেল যেখানে প্রতিটি পর্যবেক্ষণের 'আউটলেট' হওয়ার সম্ভাবনা থাকে এবং আরও ছড়িয়ে ছড়িয়ে দেওয়া বিতরণ থেকে আঁকা। আমি মনে করি এটি একটি মিশ্রণের মডেল।

আমি আশা করব যে অনেকগুলি মডেল ক্রমাগত এবং পৃথক উভয় পরামিতিগুলিকে অন্তর্ভুক্ত করবে।

bayesian mcmc

— জন সালভাটিয়ার
সূত্র

সুতরাং সহজ উত্তর হ্যাঁ: মহানগর-হেস্টিংস এবং এর বিশেষ ক্ষেত্রে গীবস নমুনা :) সাধারণ এবং শক্তিশালী; এটি স্কেল করে কিনা তা হাতের সমস্যার উপর নির্ভর করে।

আমি নিশ্চিত না আপনি কেন মনে করেন যে স্বেচ্ছাসেবী পৃথক বিতরণের নমুনা দেওয়া স্বেচ্ছাসেবী অবিচ্ছিন্ন বিতরণের চেয়ে আরও বেশি কঠিন। যদি আপনি পৃথক বিতরণ গণনা করতে পারেন এবং নমুনার স্থানটি বিশাল না হয় তবে এটি অনেক বেশি, অনেক সহজ (যদি না অবিচ্ছিন্ন বিতরণটি স্ট্যান্ডার্ড না হয়, সম্ভবত)। সম্ভাবনা গণনা প্রতিটি বিভাগের জন্য, তারপর স্বাভাবিক সম্ভাব্যতা পেতে এবং ব্যবহারের বিপরীত স্যাম্পলিং রুপান্তর (চালু একটি অবাধ অর্ডার মনোরম ) । $f(k)$ $P(\tilde k = k) = f(k)/\sum f(k)$ $k$

আপনি একটি বিশেষ মডেল মনে আছে? ফিটিং মিশ্রণ মডেলগুলিতে এমসিএমসির সমস্ত ধরণের পন্থা রয়েছে, উদাহরণস্বরূপ, যেখানে সুপ্ত উপাদান অ্যাসাইনমেন্টগুলি পৃথক পরামিতি। এগুলি খুব সাধারণ (গীবস) থেকে শুরু করে বেশ জটিল।

পরামিতি স্পেস কত বড়? এটি কি সম্ভাব্য পরিমাণে (উদাহরণস্বরূপ মিশ্রণ মডেল ক্ষেত্রে এটি মিশ্রণ উপাদানগুলির সংখ্যা অনুসারে এন)? গিবস স্যাম্পলারের চেয়ে আপনার আর কোনও প্রয়োজন নেই, যেহেতু কনজুগ্যাসি এখন আর কোনও সমস্যা নয় (আপনি স্বাভাবিকীকরণের ধ্রুবকটি সরাসরি পেতে পারেন যাতে আপনি সম্পূর্ণ শর্তের হিসাব করতে পারেন)। প্রকৃতপক্ষে গ্রিডি গিবসগুলি এই ক্ষেত্রে জনপ্রিয় ছিল, যেখানে গণনা সহজ করার জন্য একটি অবিচ্ছিন্ন পূর্ববর্তীকে বিবেচনা করা হয়।

আমি মনে করি না ক্রমাগত ক্ষেত্রে যতটা অসুবিধা হয় তার চেয়ে আলাদা প্যারামিটার জায়গার সমস্ত সমস্যার জন্য একটি বিশেষ "সেরা" আছে। তবে আপনি যদি আমাদের আগ্রহী মডেলগুলি সম্পর্কে আরও জানান তবে আমরা কিছু সুপারিশ করতে পারি।

সম্পাদনা: ঠিক আছে, আমি পুনরায় কিছুটা আরও তথ্য দিতে পারি: আপনার উদাহরণগুলি।

আপনার প্রথম উদাহরণটির বেশ দীর্ঘ ইতিহাস রয়েছে, যেমন আপনি কল্পনাও করতে পারেন। সাম্প্রতিক-পর্যালোচনাটি [1] এ রয়েছে, আরও দেখুন [2]। আমি এখানে কিছু বিশদ দেওয়ার চেষ্টা করব: একটি প্রাসঙ্গিক উদাহরণ হ'ল স্টোচাস্টিক অনুসন্ধানের পরিবর্তনশীল নির্বাচন। প্রাথমিক সূত্রটি হ'ল মতো একেবারে অবিচ্ছিন্ন প্রিয়ার ব্যবহার করা । এটি আসলে যেখানে একটি পয়েন্ট ভর হিসাবে তুলনায় খারাপ কাজ করতে দেখা যাচ্ছে 0 এ নোট করুন যে উভয়ই আপনার মূল সূচনায় ফিট করে; একটি এমসিসিএম পদ্ধতির সাধারণত একটি (বিযুক্ত) মডেল সূচক ( বলুন) দিয়ে বাড়িয়ে এগিয়ে যেতে হবে । এটি একটি মডেল সূচকের সমতুল্য; যদি তোমার থাকে $p(\beta)\sim \pi N(\beta; 0, \tau) + (1-\pi) N(\beta, 0, 1000\tau)$ $p(\beta)\sim \pi \delta_0 (\beta) + (1-\pi) N(\beta, 0, \tau)$ $\delta_0$ $\beta$ $Z$ $Z_1\dots, Z_p$ তবে স্পষ্টতই আপনি সম্ভাব্য কনফিগারেশনগুলিকে সংখ্যায় পুনরায় তৈরি করতে পারেন । $2^p$ $1:2^p$

তাহলে কীভাবে আপনি এমসিমিসি উন্নতি করতে পারেন? এই মডেলগুলির মধ্যে অনেকগুলি আপনি রচনা করে নমুনা নিতে পারেন , অর্থাত্ । এই জাতীয় ব্লক আপডেটগুলি মারাত্মকভাবে মিশ্রণের উন্নতি করতে পারে যেহেতু এবং মধ্যে পারস্পরিক সম্পর্ক এখন নমুনার সাথে অপ্রাসঙ্গিক $p(Z, \beta|y)$ $p(Z, \beta|y) = p(\beta | Y, Z)p(Z|Y)$ $Z$ $\beta$

এসএসভিএস পুরো মডেলের স্পেসকে একটি বড় মডেলে এম্বেড করে। প্রায়শই এটি কার্যকর করা সহজ তবে খারাপ কাজ দেয়। রিভার্সিবল জাম্প এমসিএমসি একটি ভিন্ন ধরণের পদ্ধতির যা প্যারামিটার স্পেসের মাত্রা স্পষ্টভাবে পরিবর্তিত হতে দেয়; একটি পর্যালোচনা এবং কিছু ব্যবহারিক নোটের জন্য [3] দেখুন। আপনি সাহিত্যে বিভিন্ন মডেল প্রয়োগের আরও বিস্তারিত নোট পেতে পারেন, আমি নিশ্চিত।

প্রায়শই একটি সম্পূর্ণ এমসিমিসি পদ্ধতির অক্ষম হয়; বলুন আপনার ভেরিয়েবলগুলির সাথে লিনিয়ার রিগ্রেশন রয়েছে এবং আপনি এসএসভিএসের মতো একটি পদ্ধতির ব্যবহার করছেন। আপনার নমুনা রূপান্তরিত করার জন্য আপনি আশা করতে পারবেন না; এই সমস্ত মডেল কনফিগারেশনগুলি দেখার জন্য পর্যাপ্ত সময় বা কম্পিউটিং শক্তি নেই, এবং আপনার বিশেষভাবে কিছু পরিবর্তনশীল যদি মাঝারিভাবে সংযুক্ত থাকে তবে আপনি বিশেষত হোজ্জিত হন। আপনি এইভাবে পরিবর্তনশীল অন্তর্ভুক্তির সম্ভাবনার মতো জিনিসগুলি অনুমান করার চেষ্টা করছেন এমন লোকদের বিশেষত সংশয়ী হওয়া উচিত। এমসিএমসির সাথে একত্রে ব্যবহৃত বিভিন্ন স্টোকাস্টিক অনুসন্ধান অ্যালগরিদম এ জাতীয় ক্ষেত্রে প্রস্তাবিত হয়েছে। একটি উদাহরণ বিএএস [৪], অন্যটি [৫] এ রয়েছে (সিলভিয়া রিচার্ডসনের অন্যান্য প্রাসঙ্গিক কাজও রয়েছে); আমি সচেতন অন্যদের বেশিরভাগই একটি নির্দিষ্ট মডেলের দিকে প্রস্তুত। $p=1000$

একটি ভিন্ন পদ্ধতির যা জনপ্রিয়তা অর্জন করছে তা হল একেবারে অবিচ্ছিন্ন সংকোচনের প্রিয়ারগুলি যা মডেলগুলির গড় গড় ফলাফলগুলি অনুকরণ করে use সাধারণত এগুলি নরমালগুলির স্কেল মিশ্রণ হিসাবে সূচিত হয়। বায়সিয়ান লাসো একটি উদাহরণ, যা সাধারণ-গামা প্রিয়ারগুলির একটি বিশেষ ক্ষেত্রে এবং সাধারণ ঘাতক-গামা প্রিয়ারগুলির একটি সীমাবদ্ধ কেস। অন্যান্য পছন্দগুলির মধ্যে হর্সওয়াই এবং বিস্তৃত বিটা প্রিয়ারদের সাথে সাধারণ বিতরণের সাধারণ বর্গ রয়েছে their এগুলির আরও তথ্যের জন্য, আমি [6] দিয়ে শুরু করার এবং রেফারেন্সগুলি দিয়ে ফিরে হাঁটার পরামর্শ দিচ্ছি (আমার পক্ষে এখানে প্রতিলিপি দেওয়ার পক্ষে অনেকগুলি :))

আমি যদি সুযোগ পাই তবে পরে আউটলেট মডেল সম্পর্কে আরও যুক্ত করব; ক্লাসিক রেফারেন্স [7]। তারা সংকোচনের প্রিয়ারদের সাথে চেতনায় খুব মিল। সাধারণত গিবস নমুনা ব্যবহারের ক্ষেত্রে এগুলি করা বেশ সহজ।

আপনি যেমন আশা করেছিলেন তেমন ব্যবহারিক নয়; বিশেষত মডেল নির্বাচন করা একটি কঠিন সমস্যা এবং যত বেশি খারাপ মডেলটি ততই বিস্তৃত হয়। আমার কাছে থাকা সাধারণ পরামর্শের একমাত্র টুকরো যেখানেই সম্ভব ব্লক আপডেট। বিতরণের মিশ্রণ থেকে নমুনা তৈরি করতে আপনার প্রায়শই সমস্যা হয় যে সদস্যপদ সূচক এবং উপাদানগুলির পরামিতিগুলি অত্যন্ত সংযুক্ত। আমি লেবেল স্যুইচিংয়ের সমস্যাগুলিতেও (বা লেবেল স্যুইচিংয়ের অভাব) স্পর্শ করি নি; সেখানে সাহিত্যের বেশ কিছুটা আছে তবে এটি আমার হুইলহাউস থেকে একটু দূরে।

যাইহোক, আমি মনে করি যে এখানে অন্য কয়েকটি উল্লেখের সাথে অন্যদের কাছে একইরকম সমস্যার কাছে আসার জন্য অনুভূতি পেতে এখানে কিছু উল্লেখ সহকারে শুরু করা কার্যকর।

[1] মার্লিজ ক্লাইড এবং ইআই জর্জ। মডেল অনিশ্চয়তা পরিসংখ্যান বিজ্ঞান 19 (2004): 81--94। http://www.isds.duke.edu/~clyde/papers/statsci.pdf

[2] http://www-personal.umich.edu/~bnyhan/montgomery-nyhan-bma.pdf

[3] গ্রিন অ্যান্ড হাস্টি রিভার্সিবল জাম্প এমসিএমসি (২০০৯) http://www.stats.bris.ac.uk/~mapjg/papers/rjmcmc_20090613.pdf

[4] http://www.stat.duke.edu/~clyde/BAS/

[5] http://ba.stat.cmu.edu/jorter/2010/vol05/issue03/bottolo.pdf

[]] Http://www.uv.es/bernardo/Polson.pdf

[]] মাইক ওয়েস্ট আউটিলার মডেল এবং বায়েশিয়ান লিনিয়ার রিগ্রেশন (1984) জেআরএসএস-বি এর পূর্ব বিতরণ

— JMS
সূত্র

আমি উত্তর দিতে দীর্ঘ সময় নেওয়ার জন্য ক্ষমা চাই। আমি কিছু উদাহরণ মডেল টাইপ করা। আপনি আরও স্পষ্টতা চাইলে আমাকে জানান। আমি পৃথক বিতরণগুলি থেকে নমুনা দেওয়া আরও কঠিন হিসাবে ভাবছিলাম কারণ মনে হচ্ছে তারা মাল্টিমোডলের মতো আচরণের ঝুঁকিতে বেশি হবে। আপনার কাছে পৃথক এবং অবিচ্ছিন্ন ভেরিয়েবলের মিশ্রণ থাকলে সুস্পষ্ট স্বাভাবিককরণ কি কার্যকর হয়?

— জন সালভাটিয়ার