এমসিএমসি বোঝা: বিকল্প কী হবে?

Question

প্রথমবারের মতো বায়েশিয়ান পরিসংখ্যান শেখা; এমসিএমসি বোঝার দিকে কোণ হিসাবে আমি ভাবলাম: এটি কি এমন কিছু করছে যা মৌলিকভাবে অন্যভাবে করা যায় না, বা এটি বিকল্পগুলির চেয়ে আরও দক্ষতার সাথে কিছু করছে?

উদাহরণস্বরূপ, ধরা যাক আমরা বিপরীতে, পি ( ডি | এক্স , ওয়াই , জেড ) কে গণনা করে এমন একটি মডেল প্রদত্ত ডেটা $P(x,y,z|D)$ প্রদত্ত আমাদের পরামিতিগুলির সম্ভাব্যতা গণনা করার চেষ্টা করছি । এটি বেইসের উপপাদ্য দিয়ে সরাসরি গণনা করতে আমাদের ডোনমিনেটর পি ( ডি ) প্রয়োজন যা এখানে উল্লেখ করা হয়েছে । তবে আমরা কি এটি সংহত করে গণনা করতে পারি, নীচে বলে:$P(D|x,y,z)$$P(D)$

p_d = 0.
for x in range(xmin,xmax,dx):
    for y in range(ymin,ymax,dy):
        for z in range(zmin,zmax,dz):
            p_d_given_x_y_z = cdf(model(x,y,z),d)
            p_d += p_d_given_x_y_z * dx * dy * dz

সেই কাজটি কি (উচ্চতর সংখ্যক ভেরিয়েবলের সাথে খুব অদক্ষভাবেই হওয়া সত্ত্বেও) বা এমন কিছু আছে যা এই পদ্ধতির ব্যর্থতার কারণ হতে পারে?

Comments

সংহতকরণ অনেক ক্ষেত্রে কাজ করবে তবে এটি খুব বেশি সময় নিতে পারে (অর্থাত্ এটি অক্ষম)। এমসিএমসি উত্তরোত্তর দক্ষতার সাথে অনুমান করার একটি উপায়।

— মার্ক হোয়াইট

প্রশ্নের জন্য প্রাসঙ্গিক নয়, তবে আমি মনে করি যে আপনি আপনার অবিচ্ছেদে x, y, z এর আগে অনুপস্থিত রয়েছেন (এটি

— বেয়েসের

Answer 1

আপনি উত্তরোত্তর গ্রিডের সান্নিধ্য বর্ণনা করছেন, এবং এটি একটি বৈধ পন্থা, যদিও সর্বাধিক জনপ্রিয় নয়। বেশ কয়েকটি কেস রয়েছে যেখানে উত্তর বিতরণ বিশ্লেষণ করে গণনা করা যায়। মন্টি কার্লো মার্কভ চেইনস বা অন্যান্য আনুমানিক পদ্ধতিগুলি উত্তরোত্তর বিতরণের নমুনাগুলি অর্জনের পদ্ধতি, যা কখনও কখনও যখন বিশ্লেষণাত্মক সমাধানটি খুঁজে পাওয়া যায় না তখন কাজ করে।

যে বিশ্লেষণাত্মক সমাধানগুলি পাওয়া যায় সেগুলি সাধারণত "কনজুগেট" পরিবারের ক্ষেত্রে হয় এবং গুগলিংয়ের মাধ্যমে আপনি সে সম্পর্কে আরও জানতে পারেন, উদাহরণস্বরূপ https://en.wikedia.org/wiki/Conjugate_prior দেখুন ।

প্রথম উদাহরণ হিসাবে, যদি আপনার পূর্ববর্তীটি pঅভিন্ন হয় তবে সাধারণ দ্বিপদী পরীক্ষায় সাফল্যের প্যারামিটারটি [0, 1]কোথায় p, পশ্চাতটি বিটা বিতরণের সমান। এই ক্ষেত্রে সংহতকরণ বা সংমিশ্রণ সুস্পষ্টভাবে করা যেতে পারে।

আপনার যদি চূড়ান্তভাবে অনেকগুলি প্যারামিটার পছন্দ থাকে বা আপনি যেমন উদাহরণ হিসাবে গ্রিডের সান্নিধ্য ব্যবহার করেন তবে একটি সাধারণ সংমিশ্রণ আপনার প্রয়োজনীয় সমস্ত হতে পারে। যদি আপনার কয়েকটি ভেরিয়েবল থাকে এবং একটি ঘন গ্রিড ব্যবহার করতে চান তবে কম্পিউটের সংখ্যা দ্রুত বিস্ফোরিত হতে পারে।

উত্তরোত্তর থেকে নমুনা নেওয়ার জন্য বেশ কয়েকটি অ্যালগরিদম রয়েছে। হ্যামিলটোনীয় মন্টি কার্লো, বিশেষত NUTS নমুনা, এখন জনপ্রিয় এবং ব্যবহৃত হয় stanএবং PyMC3, মেট্রোপলিস হেস্টিংসটি সর্বোত্তম। ভেরিয়েশনাল ইনফারেন্সটি একটি আপেক্ষিক নতুন আগত, একটি নমুনা পদ্ধতি আসলে নয় বরং একটি সান্নিধ্য প্রাপ্তির ভিন্ন উপায়। এই মুহুর্তে, বিশ্লেষণাত্মক সমাধানগুলি সহ কোনও পদ্ধতিই সেরা নয়, এগুলি নির্দিষ্ট ক্ষেত্রে ভালভাবে কাজ করে।

Comments

উত্তম উত্তর, তবে আপনার শেষ অনুচ্ছেদটি বোঝায় যে ভেরিয়েশনাল ইনফারেন্স একটি নমুনা পদ্ধতি, যা তা নয়। আপনি যে সংশোধন বিবেচনা করতে পারেন।

— রুবেন ভ্যান বার্জেন

Answer 2

ডিনোমিনেটর গণনা উত্তরোত্তর বিতরণ (বা কোনও বিতরণের) প্রকৃতি বুঝতে সাহায্য করে না। হচ্ছে একটি আলোচনা সাম্প্রতিক প্রশ্ন , জানাতে চাই যে, একটি D-মাত্রিক ভেক্টর ঘনত্ব হল আমাকে উত্তর দেয় না যে এই উত্তরোত্তর বিতরণের জন্য আগ্রহের অঞ্চলগুলি কোথায়।$\theta$

$$π(θ|x)∝\exp\{−||θ−x||^2−||θ+x||^4−||θ−2x||^6\},\qquad x,θ∈ℝ^d,$$

Answer 3

মন্টি কার্লো পদ্ধতি এমন কৌশল যা এলোমেলো সংখ্যার ব্যবহার করে। লক্ষ্য নমুনা খুঁজে পেতে বিতরণ যে অনুযায়ী হয় এবং ধারণা করা হয় যে জটিল। এর অর্থ হল যে আমরা এটি সরাসরি মূল্যায়ন করতে পারি না। যদি এটি না হয় তবে আপনি বিশ্লেষণাত্মকভাবে এটি গণনা করতে পারেন। আপনার উদাহরণ হিসাবে এটি ।পি ( এক্স ) পি ( এক্স ) পি ( ডি $x$$P(x)$$P(x)$$P(D)$

আপনি যা প্রস্তাব করেন তা হ'ল এবং স্পেসের মধ্য দিয়ে একটি গ্রিড অনুসন্ধান । খুব এক্সট্রাসিটিভ হতে পারেy x $x$$y$$x$ এবং যদি তারা ক্রমাগত হয় উচ্চ মাত্রিক এবং infeasible হয়। আর একটি সমস্যা হ'ল প্রতিটি ধাপে আপনাকে সিডিএফ গণনা করতে হবে।$y$

এমসিএমসি পদ্ধতিগুলি পরীক্ষার্থীদের নমুনা প্রস্তাব করে এবং তারপর কিছু পরিমাপের উপর নির্ভর করে সেগুলি গ্রহণ বা প্রত্যাখ্যান করে সমাধান করার চেষ্টা করে । এটি তত্ত্বগতভাবে দ্রুত সম্ভব তখন সমস্ত সম্ভাব্য সংমিশ্রণের মধ্য দিয়ে যেতে পারে। সুতরাং মূলত আপনি পূর্ববর্তী থেকে আঁকা নমুনাগুলি খুঁজে পান । এখানে একটি তাত্ত্বিক সমস্যা হ'ল এটি কেবল টানা নমুনার সীমাবদ্ধতার ক্ষেত্রে, যেমন নমুনাগুলির পরে । তাই আপনি কখন জানেন না কখন মার্কভ চেইন বন্ধ করবেন।$c_i$$P(D)$$\infty$