ফ্রিকোয়েন্সি সম্পর্কে বায়েশিয়ান অনুমানের আগে বিটা কনজুগেটটি বোঝা

Question

বোলস্ট্যাডের বায়েশিয়ান স্ট্যাটিস্টিক্সের পরিচিতির একটি অংশ নীচে দেওয়া হয়েছে ।

আপনার সমস্ত বিশেষজ্ঞের পক্ষে, এটি তুচ্ছ হতে পারে তবে আমি বুঝতে পারি না যে লেখক কীভাবে এই সিদ্ধান্তে পৌঁছে যে । এর কিছু মূল্যের জন্য উত্তরীয় সম্ভাবনা গণনা করার জন্য আমাদের কোনও সংহতকরণ করতে হবে না । আমি দ্বিতীয় প্রকাশটি বুঝতে পারি যা আনুপাতিকতা এবং যেখানে সমস্ত পদ এসেছে ( সম্ভাবনা x পূর্ব) । তদুপরি, আমি বুঝতে পেরেছি, ডুমিনেটর সম্পর্কে আমাদের চিন্তা করতে হবে না কারণ কেবলমাত্র সংখ্যক সরাসরি অনুপাতিক। তবে তৃতীয় সমীকরণের দিকে এগিয়ে যাওয়া, আমরা কি বেইস বিধি বিধানকে ভুলে যাচ্ছি না? যেখানে এটা গিয়েছিলে ? এবং গামা ফাংশনগুলির দ্বারা গণনা করা মান, এটি কি ধ্রুবক নয়? বেইস উপপাদ্যটিতে কি ধ্রুবকগুলি বাতিল হয় না?$\pi$

Comments

কেবলমাত্র একটি সম্ভাব্য ধ্রুবক রয়েছে, যথা একটি এটি ফাংশনটিকে সম্ভাবনার ঘনত্ব করে তোলে।

— শি'য়ান

Answer 1

মুল বক্তব্যটি হ'ল আমরা জানি যে উত্তরোত্তর সমানুপাতিক কী এবং এটি ঘটে যায় যে (ধ্রুবক) ডিনোমিনেটর পেতে আমাদের সংহতকরণের দরকার নেই, কারণ আমরা জানি যে সম্ভাব্যতা ঘনত্ব ফাংশন সহ distribution সমানুপাতিক বিতরণ (যেমন পোস্টারিয়র) একটি বিটা বিতরণ। যেহেতু এই জাতীয় বিটা পিডিএফের জন্য স্বাভাবিক স্থিরতা হ'ল , তাই আমরা একীকরণ ছাড়াই পরবর্তী পিডিএফ পাই। এবং হ্যাঁ, বয়েস উপপাদ্যটিতে স্বাভাবিককরণের ধ্রুবকটি উত্তরোত্তর ঘনত্বের জন্য স্বাভাবিক ধ্রুবকের মতোই একটি ধ্রুবক (পর্যবেক্ষণ করা ডেটা এবং পূর্বে অনুমানিত হিসাবে দেওয়া হয়)।Γ ( α + β $x^{\alpha-1} \times (1-x)^{\beta-1}$$\frac{\Gamma(\alpha+\beta)}{\Gamma(\alpha)\Gamma(\beta)}$

Answer 2

সেটআপ

আপনার কাছে এই মডেল রয়েছে: যে ঘনত্বগুলির জন্য বিশেষভাবে নোট করুন যে f(p)=

$$\begin{align*} p & \, \sim \, \text{beta}(\alpha, \beta) \\ x \, | \, p & \, \sim \, \text{binomial}(n, p) \end{align*}$$ $$\begin{equation*} f(p) = \frac{1}{B(\alpha, \beta)} p^{\alpha - 1} (1 - p)^{\beta - 1} \end{equation*}$$ $$\begin{equation*} g(x \, | \, p) = {n \choose x} p^x (1 - p)^{n - x} \end{equation*}$$ $$\begin{equation*} \frac{1}{B(\alpha, \beta)} = \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}. \end{equation*}$$

অন্তর্নিহিত সংস্করণ

এখন। উত্তরোত্তর বিতরণ সম্ভাবনা দ্বারা গুণিত পূর্ববর্তী সমানুপাতিক । আমরা ধ্রুবকগুলিকে উপেক্ষা করতে পারি (যেমন জিনিসগুলি হয় না ), ফলন: $f$$g$$p$

$$\begin{align*} h(p \, | \, x) & \propto f(p) g(p \, | \, x) \\ & = p^{\alpha - 1} (1 - p)^{\beta - 1} p^x p^{n - x} \\ & = p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{align*}$$

পরামিতিগুলির সাথে বিটা বিতরণের 'আকৃতি' রয়েছে এবং , এবং আমরা জানি যে এই পরামিতিগুলির সাথে বিটা বিতরণের জন্য সংশ্লিষ্ট স্বাভাবিককরণ ধ্রুবকটি কী হওয়া উচিত: । বা, গামা ফাংশনগুলির ক্ষেত্রে, other অন্য কথায় আমরা কোনও অতিরিক্ত লেগওয়ার্ক ছাড়াই সমানুপাতিক সম্পর্কের চেয়ে কিছুটা ভাল করতে পারি এবং সরাসরি সাম্যের দিকে চলে যেতে : $\alpha + x$$\beta + n - x$$1 / B(\alpha + x, \beta + n - x)$

$$\begin{equation*} \frac{1}{B(\alpha + x, \beta + n - x)} = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)}. \end{equation*}$$ $$\begin{equation*} h(p \, | \, x) = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}. \end{equation*}$$

সুতরাং কেউ উত্তরোত্তরগুলির জন্য সহজেই কিছুটা অগোছালো ইন্টিগ্রেশন এবং এর মতো না গিয়ে উত্তরোত্তরগুলির জন্য সহজেই একটি অভিব্যক্তি পুনরুদ্ধার করতে একটি বিটা বিতরণের কাঠামোর জ্ঞান ব্যবহার করতে পারে।

এটি ধরণের সংশ্লেষের সাথে সাধারণভাবে বিতরণকে স্বাভাবিককরণের স্থায়ীভাবে বাতিল করে পুরো উত্তরোত্তর ঘুরে দেখা যায়, যা বিভ্রান্তিকর হতে পারে।

স্পষ্ট সংস্করণ

আপনি প্রক্রিয়াগতভাবে জিনিসগুলি গ্রাইন্ডও করতে পারেন, যা আরও পরিষ্কার হতে পারে।

এটি আসলে এত বেশি দীর্ঘ নয়। নোট করুন যে আমরা যৌথ বন্টনকে এবং প্রান্তিক বিতরণ হিসাবে

$$\begin{align*} f(p)g(x \, | \, p) = \frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$$ $x$ $$\begin{align*} \int_{0}^{1}f(p)g(x \, | \, p)dp & = \frac{1}{B(\alpha, \beta)}{n \choose x} \int_{0}^{1} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} dp \\ & = \frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n - x)} \end{align*}$$

সুতরাং আমরা বাইয়েসের উপপাদ্যটি previously যা আমরা আগে পেয়েছিলাম একই জিনিস।

$$\begin{align*} h(p \, | \, x) & = \frac{f(p) g(x \, | \, p)}{\int_{0}^{1}f(p) g(x \, | \, p)dp} \\ & = \frac{\frac{1}{B(\alpha, \beta)}{n \choose x} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1}}{\frac{1}{B(\alpha, \beta)}{n \choose x} \frac{\Gamma(\alpha + x)\Gamma(\beta + n - x)}{\Gamma(\alpha + \beta + n)}} \\ & = \frac{\Gamma(n + \alpha + \beta)}{\Gamma(\alpha + x)\Gamma(\beta + n - x)} p^{\alpha + x - 1} (1 - p)^{\beta + n - x - 1} \end{align*}$$

Answer 3

সাধারণ মন্তব্য

উত্তর @ Björn একটি বিট আরো আরো সাধারণ স্পষ্ট এবং একই সময় দেওয়া করতে, আমরা মনে রাখা উচিত যে, আমরা আগত বায়েসের উপপাদ্য থেকে

$p(\theta|X) \times p(X) = p(X,\theta)=p(X|\theta)\times p(\theta)$

$\implies p(\theta|X) = \frac{p(X|\theta)\times p(\theta)}{p(X)}$ ta (বেইস থম)

যেখানে পর্যবেক্ষিত তথ্য এবং প্রতিনিধিত্ব করে আমাদের অজানা প্যারামিটার আমরা যে বিষয়ে সম্ভাব্য মতামতে উপনীত করতে চাই - প্রশ্ন ক্ষেত্রে প্যারামিটার অজানা ফ্রিকোয়েন্সি হয় । আসুন এখনই চিন্তা করবেন না আমরা এটিকে সহজ রাখতে ভেক্টর বা স্কেলারের কথা বলছি কিনা।$X$$\theta$$\pi$

অবিচ্ছিন্ন ক্ষেত্রে প্রান্তিককরণ বাড়ে

$p(X) = \int_{-\infty}^{+\infty}{p(X,\theta)d\theta}=\int_{-\infty}^{+\infty}{p(X|\theta)\times p(\theta)d\theta}$

যেখানে আমরা উপরে দেখেছি তার যৌথ বন্টন সমান। । এটি একটি ধ্রুবক যেহেতু প্যারামিটারটি 'একীকরণের' পরে এটি কেবল ধ্রুবক শর্তগুলির উপর নির্ভর করে ।$p(X,\theta)$$likelihood \times prior$

অতএব আমরা করতে বায়েসের উপপাদ্য সূত্রবদ্ধ যেমন

$p(\theta|X) = Const. \times p(X|\theta)\times p(\theta)$ সাথে$Const. = \frac{1}{p(X)} = \frac{1}{\int{p(X|\theta)\times p(\theta)d\theta}}$

এবং এইভাবে বয়েস উপপাদ্যের স্বাভাবিক আনুপাতিকতা ফর্মটিতে উপস্থিত হন ।

সমস্যার হাতছানি দিয়ে আবেদন করুন

এখন আমরা যা জানি সম্ভবত তা প্লাগ করতে প্রস্তুত since প্রশ্নের ক্ষেত্রে ফর্মটি রয়েছে$likelihood \times prior$

$p(X,\theta)= p(X|\theta)\times p(\theta) = A \cdot \theta^{\,a + y - 1}(1-\theta)^{b + n - y - 1} = A\cdot \theta^{\,a' - 1}(1-\theta)^{b' - 1}$

যেখানে , এবং যেখানে the দ্বিপদী সম্ভাবনা এবং বিটা থেকে ধ্রুবক পদগুলি সংগ্রহ করে পূর্বে.$a' = a+y$$b' = b+n-y$$A = \frac{1}{B(a,b)}\binom{n}{y}$

আমরা এখন করতে উত্তর @ Björn কর্তৃক প্রদত্ত ব্যবহার এটি যে এই সংহত বিটা ফাংশন বার ধ্রুবক পদ সংগ্রহ যাতে$B(a',b')$$A$

$p(X) = A\cdot\int_0^1{\theta^{\,a' - 1}(1-\theta)^{b' - 1}d\theta}=A\cdot B(a',b')$

$\implies p(\theta|X) = \frac{A\cdot\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{A\cdot B(a',b')}=\frac{\theta^{\,a' - 1}(1-\theta)^{b' - 1}}{B(a',b')}$

দ্রষ্টব্য, যৌথ বিতরণে যে কোনও ধ্রুবক পদটি সর্বদা বাতিল হয়ে যাবে, কারণ এটি একই সময়ে মনোনীতকারী এবং ডিনোমিনেটরে উপস্থিত হবে (সিএফ। @ জেটোবিনের দেওয়া উত্তর) সুতরাং আমাদের সত্যিই বিরক্ত করার দরকার নেই।

সুতরাং আমরা বুঝতে পারি যে আমাদের উত্তরোত্তর বিতরণটি আসলে একটি বিটা বন্টন যেখানে আমরা পূর্বের পরামিতিগুলিকে পৌঁছানোর জন্য কেবল এবং আপডেট করতে পারি । এই কারণেই বিটা বিতরণ পূর্বকে কনজুগেট পূর্ব বলা হয় ।$a' = a+y$$b' = b+n-y$

Comments

এই যুক্তিটি জোটোবিনের অন্তর্নিহিত সংস্করণের অনুরূপ। আমরা কেবল সম্ভাবনার সময়গুলির কিছু অংশ আগে দেখি যার মধ্যে প্যারামিটার থাকে এবং সাধারণীকরণের ধ্রুবকটিতে সমস্ত কিছু সংগ্রহ করা হয় । সুতরাং আমরা একীকরণকে কেবল একটি চূড়ান্ত পদক্ষেপ হিসাবে দেখি যা বৈধ, কারণ জটবিন তার সুস্পষ্ট সংস্করণে প্রদর্শিত হিসাবে স্থিরীরা বাতিল করে দেয়।

— gwr