কেউ কি সহজেই সহজ শর্তে কনজুগেট প্রিয়ারদের ব্যাখ্যা করতে পারেন?

23

আমি কিছু সময়ের জন্য বাইয়েশিয়ার পরিসংখ্যানগুলিতে কনজিগেট প্রিয়ারদের ধারণাটি বোঝার চেষ্টা করছি কিন্তু আমি তা সহজভাবে পাই না। কেউ সম্ভবত "গাউসিয়ান পূর্ব" উদাহরণ হিসাবে ব্যবহার করে, সহজতম পদগুলিতে ধারণাটি ব্যাখ্যা করতে পারেন?

bayesian conditional-probability conjugate-prior

— জেনা মাইজ
সূত্র

23

প্যারামিটারের পূর্বের প্রায় সর্বদা কিছু নির্দিষ্ট কার্যকরী ফর্ম থাকে (সাধারণত ঘনত্বের নিরিখে লেখা থাকে)। ধরা যাক আমরা বিতরণগুলির একটি নির্দিষ্ট পরিবারে নিজেকে সীমাবদ্ধ করে থাকি, সেক্ষেত্রে আমাদের পূর্বনির্ধারণটি সেই পরিবারের পরামিতিগুলি বেছে নেওয়ার ক্ষেত্রে হ্রাস করে।

উদাহরণস্বরূপ, একটি স্বাভাবিক মডেল বিবেচনা । সরলতার জন্য, এর হিসাবে পরিচিত হিসাবে নিই । মডেলের এই অংশটি - ডেটার জন্য মডেল - সম্ভাবনা কার্যটি নির্ধারণ করে। $Y_i \stackrel{_\text{iid}}{\sim} N(\mu,\sigma^2)$ $\sigma^2$

আমাদের Bayesian মডেল সম্পূর্ণ করার জন্য, এখানে আমরা একটি পূর্বে প্রয়োজন । $\mu$

পূর্বেই উল্লেখ করা হয়েছে, সাধারণভাবে আমরা আমাদের জন্য পূর্বের কিছু distributional পরিবার উল্লেখ পারে এবং তারপর আমরা শুধুমাত্র (উদাহরণস্বরূপ, প্রায়ই পূর্বে তথ্য মোটামুটি অস্পষ্ট হতে পারে যে বিতরণের পরামিতি চয়ন করতে আছে - মোটামুটিভাবে যেখানে আমরা মনোযোগ দিতে সম্ভাব্যতা চান মত - খুব নির্দিষ্ট ক্রিয়ামূলক ফর্মের পরিবর্তে এবং পরামিতিগুলি চয়ন করে আমরা যা চাই তা মডেল করার পর্যাপ্ত স্বাধীনতা থাকতে পারে - পূর্বের গড় এবং প্রকরণটি মেলে বলুন)। $\mu$

যদি দেখা যায় যে এর পূর্ববর্তীটি একই পরিবার থেকে পূর্বের, তবে সেই পূর্ববর্তীটিকে "সংযুক্তি" বলা হয়। $\mu$

(যা সংঘবদ্ধ হতে পরিণত হয়েছে এটি সম্ভাবনার সাথে একত্রিত হওয়ার উপায়)

সুতরাং এই ক্ষেত্রে, আসুন আগে (বলুন ) এর জন্য একটি গাউসিয়ান নেওয়া উচিত । যদি আমরা এটি করি, আমরা দেখতে পাচ্ছি যে এর পূর্ববর্তীটিও গাউসিয়ান। ফলস্বরূপ, গাওসিয়ান পূর্বেরটি আমাদের উপরের মডেলের জন্য একটি সংযোগকারী পূর্ব ছিল। $\mu$ $\mu\sim N(\theta,\tau^2)$ $\mu$

সত্যিই এটির সব কিছুই রয়েছে - যদি পূর্ববর্তীটি একই পরিবার থেকে হয় তবে এটি পূর্ববর্তী একটি সংঘবদ্ধ।

সাধারণ ক্ষেত্রে আপনি সম্ভাবনাটি খতিয়ে দেখে আগে একটি সংযুক্তি সনাক্ত করতে পারেন। উদাহরণস্বরূপ, দ্বিপদী সম্ভাবনা বিবেচনা করুন; ধ্রুবকগুলি বাদ দিলে এটি বিটা ঘনত্বের মতো দেখায় ; এবং যেভাবে এবং একত্রিত হয়, তার ফলে এবং এর পাওয়ারগুলির একটি পণ্য দেওয়ার আগে এটি একটি বিটা দ্বারা বহুগুণ হবে ... সুতরাং আমরা সম্ভাবনা থেকে তাত্ক্ষণিকভাবে দেখতে পারি যে বিটা দ্বিগুণ সম্ভাবনার আগে এর জন্য সম্মিলিত হবে । $p$ $p$ $(1-p)$ $p$ $(1-p)$ $p$

লগ-ঘনত্ব এবং লগ-সম্ভাবনা বিবেচনা করে এটি ঘটবে তা গাউসের ক্ষেত্রে সবচেয়ে সহজ; লগ-সম্ভাবনা দ্বিঘাত হতে হবে এবং দুই quadratics এর সমষ্টি দ্বিঘাত, তাই একটি দ্বিঘাত লগ-পূর্বে + + দ্বিঘাত লগ-সম্ভাবনা একটি দ্বিঘাত অবর (সর্বোচ্চ অর্ডার মেয়াদের কোফিসিয়েন্টস প্রতিটি কোর্সের নেতিবাচক হবে) দেয়। $\mu$

— গ্লেন_বি -রাইনস্টেট মনিকা
সূত্র

9

আপনার মডেল একটি জন্যে যদি সূচকীয় পরিবার , যে, যদি বন্টন ঘনত্ব ফর্ম হল

f (x | θ) = h (x) \exp {T (θ) \cdot S (x) - ψ (θ)} x \in X θ \in Θ

$f(x|\theta)=h(x)\exp\{T(\theta)\cdot S(x)-\psi(\theta)\}\qquad x\in\mathcal{X}\quad\theta\in\Theta$ একটি সম্মান সঙ্গেদেওয়া প্রভুত্ব বিস্তার পরিমাপ(Lebesgue, কাউন্টিং, & TC।), যেখানে

t \cdot s

$t\cdot s$ উল্লেখ একটি স্কেলার উপর পণ্য

R^{d}

$\mathbb{R}^d$ এবং

T : X ⟶ R^{d} S : Θ ⟶ R^{d}

$T:\mathcal{X}\longrightarrow \mathbb{R}^d\qquad S:\Theta\longrightarrow \mathbb{R}^d$ পরিমাপযোগ্য ফাংশন, উপর অনুবন্ধী গতকাল দেশের সর্বোচ্চ তাপমাত্রা হয়

θ

$\theta$ ফর্মের ঘনত্বের দ্বারা সংজ্ঞায়িত করা হয়

π (θ | ξ, λ) = C (ξ, λ) \exp {T (θ) \cdot ξ - λ ψ (θ)}

$\pi(\theta|\xi,\lambda)=C(\xi,\lambda)\exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\}$ [একটি সম্মান সঙ্গেইচ্ছামত বাছাই করা প্রভুত্ব বিস্তার পরিমাপ

d ν

$\text{d}\nu$ উপর

Θ

$\Theta$ সঙ্গে]

C (ξ, λ)^{- 1} = \int_{Θ} \exp {T (θ) \cdot ξ - λ ψ (θ)} d ν < \infty

$C(\xi,\lambda)^{-1}=\int_\Theta \exp\{T(\theta)\cdot \xi-\lambda\psi(\theta)\} \text{d}\nu<\infty$ এবং

λ \in Λ \subset R_{+}

$\lambda\in\Lambda\subset\mathbb{R}_+$ ,

ξ \in Ξ \subset λ T (X)

$\xi\in\Xi\subset \lambda T(\mathcal{X})$

প্রভাবশালী পরিমাপের পছন্দটি প্রবীণদের পরিবারের জন্য নির্ধারক। উদাহরণস্বরূপ এক একটি সাধারন গড় সম্ভাবনা মুখোমুখি তাহলে $\mu$ হিসেবে Glen_b এর উত্তর , Lebesgue পরিমাপ নির্বাচন করে $\text{d}\mu$ সাধারন গতকাল দেশের সর্বোচ্চ তাপমাত্রা অনুবন্ধী হচ্ছে প্রভাবশালী পরিমাপ বিশালাকার হিসাবে। পরিবর্তে এক পছন্দ করে যদি $(1+\mu^2)^{-2}\text{d}\mu$ প্রভাবশালী পরিমাপ হিসাবে, অনুবন্ধী গতকাল দেশের সর্বোচ্চ তাপমাত্রা ঘনত্বের সঙ্গে ডিস্ট্রিবিউশন পরিবার মধ্যে রয়েছে

\exp {- α (μ - μ_{0})^{2}} α > 0, μ_{0} \in R

$\exp\{-\alpha(\mu-\mu_0)^2\} \qquad\alpha>0,\ \ \mu_0\in\mathbb R$ এই প্রভাবশালী পরিমাপের প্রতি সম্মান জানানো হয়েছে এবং এটি এখন আর সাধারণ প্রিয়ার নয়। এই অসুবিধাটি মূলত সম্ভাবনার একটি নির্দিষ্ট প্যারামিটারাইজেশন বেছে নেওয়া এবং এই প্যারামিটারাইজেশনের জন্য লেবেসগু পরিমাপের জন্য পছন্দ করার মতো একটি। যখন কোনও সম্ভাবনা ফাংশনের মুখোমুখি হন, তখন প্যারামিটার স্পেসে কোনও অন্তর্নিহিত (বা অভ্যন্তরীণ বা রেফারেন্স) প্রভাবিত পরিমাপ নেই।

এই তাত্পর্যপূর্ণ পরিবার বিন্যাসের বাইরে, কোনও স্থির সমর্থন সহ বিতরণের কোনও অ-তুচ্ছ পরিবার নেই যা কনজুগেট প্রিয়ারদের অনুমতি দেয়। এটি ডারমোইস-পিটম্যান-কোওপম্যান লেমার একটি পরিণতি ।

— সিয়ান
সূত্র

11

"সহজতম শর্তে?" সম্ভবত এমন একটি ব্যাখ্যা যা ব্যবস্থাগুলির পূর্ববর্তী জ্ঞান ধরে না এবং ওপি'র পক্ষে আরও কার্যকর হবে।

3

হায়, আমি ভীত যে সংঘবদ্ধ প্রিয়াররা কোনও পরিমাপ ব্যাকগ্রাউন্ড ছাড়াই অর্থহীন (যদিও এটি বিশ্বজগতের সেরা রক্ষিত গোপনীয়তা)।

— শি'য়ান

6

আমার মতে, "সহজতম শর্তাবলী" ব্যাখ্যার জন্য উন্মুক্ত, এবং এমন একটি ব্যাখ্যা যা পরিমাপ তত্ত্বের মতো উন্নত গণিতের ব্যবহার করে এখনও কোনও অর্থে "সরল" হতে পারে, এমন একটি ব্যাখ্যার চেয়ে সম্ভবত "সরল "ও হতে পারে যা এই জাতীয় যন্ত্রপাতি এড়িয়ে চলে। যাই হোক না কেন, এরূপ ব্যাখ্যা কারও কাছে এটি বোঝার জন্য প্রয়োজনীয় পটভূমি খুব জ্ঞানদীপ্ত হতে পারে এবং কোনও বিষয় ব্যাখ্যা করার বিভিন্ন উপায়ে একটি তালিকাতে এর মতো উত্তর অন্তর্ভুক্ত করা নিরীহ। আমরা উত্তরগুলি কেবল ওপি-র জন্য নয়, ভবিষ্যতের সমস্ত পাঠকের জন্য লিখি।

— ছোট

1

@ এলগোগার্ড্ট আপনার সমালোচনা আরও বেশি ওজন বহন করবে যদি আপনি এমন এক বা একাধিক প্রশ্নের সাথে লিঙ্ক করতে পারেন যেখানে আপনি মনে করেন যে এই উত্তর উভয় বিষয়ে এবং আরও উপযুক্ত পর্যায়ে হতে পারে। দয়া করে মনে রাখবেন যে "সরল" কোনও সংজ্ঞায়িত শব্দ নয় এবং এর পৃথক পৃথক বিষয়গত ব্যাখ্যা রয়েছে। নির্বিশেষে, আপনার মন্তব্যের পরামর্শ অনুসারে এটি "গাণিতিকভাবে অপ্রয়োজনীয়" এর সাথে আবদ্ধ হওয়া অবৈধ হবে।

— whuber

2

শি'র উত্তর আমার পক্ষে অকেজো নয়। আমি কিছু শিখেছি।

— সামান্য

2

আমি একটি বিতরণের "কার্নেল" ধারণাটি ব্যবহার করতে পছন্দ করি। আপনি যেখানে কেবলমাত্র প্যারামিটারের উপর নির্ভর করে সেই অংশগুলিতে রেখে যান। কয়েকটি সহজ উদাহরণ।

সাধারণ কার্নেল

p (μ | a, b) = K^{- 1} \times \exp (a μ^{2} + b μ)

$p(\mu|a,b) = K^{-1} \times \exp(a\mu^2 +b\mu)$ যেখানে

K

$K$ হল "নরমালাইজিং ধ্রুবক"

K = \int \exp (a μ^{2} + b μ) d μ = \sqrt{\frac{π}{- a}} \exp (- \frac{b^{2}}{4 a})

$K=\int \exp(a\mu^2 +b\mu)d\mu=\sqrt{\frac{\pi}{-a}}\exp(-\frac{b^2}{4a})$ স্ট্যান্ডার্ড গড় / বৈকল্পিক পরামিতিগুলির সংযোগটি হ'ল

E (μ | a, b) = - \frac{b}{2 a}

$E(\mu|a,b)=-\frac{b}{2a}$ এবং

V a r (μ | a, b) = - \frac{1}{2 a}

$Var(\mu|a,b)=-\frac{1}{2a}$

বিটা কার্নেল

p (θ | a, b) = K^{- 1} \times θ^{a} (1 - θ)^{b}

$p(\theta|a,b)=K^{-1}\times \theta^a (1-\theta)^b$ কোথায়

K = \int θ^{a} (1 - θ)^{b} d θ = B e t a (a + 1, b + 1)

$K=\int \theta^a (1-\theta)^b d\theta = Beta(a+1,b+1)$

যখন আমরা সম্ভাবনা ফাংশনটি দেখি, আমরা একই জিনিসটি করতে পারি এবং এটি "কার্নেল আকারে" প্রকাশ করতে পারি। আইডির ডেটা সহ উদাহরণস্বরূপ

p (D | μ) = \prod_{i = 1}^{n} p (x_{i} | μ) = Q \times f (μ)

$p(D|\mu)=\prod_{i=1}^n p(x_i|\mu)=Q\times f(\mu)$

For some constant $Q$ and some function $f(\mu)$ . If we can recognise this function as a kernel, then we can create a conjugate prior for that likelihood. If we take the normal likelihood with unit variance, the above looks like

p (D | μ) = \prod_{i = 1}^{n} p (x_{i} | μ) = \prod_{i = 1}^{n} \frac{1}{\sqrt{2 π}} \exp (- \frac{(x_{i} - μ)^{2}}{2}) = [\prod_{i = 1}^{n} \frac{1}{\sqrt{2 π}}] \times \prod_{i = 1}^{n} \exp (- \frac{(x_{i} - μ)^{2}}{2}) = (2 π)^{- \frac{n}{2}} \times \exp (- \sum_{i = 1}^{n} \frac{(x_{i} - μ)^{2}}{2}) = (2 π)^{- \frac{n}{2}} \times \exp (- \sum_{i = 1}^{n} \frac{x_{i}^{2} - 2 x_{i} μ + μ^{2}}{2}) = (2 π)^{- \frac{n}{2}} \times \exp (- \sum_{i = 1}^{n} \frac{x_{i}^{2}}{2}) \times \exp (μ \sum_{i = 1}^{n} x_{i} - μ^{2} \frac{n}{2}) = Q \times \exp (a μ^{2} + b μ)

$p(D|\mu) =\prod_{i=1}^n p(x_i|\mu) =\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\exp(-\frac{(x_i-\mu)^2}{2}) =\left[\prod_{i=1}^n \frac{1}{\sqrt{2\pi}}\right]\times \prod_{i=1}^n \exp(-\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{(x_i-\mu)^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2-2x_i\mu+\mu^2}{2}) =(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})\times\exp(\mu\sum_{i=1}^n x_i-\mu^2\frac{n}{2}) =Q\times \exp(a\mu^2 +b\mu)$

where $a=-\frac{n}{2}$ and $b=\sum_{i=1}^n x_i$ and $Q=(2\pi)^{-\frac{n}{2}}\times\exp(-\sum_{i=1}^n\frac{x_i^2}{2})$

This likelihood function has the same kernel as the normal distribution for $\mu$ , so a conjugate prior for this likelihood is also the normal distribution.

p (μ | a_{0}, b_{0}) = K_{0}^{- 1} \exp (a_{0} μ^{2} + b_{0} μ)

$p(\mu|a_0,b_0)=K_0^{-1}\exp(a_0\mu^2 +b_0\mu)$ The posterior is then

p (μ | D, a_{0}, b_{0}) \propto K_{0}^{- 1} \exp (a_{0} μ^{2} + b_{0} μ) \times Q \times \exp (a μ^{2} + b μ) = K_{0}^{- 1} \times Q \times \exp ([a + a_{0}] μ^{2} + [b + b_{0}] μ) \propto \exp ([a + a_{0}] μ^{2} + [b + b_{0}] μ)

$p(\mu|D,a_0,b_0)\propto K_0^{-1}\exp(a_0\mu^2 +b_0\mu)\times Q\times \exp(a\mu^2 +b\mu)=K_0^{-1}\times Q\times \exp([a+a_0]\mu^2 +[b+b_0]\mu)\propto\exp([a+a_0]\mu^2 +[b+b_0]\mu)$ Showing that the posterior is also a normal distribution, with updated parameters from the prior using the information in the data.

In some sense a conjugate prior acts similarly to adding "pseudo data" to the data observed, and then estimating the parameters.

— probabilityislogic
সূত্র

1

(+1) I appreciate the pseudo-data intuition!

— Xi'an

1

For a given distribution family $D_{lik}$ of the likelihood (e.g. Bernoulli),

if the prior is of the same distribution family $D_{pri}$ as the posterior (e.g. Beta),

then $D_{pri}$ and $D_{lik}$ are conjugate distribution families and the prior is called a conjugate prior for the likelihood function.

Note: $\underbrace{p(\theta|x)}_{\text{posterior}} \sim \underbrace{p(x|\theta)}_{\text{likelihood}} \cdot \underbrace{p(\theta)}_{\text{prior}}$

— Thomas G.
সূত্র

How does this explain what a conjugate prior is?

— LBogaardt

ok I'll edit that.

— Thomas G.