সম্ভাবনা বনাম বৈশিয়ান বিশ্লেষণের শর্তাধীন বিতরণ

আমরা বায়েসের উপপাদ্যটি লিখতে পারি

p (θ | x) = \frac{f (X | θ) p (θ)}{\int_{θ} f (X | θ) p (θ) d θ}

$p(\theta|x) = \frac{f(X|\theta)p(\theta)}{\int_{\theta} f(X|\theta)p(\theta)d\theta}$

যেখানে উত্তরোত্তর, শর্তযুক্ত বিতরণ, এবং পূর্ববর্তী হয়। $p(\theta|x)$ $f(X|\theta)$ $p(\theta)$

অথবা

p (θ | x) = \frac{L (θ | x) p (θ)}{\int_{θ} L (θ | x) p (θ) d θ}

$p(\theta|x) = \frac{L(\theta|x)p(\theta)}{\int_{\theta} L(\theta|x)p(\theta)d\theta}$

যেখানে উত্তরোত্তর, সম্ভাবনা ফাংশন, এবং পূর্ববর্তী হয় prior $p(\theta|x)$ $L(\theta|x)$ $p(\theta)$

আমার প্রশ্ন

সম্ভাবনামত ফাংশনটি ব্যবহার করে এবং শর্তাধীন বিতরণে বায়েশিয়ান বিশ্লেষণ কেন করা হয়?
আপনি কি কথায় কথায় বলতে পারবেন সম্ভাবনা এবং শর্তাধীন বিতরণের মধ্যে পার্থক্য কী? আমি জানি সম্ভাবনাটি কোনও সম্ভাবনা বিতরণ এবং । $L(\theta|x) \propto f(X|\theta)$

bayesian likelihood

— kzoo
সূত্র

এখানে কোন পার্থক্য নেই! সম্ভাবনা হ'ল শর্তসাপেক্ষ বিতরণ , ভাল, এর সাথে আনুপাতিক, যা সমস্ত বিষয়।

f (X | θ)

$f(X | \theta)$

— কেজেটিল বি হালওয়ারসেন

পূর্বের প্যারামিটার ঘনত্ব । যদি আদায় মূল্য আছে যখন একটি এলোপাতাড়ি ভেরিয়েবলের পর্যবেক্ষিত মান , তারপর সম্ভাবনা ফাংশনের মান হয় অবিকল , মান শর্তাধীন ঘনত্ব এর । পার্থক্য হল যে জন্য সব এর উপলব্ধির । যাইহোক, একটি ফাংশন হিসাবে

Θ

$\Theta$

p_{Θ} (θ)

$p_\Theta(\theta)$

Θ

$\Theta$

θ

$\theta$

x

$x$

X

$X$

L (θ ∣ x)

$L(\theta\mid x)$

f (x ∣ θ)

$f(x\mid \theta)$

f_{X ∣ Θ} (x ∣ Θ = θ)

$f_{X\mid\Theta}(x\mid\Theta=\theta)$

X

$X$

\int_{- \infty}^{\infty} f_{X ∣ Θ} (x ∣ Θ = θ) d x = 1

$\int_{-\infty}^{\infty}f_{X\mid\Theta}(x\mid\Theta=\theta)dx=1$

Θ

$\Theta$

θ

$\theta$ (এবং সংশোধন করা হয়েছে ), হয় না একটি ঘনত্ব:

x

$x$

L (θ ∣ x)

$L(\theta\mid x)$

\int L (θ ∣ x) d θ \neq 1

$\int L(\theta\mid x)d\theta\neq 1$

— দিলীপ Sarwate

উত্তর:

ধরা যাক শর্তসাপেক্ষে ঘনত্বের সাথে প্রদত্ত শর্তসাপেক্ষে প্রদত্ত শর্তসাপেক্ষে আপনার এলোমেলো ভেরিয়েবল (যার মানগুলি আপনার পরীক্ষায় দেখা যাবে) রয়েছে given , । এটি আপনার (postulated) পরিসংখ্যানগত (শর্তসাপেক্ষ) মডেল, এবং শর্তাধীন ঘনত্বের প্রতিটি সম্ভাব্য মান জন্য, প্রকাশ করার (র্যান্ডম) এর প্যারামিটার , মান সম্পর্কে আপনার অনিশ্চয়তা এর, সামনে যদি আপনি কোন এক্সেস আছে বাস্তব তথ্য। শর্তযুক্ত ঘনত্বগুলির সাহায্যে আপনি যেমন উদাহরণস্বরূপ গণনা শর্তাধীন সম্ভাবনাগুলি করতে পারেন $X_1,\dots,X_n$ $\Theta=\theta$ $f_{X_i\mid\Theta}(\,\cdot\mid\theta)$ $i=1,\dots,n$ $\theta$ $\Theta$ $X_i$

P {X_{1} \in B_{1}, \dots, X_{n} \in B_{n} ∣ Θ = θ} = \int_{B_{1} \times \dots \times B_{n}} \prod_{i = 1}^{n} f_{X_{i} ∣ Θ} (x_{i} ∣ θ) d x_{1} \dots d x_{n},

$P\{X_1\in B_1,\dots,X_n\in B_n\mid \Theta=\theta\} = \int_{B_1\times\dots\times B_n} \prod_{i=1}^n f_{X_i\mid\Theta}(x_i\mid\theta)\,dx_1\dots dx_n \, ,$ প্রতিটি জন্য ।

θ

$\theta$

আপনার পরীক্ষার এক দৌড়ে লক্ষ্য করা গেছে যে এর মানগুলির (বাস্তবায়ন) এর প্রকৃত নমুনায় অ্যাক্সেস পাওয়ার পরে , পরিস্থিতি পরিবর্তিত হয়: পর্যবেক্ষণযোগ্য সম্পর্কে আর কোনও অনিশ্চয়তা নেই is । মনে করুন যে এলোমেলো কিছু প্যারামিটার স্পেস- মান গ্রহণ করে । এখন, আপনি ঐ পরিচিত (নির্ধারিত) মানের জন্য নির্ধারণ করুন, একটি ফাংশন দ্বারা মনে রাখবেন যে function , "সম্ভাবনা ফাংশন" হিসাবে পরিচিত এটি একটি ফাংশন $(x_1,\dots,x_n)$ $X_i$ $X_1,\dots,X_n$ $\Theta$ $\Pi$ $(x_1,\dots,x_n)$

L_{x_{1}, \dots, x_{n}} : Π \to R

$L_{x_1,\dots,x_n} : \Pi \to \mathbb{R} \,$

L_{x_{1}, \dots, x_{n}} (θ) = \prod_{i = 1}^{n} f_{X_{i} ∣ Θ} (x_{i} ∣ θ) .

$L_{x_1,\dots,x_n}(\theta)=\prod_{i=1}^n f_{X_i\mid\Theta}(x_i\mid\theta) \, .$

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

θ

$\theta$ । এই "আপনার ডেটা থাকার পরে" পরিস্থিতিটিতে, রয়েছে, আমরা যে বিশেষ শর্তাধীন মডেলটি বিবেচনা করছি তার জন্য, প্যারামিটার সম্পর্কে সমস্ত তথ্য এই নির্দিষ্ট নমুনায় থাকা । প্রকৃতপক্ষে, এটি ঘটে যে জন্য যথেষ্ট পরিসংখ্যান ।

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

Θ

$\Theta$

(x_{1}, \dots, x_{n})

$(x_1,\dots,x_n)$

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

Θ

$\Theta$

আপনার প্রশ্নের উত্তর দেওয়া, শর্তসাপেক্ষ ঘনত্ব এবং সম্ভাবনার ধারণার মধ্যে পার্থক্য বুঝতে, তাদের গাণিতিক সংজ্ঞাগুলি (যা স্পষ্টভাবে পৃথক: তারা বিভিন্ন গাণিতিক বস্তু, বিভিন্ন বৈশিষ্ট্য সহ) মনে রাখবেন, এবং এটিও মনে রাখবেন যে শর্তাধীন ঘনত্ব একটি "প্রাক -সাম্পল "অবজেক্ট / ধারণা, যখন সম্ভাবনাটি" পরে নমুনা "এক। আমি আশা করি যে এই সমস্ত কিছু আপনাকে উত্তর দেওয়ার ক্ষেত্রেও সহায়তা করবে কেন বায়েশিয়ান অনুমিতি (এটি প্রয়োগ করার পদ্ধতিটি যা আমি আদর্শ বলে মনে করি না) "সম্ভাবনা ফাংশনটি ব্যবহার করে শর্তাধীন বিতরণ নয়" করা হয়েছে: বায়েশিয়ান অনুমানের লক্ষ্যটি হ'ল উত্তরোত্তর বিতরণ গণনা করা, এবং এটি করার জন্য আমরা পর্যবেক্ষণ (পরিচিত) ডেটাতে শর্ত করি ।

— জেন
সূত্র

আমি মনে করি জেন যখন ঠিক বলেছেন যে সম্ভাবনা এবং শর্তাধীন সম্ভাবনা আলাদা। সম্ভাবনা ফাংশনে θ কোনও এলোমেলো পরিবর্তনশীল নয়, সুতরাং এটি শর্তাধীন সম্ভাবনার চেয়ে পৃথক।

— মার্টিন

আনুষাঙ্গিকতা বিশ্লেষণকে সহজ করার জন্য ব্যবহৃত হয়

বায়েসীয় বিশ্লেষণ সাধারণত বায়েসের উপপাদ্যের একটি এমনকি সরল বিবৃতি দিয়ে করা হয়, যেখানে আমরা কেবলমাত্র আগ্রহের প্যারামিটারের সাথে সম্মততার ক্ষেত্রে কাজ করি। নমুনা ঘনত্ব সহ একটি আদর্শ IID মডেলের জন্য আমরা এটিকে প্রকাশ করতে পারি: $f(X|\theta)$

p (θ | x) \propto L_{x} (θ) \cdot p (θ) L_{x} (θ) \propto \prod_{i = 1}^{n} f (x_{i} | θ) .

$p(\theta|\mathbf{x}) \propto L_\mathbf{x}(\theta) \cdot p(\theta) \quad \quad \quad \quad L_\mathbf{x}(\theta) \propto \prod_{i=1}^n f(x_i|\theta).$

বায়সিয়ান আপডেট করার এই বিবৃতিটি প্যারামিটার- সম্মানের সাথে আনুপাতিকতার ক্ষেত্রে কাজ করে । এটি দুটি সমানুপাতিক সরলকরণ ব্যবহার করে: একটি সম্ভাবনা ফাংশন (নমুনা ঘনত্বের সমানুপাতিক) এর ব্যবহারে এবং একটি উত্তরোত্তর (সম্ভাবনার পূর্বে এবং পূর্বেকারের পণ্য সমানুপাতিক)। যেহেতু উত্তরকেন্দ্রটি একটি ঘনত্বের ক্রিয়া (ক্রমাগত ক্ষেত্রে), তাই নিয়মটি তারপরে একটি বৈধ ঘনত্ব উত্পন্ন করার জন্য প্রয়োজনীয় গুণক ধ্রুবককে সেট করে (যেমন, এটি একের সাথে সংহত করার জন্য)। $\theta$

অনুপাতের এই পদ্ধতিটির ব্যবহারের ফলে প্যারামিটার নির্ভর করে না এমন ফাংশনগুলির কোনও গুণক উপাদানগুলিকে উপেক্ষা করার অনুমতি দেওয়ার সুবিধা রয়েছে । এটি আমাদের গণিতের অপ্রয়োজনীয় অংশগুলি সরিয়ে ফেলতে, এবং আপডেটিং পদ্ধতির সহজ বক্তব্যগুলি পেয়ে সমস্যাটিকে সহজতর করে। এটি গাণিতিক প্রয়োজনীয়তা নয় (যেহেতু বয়েসের নিয়মটি তার আন-আনুপাতিক আকারে কাজ করে) তবে এটি আমাদের ক্ষুদ্র প্রাণীর মস্তিষ্কের জন্য বিষয়গুলিকে আরও সহজ করে তোলে । $\theta$

একটি প্রয়োগকৃত উদাহরণ: পর্যবেক্ষণ করা ডেটা সহ একটি আইআইডি মডেল বিবেচনা করুন । আমাদের বিশ্লেষণের সুবিধার্থে আমরা পরিসংখ্যানগুলি নির্ধারণ করি এবং , যা প্রথম দুটি নমুনা মুহুর্ত। এই মডেলের জন্য আমাদের স্যাম্পলিং ঘনত্ব রয়েছে: $X_1, ..., X_n \sim \text{IID N}(\theta, 1)$ $\bar{x} = \tfrac{1}{n} \sum_{i=1}^n x_i$ $\bar{\bar{x}} = \tfrac{1}{n} \sum_{i=1}^n x_i^2$

\begin{aligned} f (x | θ) = \prod_{i = 1}^{n} f (x_{i} | θ) & = \prod_{i = 1}^{n} N (x_{i} | θ, 1) \\ = \prod_{i = 1}^{n} \frac{1}{\sqrt{2 π}} \exp (- \frac{1}{2} (x_{i} - θ)^{2}) \\ = (2 π)^{n / 2} \exp (- \frac{1}{2} \sum_{i = 1}^{n} (x_{i} - θ)^{2}) . \\ = (2 π)^{n / 2} \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ + \bar{\bar{x}})) \\ = (2 π)^{n / 2} \exp (- \frac{n \bar{\bar{x}}}{2}) \cdot \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \end{aligned}

$\begin{equation} \begin{aligned} f(\mathbf{x}|\theta) = \prod_{i=1}^n f(x_i|\theta) &= \prod_{i=1}^n \text{N}(x_i|\theta,1) \\[6pt] &= \prod_{i=1}^n \frac{1}{\sqrt{2 \pi}} \exp \Big( -\frac{1}{2} (x_i-\theta)^2 \Big) \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{1}{2} \sum_{i=1}^n (x_i-\theta)^2 \Big). \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta + \bar{\bar{x}} ) \Big) \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{n \bar{\bar{x}}}{2} \Big) \cdot \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \\[6pt] \end{aligned} \end{equation}$

এখন, আমরা চাইলে এই স্যাম্পলিং ঘনত্বের সাথে সরাসরি কাজ করতে পারি। তবে লক্ষ্য করুন যে এই ঘনত্বের প্রথম দুটি পদটি হ'ল গুণগত ধ্রুবক যা উপর নির্ভর করে না । এই শর্তাদি ট্র্যাক করে রাখা বিরক্তিকর, সুতরাং আসুন আমরা সেগুলি থেকে মুক্তি পাই, তাই আমাদের সম্ভাবনা কার্যকারিতা রয়েছে: $\theta$

L_{x} (θ) = \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) .

$L_\mathbf{x}(\theta) = \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big).$

এটি জিনিসগুলিকে কিছুটা সহজতর করে, যেহেতু আমাদের অতিরিক্ত শর্তের ট্র্যাক রাখতে হবে না। এখন, আমরা অবিচ্ছেদ্য ডিনোমিনেটর সহ পুরো সমীকরণ-সংস্করণ ব্যবহার করে বায়েসের নিয়ম প্রয়োগ করতে পারি। তবে আবার এটির জন্য আমাদের আরও একটি বিরক্তিকর গুণক ধ্রুবক ট্র্যাক করা দরকার যা নির্ভর করে না (আরও বিরক্তিকর কারণ এটি পাওয়ার জন্য আমাদের একটি অবিচ্ছেদ্য সমাধান করতে হবে)। সুতরাং আসুন কেবল তার আনুপাতিক আকারে বায়েসের বিধি প্রয়োগ করি। পূর্ববর্তী করে কিছু পরিচিত নির্ভুলতা প্যারামিটার আমরা নিম্নলিখিত ফলাফলটি পেয়েছি ( বর্গাকার সম্পূর্ণ করে ): $\theta$ $\theta \sim \text{N}(0,\lambda_0)$ $\lambda_0>0$

\begin{aligned} p (θ | x) & \propto L_{x} (θ) \cdot p (θ) \\ = \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \cdot N (θ | 0, λ_{0}) \\ \propto \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \cdot \exp (- \frac{λ_{0}}{2} θ^{2}) \\ = \exp (- \frac{1}{2} (n θ^{2} - 2 n \bar{x} θ + λ_{0} θ^{2})) \\ = \exp (- \frac{1}{2} ((n + λ_{0}) θ^{2} - 2 n \bar{x} θ)) \\ = \exp (- \frac{n + λ_{0}}{2} (θ^{2} - 2 \frac{n \bar{x}}{n + λ_{0}} θ)) \\ \propto \exp (- \frac{n + λ_{0}}{2} (θ - \frac{n}{n + λ_{0}} \cdot \bar{x})^{2}) \\ \propto N (θ | \frac{n}{n + λ_{0}} \cdot \bar{x}, n + λ_{0}) . \end{aligned}

$\begin{equation} \begin{aligned} p(\theta|\mathbf{x}) &\propto L_\mathbf{x}(\theta) \cdot p(\theta) \\[10pt] &= \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \cdot \text{N}(\theta|0,\lambda_0) \\[6pt] &\propto \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \cdot \exp \Big( -\frac{\lambda_0}{2} \theta^2 \Big) \\[6pt] &= \exp \Big( -\frac{1}{2} ( n\theta^2 - 2n\bar{x} \theta + \lambda_0 \theta^2 ) \Big) \\[6pt] &= \exp \Big( -\frac{1}{2} ( (n+\lambda_0) \theta^2 - 2n\bar{x} \theta ) \Big) \\[6pt] &= \exp \Big( -\frac{n+\lambda_0}{2} \Big( \theta^2 - 2 \frac{n\bar{x}}{n+\lambda_0} \theta \Big) \Big) \\[6pt] &\propto \exp \Big( -\frac{n+\lambda_0}{2} \Big( \theta - \frac{n}{n+\lambda_0} \cdot \bar{x} \Big)^2 \Big) \\[6pt] &\propto \text{N}\Big( \theta \Big| \frac{n}{n+\lambda_0} \cdot \bar{x}, n+\lambda_0 \Big). \\[6pt] \end{aligned} \end{equation}$

সুতরাং, এই কাজ থেকে আমরা দেখতে পারি যে উত্তরোত্তর বিতরণ একটি সাধারণ ঘনত্বের সমানুপাতিক। যেহেতু অবর আবশ্যক হতে একটি ঘনত্ব, এই যে বোঝা অবর হয় স্বাভাবিক ঘনত্ব:

p (θ | x) = N (θ | \frac{n}{n + λ_{0}} \cdot \bar{x}, n + λ_{0}) .

$p(\theta|\mathbf{x}) = \text{N}\Big( \theta \Big| \frac{n}{n+\lambda_0} \cdot \bar{x}, n+\lambda_0 \Big).$

সুতরাং, আমরা দেখতে পাই যে একটি প্যাসিরিওরি প্যারামিটার সাধারণত পোস্টেরিয়র গড় এবং বৈচিত্র দিয়ে দেওয়া হয়: $\theta$

E (θ | x) = \frac{n}{n + λ_{0}} \cdot \bar{x} V (θ | x) = \frac{1}{n + λ_{0}} .

$\mathbb{E}(\theta|\mathbf{x}) = \frac{n}{n+\lambda_0} \cdot \bar{x} \quad \quad \quad \quad \mathbb{V}(\theta|\mathbf{x}) = \frac{1}{n+\lambda_0}.$

এখন, আমরা যে উত্তরোত্তর বিতরণটি অর্জন করেছি তার সামনের অংশটি অবিচ্ছিন্নভাবে সংহত করা হয়েছে (যা আমরা সাধারণ বন্টনের ফর্মটি সন্ধান করে সহজেই খুঁজে পেতে পারি )। তবে লক্ষ্য করুন যে আমাদের এই গুণক ধ্রুবক সম্পর্কে চিন্তা করতে হবে না - যখনই এই গণিতের সরলকরণ ঘটে তখন আমাদের সমস্ত কাজ মুছে ফেলা (বা আনা হয়) গুণিত ধ্রুবক। একই গুণটি গুণক ধ্রুবকগুলি ট্র্যাক করে রাখার সময় নেওয়া যেতে পারে তবে এটি অনেকটা মেসওয়্যার।

— বেন - মনিকা পুনরায় স্থাপন করুন
সূত্র

আমি মনে করি জেনের উত্তর সত্যিই আপনাকে জানায় যে সম্ভাবনা কার্যকারিতা এবং এলোমেলো ভেরিয়েবলের মানগুলির যৌথ ঘনত্ব কতটা পৃথক। এখনও গাণিতিকভাবে x s এবং both উভয়ের ফাংশন হিসাবে θ এগুলি একই এবং সেই দিক থেকে সম্ভাবনাটিকে সম্ভাবনার ঘনত্ব হিসাবে দেখা যেতে পারে। বেয়েস উত্তরোত্তর বিতরণের সূত্রে আপনি যে পার্থক্যের দিকে লক্ষ্য করছেন তা হ'ল একটি তাত্পর্যপূর্ণ পার্থক্য। তবে পার্থক্যের সূক্ষ্মতা জেনের উত্তরে সুন্দরভাবে ব্যাখ্যা করা হয়েছে। $_i$

সম্ভাব্যতা কার্যকারিতা সম্পর্কিত এই সাইটে আলোচিত অন্যান্য প্রশ্নের মধ্যে এই বিষয়টি উঠে এসেছে। কেজেটিল এবং দিলীপের অন্যান্য মন্তব্যগুলি আমি যা বলছি তা সমর্থন করে বলে মনে হচ্ছে।

— মাইকেল আর চেরনিক
সূত্র