বায়েশিয়ান ভবিষ্যদ্বাণীপূর্ণ বিতরণগুলি বোঝা

9

আমি বয়েস কোর্সে একটি ইন্ট্রো নিচ্ছি এবং ভবিষ্যদ্বাণীপূর্ণ বিতরণ বুঝতে আমার কিছুটা সমস্যা হচ্ছে। আমি বুঝতে পারি যে সেগুলি কেন কার্যকর এবং আমি সংজ্ঞাটির সাথে পরিচিত, তবে এমন কিছু জিনিস রয়েছে যা আমি বেশ বুঝতে পারি না।

1) কীভাবে নতুন পর্যবেক্ষণের ভেক্টরের সঠিক অনুমানমূলক বিতরণ পাবেন

মনে করুন যে আমরা ডেটা এবং একটি পূর্ববর্তী জন্য একটি স্যাম্পলিং মডেল । ধরে নিন যে পর্যবেক্ষণগুলি শর্তসাপেক্ষে স্বাধীন given । $p(y_i | \theta)$ $p(\theta)$ $y_i$ $\theta$

আমরা কিছু ডেটা- করেছি এবং আমরা আমাদের পূর্বের পরবর্তী update আপডেট করেছি । $\mathcal{D} = \{y_1, y_2, \, ... \, , y_k\}$ $p(\theta)$ $p(\theta | \mathcal{D})$

যদি আমরা নতুন পর্যবেক্ষণগুলির কোনও ভেক্টর I, ভাবেন আমাদের এই সূত্রটি ব্যবহার করে উত্তরোত্তর ভবিষ্যদ্বাণী লাভ করার চেষ্টা করা উচিত যা সমান নয় তাই ভবিষ্যদ্বাণী করা পর্যবেক্ষণগুলি স্বাধীন নয় তাই না? $\mathcal{N} = \{\tilde{y}_1, \tilde{y}_2, \, ... \, , \tilde{y}_n\}$

p (N | D) = \int p (θ | D) p (N | θ) d θ = \int p (θ | D) \prod_{i = 1}^{n} p ({\tilde{y}}_{i} | θ) d θ,

$p(\mathcal{N} | \mathcal{D}) = \int p(\theta | \mathcal{D}) p ( \mathcal{N} | \theta) \, \mathrm{d} \theta = \int p(\theta | \mathcal{D}) \prod_{i=1}^n p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$

\prod_{i = 1}^{n} \int p (θ | D) p ({\tilde{y}}_{i} | θ) d θ,

$\prod_{i=1}^n \int p(\theta | \mathcal{D}) p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$

বলে বিটা ( ) এবং দ্বিপদী ( ) একটি নির্দিষ্ট । এই ক্ষেত্রে, আমি যদি 6 টি নতুন অনুকরণ করতে চাইতাম , যদি আমি এটি সঠিকভাবে বুঝতে পারি, তবে বিটা-বিনোমিয়াল বিতরণ থেকে 6 টি অঙ্কিত স্বাধীনভাবে অনুকরণ করা ভুল হবে যা কোনও একক পর্যবেক্ষণের জন্য পরবর্তী ভবিষ্যদ্বাণী সম্পর্কিত। এটা কি সঠিক? আমি পর্যবেক্ষণগুলি প্রান্তিকভাবে স্বতন্ত্র নয় এবং কীভাবে এটি ব্যাখ্যা করতে পারি তা আমি জানি না এবং আমি এগুলি সঠিকভাবে বুঝতে পেরেছি তা নিশ্চিতও নয়। $\theta | \mathcal{D} \sim$ $a,b$ $p(y_i | \theta) \sim$ $n, \theta$ $n$ $\tilde{y}$

উত্তর ভবিষ্যদ্বাণী থেকে অনুকরণ

অনেক সময় যখন আমরা পূর্ববর্তী ভবিষ্যদ্বাণীমূলক থেকে ডেটা অনুকরণ করি তখন আমরা এই স্কিমটি অনুসরণ করি:

জন্য 1 থেকে : $b$ $B$

1) নমুনা থেকে । $\theta^{(b)}$ $p(\theta | \mathcal{D})$

2) তারপরে থেকে নতুন ডেটা সিমুলেট করুন । $\mathcal{N}^{(b)}$ $p(\mathcal{N} | \theta^{(b)})$

এই স্কিমটি কীভাবে কাজ করে তা প্রমাণ করার জন্য আমি বেশিরভাগই জানি না, যদিও এটি স্বজ্ঞাত দেখাচ্ছে। এছাড়াও, এর একটি নাম আছে? আমি একটি ন্যায়সঙ্গত সন্ধান করার চেষ্টা করেছি এবং আমি বিভিন্ন নাম চেষ্টা করেছি, তবে আমার ভাগ্য ছিল না had

ধন্যবাদ!

bayesian prediction

— ফ্রেড এল।
সূত্র

আমি স্ট্যাটাস.স্ট্যাকেক্সেঞ্জার / প্রশ্নস / 25২৫70০/২ এ অনুরূপ প্রশ্ন জিজ্ঞাসা করেছি তবে দেখে মনে হচ্ছে আপনার এ পর্যন্ত বেশি ভোট পেয়েছে।

— জন

4

হটাত যদি $X_1,\dots,X_n,X_{n+1}$ শর্তাধীন স্বাধীন যে দেওয়া হয় $\Theta=\theta$ । তারপর,

f_{X_{n + 1} ∣ X_{1}, \dots, X_{n}} (x_{n + 1} ∣ x_{1}, \dots, x_{n}) = \int f_{X_{n + 1}, Θ ∣ X_{1}, \dots, X_{n}} (x_{n + 1}, θ ∣ x_{1}, \dots, x_{n}) d θ

$f_{X_{n+1}\mid X_1,\dots,X_n}(x_{n+1}\mid x_1,\dots,x_n) = \int f_{X_{n+1},\Theta\mid X_1,\dots,X_n}(x_{n+1},\theta\mid x_1,\dots,x_n)\,d\theta$

= \int f_{X_{n + 1} ∣ Θ, X_{1}, \dots, X_{n}} (x_{n + 1} ∣ θ, x_{1}, \dots, x_{n}) f_{Θ ∣ X_{1}, \dots, X_{n}} (θ ∣ x_{1}, \dots, x_{n}) d θ

$= \int f_{X_{n+1}\mid\Theta,X_1,\dots,X_n}(x_{n+1}\mid\theta,x_1,\dots,x_n) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta$

= \int f_{X_{n + 1} ∣ Θ} (x_{n + 1} ∣ θ) f_{Θ ∣ X_{1}, \dots, X_{n}} (θ ∣ x_{1}, \dots, x_{n}) d θ,

$= \int f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\theta) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta \, ,$ যেখানে প্রথম সাম্যতা মোট সম্ভাবনার আইন থেকে অনুসরণ করে, দ্বিতীয়টি পণ্যের বিধি অনুসারে, এবং তৃতীয়টি অনুমিত শর্তাধীন স্বাধীনতা থেকে: এর মান দেওয়া হয়

Θ

$\Theta$ , আমাদের মূল্যবোধের দরকার নেই

X_{1}, \dots, X_{n}

$X_1,\dots,X_n$ বিতরণ নির্ধারণ করতে

X_{n + 1}

$X_{n+1}$ ।

সিমুলেশন স্কিমটি সঠিক: জন্য $i=1,\dots,N$ , আঁকুন $\theta^{(i)}$ বিতরণ থেকে $\Theta\mid X_1=x_1,\dots,X_n=x_n$ তারপর আঁকুন $x_{n+1}^{(i)}$ বিতরণ থেকে $X_{n+1}\mid\Theta=\theta^{(i)}$ । এটি আপনাকে একটি নমুনা দেয় $\{x_{n+1}^{(i)}\}_{i=1}^N$ বিতরণ থেকে $X_{n+1}\mid X_1=x_1,\dots,X_n=x_n$ ।

— জেন
সূত্র

আপনি যদি একাধিক পিরিয়ডের মধ্যবর্তী উত্তরীয় ভবিষ্যদ্বাণী পান তবে কি হবে? আমি ব্যবহার করা হয়েছে

θ^{(i)}

$\theta^{\left(i\right)}$ প্রতিটির জন্য, প্রত্যেকটির জন্য

x_{n + j}

$x_{n+j}$ , তবে আমি দেখতে পাচ্ছি কেন নতুন থিটা পুনরায় আঁকতে এটি বোধগম্য হতে পারে।

— জন

2

আমি উত্তরোত্তর পূর্বাভাস বিতরণ ধাপে ধাপে পিছনে অন্তর্দৃষ্টি থেকে এগিয়ে যাওয়ার চেষ্টা করব

দিন $y$ সম্ভাব্যতা বিতরণ থেকে আসা পর্যবেক্ষণ করা ডেটার ভেক্টর হোন $p(y|\theta)$ এবং যাক $\tilde y$ আমরা ভবিষ্যদ্বাণী করতে চাই ভবিষ্যতের (বা নমুনা ছাড়াই) একটি ভেক্টর হতে। আমরা ধরে নিই $\tilde y$ একই বিতরণ থেকে আসে $y$ । এটি আমাদের সেরা অনুমানটি ব্যবহার করে লোভনীয় হতে পারে $\theta$ --- যেমন এমএলই বা এমএপি অনুমান --- এই বিতরণ সম্পর্কে তথ্য পেতে। যাইহোক, এটি করা অনিবার্যভাবে আমাদের সম্পর্কে অনিশ্চয়তা উপেক্ষা করবে $\theta$ । সুতরাং, অগ্রসর হওয়ার উপযুক্ত উপায়টি এর উত্তরোত্তর বিতরণে গড় গড় $\theta$ যথা, $p(\theta|y)$ । এটিও লক্ষ্য করুন $\tilde y$ এর স্বাধীন $y$ প্রদত্ত $\theta$ , যেমন হিসাবে এটি একই বিতরণ থেকে আঁকা একটি স্বাধীন নমুনা হিসাবে ধারণা করা হয় $y$ । সুতরাং,

p (\tilde{y} | θ, y) = \frac{p (\tilde{y}, y | θ) p (θ)}{p (θ, y)} = \frac{p (\tilde{y} | θ) p (y | θ) p (θ)}{p (y | θ) p (θ)} = p (\tilde{y} | θ) .

$\displaystyle p(\tilde y| \theta, y) = \frac{p(\tilde y, y|\theta )p(\theta)}{p(\theta, y)} = \frac{p(\tilde y|\theta )p(y |\theta) p(\theta)}{p(y| \theta)p(\theta)} = p(\tilde y |\theta).$

এর পূর্ববর্তী ভবিষ্যদ্বাণীমূলক বিতরণ $\tilde y$ এইভাবে,

p (\tilde{y} | y) = \int_{Θ} p (\tilde{y} | θ, y) p (θ | y) d θ = \int_{Θ} p (\tilde{y} | θ) p (θ | y) d θ

কোথায় $\Theta$ এর সমর্থন $\theta$ ।

এখন, আমরা কীভাবে নমুনাগুলি থেকে পাই $p(\tilde y|y)$ ? আপনি যে পদ্ধতিটি বর্ণনা করেছেন তাকে কখনও কখনও সংমিশ্রনের পদ্ধতি বলা হয় , যা নিম্নলিখিত হিসাবে কাজ করে:

s = 1,2, ..., এস এর জন্য

আঁকা $\theta^{(s)}$ থেকে $p(\theta|y)$

আঁকা $\tilde y^{(s)}$ থেকে $p(\tilde y|\theta^{(s)})$

যেখানে, বেশিরভাগ পরিস্থিতিতে আমাদের ইতিমধ্যে আঁকানো আছে $p(\theta|y)$ , যাতে কেবল দ্বিতীয় পদক্ষেপের প্রয়োজন হয়।

এই কাজটি করার কারণটি বেশ সহজ: প্রথমে নোট করুন $p(\tilde y, \theta | y) = p(\tilde y| \theta, y)p(\theta | y)$ । সুতরাং, একটি পরামিতি ভেক্টর নমুনা $\theta^{(s)}$ থেকে $p(\theta|y)$ এবং, তারপর, নমুনার জন্য এই ভেক্টর ব্যবহার করে $\tilde y^{(s)}$ থেকে $p(\tilde y | \theta^{(s)}) = p(\tilde y | \theta^{(s)}, y)$ yields samples from the joint distribution $p(\tilde y, \theta|y)$ . It follows that, the sampled values $\tilde y^{(s)}, s=1,2,...,S$ are samples from the marginal distribution, $p(\tilde y|y)$ .

— baruuum
সূত্র

1

আপনার প্রথম প্রশ্নের সমাধানের জন্য: হ্যাঁ, আপনি যদি এর মান জানেন না তবে পর্যবেক্ষণগুলি স্বতন্ত্র নয় $\theta$ । বলুন, আপনি এটি পর্যবেক্ষণ করেছেন $\tilde{y}_1$ বরং চরম মান আছে। এটি একটি ইঙ্গিত হতে পারে যে এর অজানা মান $\theta$ নিজেই চরম এবং অন্যদিকে আপনার অন্যান্য পর্যবেক্ষণগুলিও চরম হবে বলে আশা করা উচিত।

— hr0nix
সূত্র