মাল্টিভারিয়েট স্বাভাবিক পোস্টারিয়র

Question

এটি একটি খুব সাধারণ প্রশ্ন তবে আমি ইন্টারনেট বা কোনও বইয়ের কোথাও এই উত্স খুঁজে পেতে পারি না। আমি একজন বায়সিয়ান কীভাবে একটি বহুবিধ সাধারণ বিতরণ আপডেট করে তা আবিষ্কার করতে চাই। উদাহরণস্বরূপ: এটি কল্পনা করুন

$$\begin{array}{rcl} \mathbb{P}({\bf x}|{\bf μ},{\bf Σ}) & = & N({\bf \mu}, {\bf \Sigma}) \\ \mathbb{P}({\bf \mu}) &= & N({\bf \mu_0}, {\bf \Sigma_0})\,. \end{array}$$

of এর সেট পর্যবেক্ষণ করার পরে , আমি গণনা করতে চাই । আমি জানি যে উত্তরটি কোথায়${\bf x_1 ... x_n}$$\mathbb{P}({\bf \mu | x_1 ... x_n})$$\mathbb{P}({\bf \mu | x_1 ... x_n}) = N({\bf \mu_n}, {\bf \Sigma_n})$

$$\begin{array}{rcl} \bf \mu_n &=& \displaystyle\Sigma_0 \left(\Sigma_0 + \frac{1}{n}\Sigma\right)^{-1}\left(\frac{1}{n}\sum_{i=1}^{n}{\bf x_i}\right) + \frac{1}{n}\Sigma\left(\Sigma_0+\frac{1}{n}\Sigma\right)^{-1}\mu_0 \\ \bf \Sigma_n & =&\displaystyle \Sigma_0\left(\Sigma_0 + \frac{1}{n}\Sigma\right)^{-1}\frac{1}{n}\Sigma \end{array}$$

আমি সমস্ত মধ্যবর্তী ম্যাট্রিক্স বীজগণিতের সাথে এই ফলাফলটির সন্ধানের সন্ধান করছি।

কোন সাহায্যের অনেক প্রশংসা করা হয়।

Comments

এটি আমাদের বইয়েসিয়ান কোর , চ্যাপেও সমাধান করা হয়েছে । 3, বিভাগ 3.2, পৃষ্ঠা 54-57 যা আমরা মনে করি তার সাথে ম্যাট্রিক্স বীজগণিতটি বিস্তারিত!

— শি'আন

ওপি জানিয়েছে যে এটি কোনও হোম ওয়ার্কের সমস্যা নয় এবং এমনকি তিনি কেন এটি জিজ্ঞাসা করেছিলেন এবং কীভাবে তিনি উত্তরটি ব্যবহার করতে চান তা ব্যাখ্যা করেছিলেন। অন্যের জন্য কেন পোস্ট করবেন না? আমি বুঝতে পারি কেন আমরা হোমওয়ার্কের সমস্যা সমাধানের পরিষেবা সরবরাহ করতে চাই না তবে এটি এটি আরও অনেকদূর নিচ্ছে।

— মাইকেল আর চেরনিক

@ অ্যালেক্স: দুঃখিত, ভুল লিঙ্ক, আমার অর্থ বায়েশিয়ান কোর । নোট করুন যে আমরা আরএক্সিবের সমস্ত সমস্যার সমাধান পোস্ট করেছিলাম । সুতরাং এখানে একটি সম্পূর্ণ সমাধান পোস্ট করে ক্ষতি হবে না!

— শি'আন

আমি প্রশ্নের একটি ব্যক্তিগত উত্তর ভাগ করে নেওয়ার ব্যবস্থা করে ব্যক্তিদের মধ্যে একটি ব্যক্তিগত বিনিময় হিসাবে এই মন্তব্যের অংশটি মুছে ফেলেছি। এই ধরণের জিনিসটি এই সাইটটিকে আপত্তিজনকভাবে ব্যবহার করছে, যা সর্বজনীন প্রশ্ন এবং সর্বজনীন উত্তর সম্পর্কে ।

— হোবার

ঠিক একটি এফওয়াইআই হিসাবে, ডুডা, হার্ট এবং স্টর্ক দ্বারা প্যাটার্ন শ্রেণিবিন্যাসে ডেরিভেশন। তবে, তাদের কিছু পদক্ষেপ অনুসরণ করতে আমার অসুবিধা হচ্ছে যা কেবল আমার পক্ষে গুরুত্বপূর্ণ me এটি যদি কেবল হোমওয়ার্ক হয় তবে তাদের কাছে যা আছে ঠিক ঠিক তা লিখতে পারতেন।

— অ্যালেক্স

Answer 1

আমাদের এলোমেলো ভেক্টরগুলিতে বিতরণ সহ:

$\mathbf x_i | \mathbf \mu \sim N(\mu , \mathbf \Sigma)$

$\mathbf \mu \sim N(\mathbf \mu_0, \mathbf \Sigma_0)$

বেয়েসের নিয়মে উত্তরোত্তর বিতরণটি দেখে মনে হচ্ছে:

$p(\mu| \{\mathbf x_i\}) \propto p(\mu) \prod_{i=1}^N p(\mathbf x_i | \mu)$

তাই:

$\ln p(\mu| \{\mathbf x_i\}) = -\frac{1}{2}\sum_{i=1}^N(\mathbf x_i - \mu)'\mathbf \Sigma^{-1}(\mathbf x_i - \mu) -\frac{1}{2}(\mu - \mu_0)'\mathbf \Sigma_0^{-1}(\mu - \mu_0) + const$

$= -\frac{1}{2} N \mu' \mathbf \Sigma^{-1} \mu + \sum_{i=1}^N \mu' \mathbf \Sigma^{-1} \mathbf x_i -\frac{1}{2} \mu' \mathbf \Sigma_0^{-1} \mu + \mu' \mathbf \Sigma_0^{-1} \mu_0 + const$

$= -\frac{1}{2} \mu' (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1}) \mu + \mu' (\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i) + const$

$= -\frac{1}{2}(\mu - (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1}(\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i))' (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1}) (\mu - (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1}(\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i)) + const$

কোন গাউসির লগ ঘনত্ব:

$\mu| \{\mathbf x_i\} \sim N((N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1}(\mathbf \Sigma_0^{-1} \mu_0 + \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i), (N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1})$

Using the Woodbury identity on our expression for the covariance matrix:

$(N \mathbf \Sigma^{-1} + \mathbf \Sigma_0^{-1})^{-1} = \mathbf \Sigma(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \frac{1}{N} \mathbf \Sigma_0$

Which provides the covariance matrix in the form the OP wanted. Using this expression (and its symmetry) further in the expression for the mean we have:

$\mathbf \Sigma(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \frac{1}{N} \mathbf \Sigma_0 \mathbf \Sigma_0^{-1} \mu_0 + \frac{1}{N} \mathbf \Sigma_0(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \mathbf \Sigma \mathbf \Sigma^{-1} \sum_{i=1}^N \mathbf x_i$

$= \mathbf \Sigma(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \frac{1}{N} \mu_0 + \mathbf \Sigma_0(\frac{1}{N} \mathbf \Sigma + \mathbf \Sigma_0)^{-1} \sum_{i=1}^N (\frac{1}{N} \mathbf x_i)$

Which is the form required by the OP for the mean.