মাল্টিভারিয়েট গাউসের সমবায় পোস্টারিয়র বন্টন অনুমান করা

15

আমাকে কয়েকটি নমুনা সহ বাইভেরিয়েট গাউসির বিতরণ "শিখতে" দরকার, তবে পূর্বের বিতরণে একটি ভাল অনুমান, সুতরাং আমি বায়সিয়ান পদ্ধতির ব্যবহার করতে চাই।

আমি আমার পূর্ব নির্ধারণ করেছি:

P (μ) \sim N (μ_{0}, Σ_{0})

$\mathbf{P}(\mathbf{\mu}) \sim \mathcal{N}(\mathbf{\mu_0},\mathbf{\Sigma_0})$

μ_{0} = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ_{0} = [\begin{matrix} 16 & 0 \\ 0 & 27 \end{matrix}]

$\mathbf{\mu_0} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma_0} = \begin{bmatrix} 16 & 0 \\ 0 & 27 \end{bmatrix}$

আমার বন্টন দেওয়া হাইপোথিসিস

P (x | μ, Σ) \sim N (μ, Σ)

$\mathbf{P}(x|\mathbf{\mu},\mathbf{\Sigma}) \sim \mathcal{N}(\mathbf{\mu},\mathbf{\Sigma})$

μ = [\begin{matrix} 0 \\ 0 \end{matrix}] Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\mu} = \begin{bmatrix} 0 \\ 0 \end{bmatrix} \ \ \ \mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

এখন আমি এখানে ধন্যবাদ জানি যে ডেটা প্রদত্ত গড় অনুমান করতে

P (μ | x_{1}, \dots, x_{n}) \sim N ({\hat{μ}}_{n}, {\hat{Σ}}_{n})

$\mathbf{P} (\mathbf{\mu} | \mathbf{x_1}, \dots , \mathbf{x_n}) \sim \mathcal{N}(\mathbf{\hat{\mu}_n}, \mathbf{\hat{\Sigma}_n})$

আমি গণনা করতে পারি:

{\hat{μ}}_{n} = Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} (\frac{1}{n} \sum_{i = 1}^{n} x_{i}) + \frac{1}{n} Σ {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} μ_{0}

$\mathbf{\hat{\mu}_n} = \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^ {-1} \left( {1 \over n} \sum_{i=1}^{n} \mathbf{x_i} \right) + {1 \over n} \mathbf{\Sigma} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\mu_0}$

{\hat{Σ}}_{n} = \frac{1}{n} Σ_{0} {(Σ_{0} + \frac{1}{n} Σ)}^{- 1} Σ

$\mathbf {\hat{\Sigma}_n} = {1 \over n} \mathbf{\Sigma_0} \left( \mathbf{\Sigma_0} + {1 \over n} \mathbf{\Sigma} \right) ^{-1} \mathbf{\Sigma}$

এখন প্রশ্ন আসে, হয়তো আমি ভুল, কিন্তু এটা আমার মনে হচ্ছে যে আনুমানিক পরামিতি মাত্র সহভেদাংক ম্যাট্রিক্স হয় , আর আমার ডেটার না আনুমানিক কোভ্যারিয়েন্স। আমি যা চাই তা গণনা করাও হবে $\mathbf{\Sigma_n}$ $\mathbf{\mu_n}$

P (Σ_{n_{1}} | x_{1}, \dots, x_{n})

$\mathbf{P} (\mathbf{\Sigma_{n_1}} | \mathbf{x_1}, \dots , \mathbf{x_n})$

যাতে আমার ডেটা থেকে সম্পূর্ণ নির্দিষ্ট বিতরণ শিখে নেওয়া যায়।

এটা কি সম্ভব? এটি ইতিমধ্যে গণনা করে সমাধান করা হয়েছে এবং এটি ঠিক উপরের সূত্রটি ভুল উপায়ে প্রকাশ করেছে (বা আমি কেবল এটির ভুল ব্যাখ্যা দিচ্ছি)? উল্লেখগুলি প্রশংসা করা হবে। অনেক ধন্যবাদ. $\mathbf{\Sigma_n}$

সম্পাদনা

মন্তব্য থেকে, হাজির যে আমার পদ্ধতি, "ভুল" ছিল এই অর্থে যে আমি একটি ধ্রুবক সহভেদাংক, দ্বারা সংজ্ঞায়িত অভিমানী ছিল । আমার যা দরকার তা হ'ল এটির উপরেও পূর্বের কথা রাখি, , তবে আমার কী বিতরণ ব্যবহার করা উচিত তা এবং পরবর্তীকালে এটি আপডেট করার পদ্ধতিটি কী তা আমি জানি না। $\mathbf{\Sigma}$ $\mathbf{P}(\mathbf{\Sigma})$

— unziberla
সূত্র

আপনি ইতিমধ্যে হিসাবে আপনার ডেটার সহভেদাংক নির্দিষ্ট করেছেন

- এবং আপনার কাছ থেকে আপডেট করা যে জন্য একটি পূর্বে বন্টন নিদিষ্ট নি?

Σ = [\begin{matrix} 18 & 0 \\ 0 & 18 \end{matrix}]

$\mathbf{\Sigma} = \begin{bmatrix} 18 & 0 \\ 0 & 18 \end{bmatrix}$

— করোন

আমি আপনার পয়েন্ট দেখুন. সুতরাং আমার পদ্ধতির সাথে আমি মূলত ধরে নিয়েছি যে বৈকল্পিক স্থির এবং নির্দিষ্ট ছিল। আমি যদি এটি অনুমান করতে চাই তবে আমার এটির পূর্ববর্তী প্রয়োজন।

এখন, আমার সমস্যাটি হল এটি কীভাবে সংজ্ঞায়িত করা যায় তা পরিষ্কার নয় এবং এর জন্য উপযুক্ত বিতরণ কী হবে তবে এটি প্রথম প্রশ্নের ক্ষেত্রের বাইরে বলে মনে হচ্ছে ।

P (Σ) \sim F (μ_{Σ}, Σ_{Σ})

$\mathbf{P}(\mathbf{\Sigma}) \sim \mathcal{F} (\mathbf{\mu_{\Sigma}} , \Sigma_{\Sigma})$

— unziberla

তারপরে প্রশ্নটি পরিবর্তন করুন :-)

— করোন

11

আপনি যে পরিমাণটি আপডেট করেছেন সেভাবে আপনি সমান কাঠামোর জন্য বায়সিয়ান আপডেট করতে পারেন। মাল্টিভারিয়েট-নরমাল এর কোভারিয়েন্স ম্যাট্রিক্সের পূর্বে কনজ্যুয়েট হ'ল ইনভার্স-উইশার্ট বিতরণ, সুতরাং এটি এখানে শুরু করা বোধ হয়,

$P(\Sigma) \sim W^{-1}(\mathbf{\Psi}, \nu)$

তারপরে আপনি যখন আপনার নমুনা এর দৈর্ঘ্যের পাবেন তখন আপনি নমুনা কোভারিয়েন্স অনুমান গণনা করতে পারেন $X$ $n$ $\Sigma_X = \frac{1}{n}(X-\mu)^\top(X-\mu)$

এরপরে এটি কোভারিয়েন্স ম্যাট্রিক্স সম্পর্কিত আপনার অনুমানটি আপডেট করতে ব্যবহার করা যেতে পারে

$P(\Sigma|X) \sim W^{-1}(n\Sigma_X + \mathbf{\Psi}, n + \nu)$

আপনি এর মধ্যবিন্দুটিকে সমবায় জন্য আপনার পয়েন্ট অনুমান হিসাবে ব্যবহার করতে বেছে নিতে পারেন (উত্তরোত্তর গড় আনুমানিক)

$E[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n-p-1}$

বা আপনি মোডটি ব্যবহার করতে পারেন (সর্বাধিক একটি পোস্টেরিয়েরি অনুমানক)

$\text{Mode}[\Sigma|X] = \frac{n\Sigma_X + \mathbf{\Psi}}{\nu+n+p+1}$

— Corone
সূত্র

অনেক ধন্যবাদ. এখন আমি ধরে নিয়েছি আমার অনুমানের প্রক্রিয়াতে কিছু পরিবর্তন হবে। প্রথম পদক্ষেপ হিসেবে আমি সহভেদাংক অনুমান করা উচিত

আপনার পদ্ধতি, তবে আমার বন্টন আনুমানিক অনুমান দেওয়া হতে woulb

এবং যেহেতু

অনুমান করা হয় এবং তার নিজস্ব ডিস্ট্রিবিউশন আছে আমি প্রায় নিশ্চিত এই am একরকম গনা আমার আগের সূত্র পরিবর্তন করতে হবে

(যেমন গসিয়ান MLE উপর ঘটে যখন নমুনা ভ্যারিয়েন্স ব্যবহার করে)।

\hat{Σ}

$\mathbf{\hat{\Sigma}}$

P (X | μ, \hat{Σ})

$\mathbf{P} (\mathbf{X} | \mu, \mathbf{\hat{\Sigma}} )$

\hat{Σ}

$\mathbf{\hat{\Sigma}}$

{\hat{μ}}_{n}

$\mathbf{\hat{\mu}_n}$

— unziberla

পদ্ধতি আপনাকে হবে বর্ণনা পরিবর্তে ব্যবহার করার জন্য

যাতে আমার ovশ্বরিকতার জন্য একটি আসল মূল্য থাকে, যেন আমি এটি আগে জানতাম। ঘনঘনবাদী পদ্ধতির ক্ষেত্রে এটি ভুল শোনাবে, তবে সম্ভবত এমন কিছু আছে যা আমি অনুপস্থিত যে আমি ধরে নিলাম যে পূর্বের জানা আছে এবং এটি পদ্ধতিটি সঠিক করে তোলে?

\hat{Σ} = E [Σ | x_{1} \dots x_{n}]

$\mathbf{\hat{\Sigma}} = E[ \Sigma | \mathbf{x_1} \dots \mathbf{x_n} ]$

— unziberla

7

ঠিক আছে, আমি আমার সমস্যার আসল সমাধান খুঁজে পেয়েছি। আমার (ভুল জায়গায়) প্রশ্নের সঠিক উত্তর যদি নির্বাচিত হয় তবে আমি এটি পোস্ট করছি।

মূলত, আমার প্রশ্নটি ব্যাখ্যা করে যে কীভাবে সমবায়কে জানার অর্থ অনুমান করা যায়, এবং উত্তরটি কীভাবে সমবায়িকতাটি অনুধাবন করা যায়। তবে আমার আসল সমস্যাটি অজানা উভয় পরামিতি দিয়ে অনুমান করা হয়েছিল।

আমি উইকিপিডিয়ায় উত্তরটি এখানে বর্ণিত ডেরাইভেশন সহ পেয়েছি । মাল্টিভারিয়েট নরমালের কনজুগেটেড পূর্বে হ'ল নরমাল-ইনভার্স-উইশার্ট, এটি মূলত মাল্টিভারিয়েট নরমালগুলির উপর বিতরণ।

পূর্বে প্যারামিটার নির্দিষ্ট করা প্রয়োজন হয় গড়, সংজ্ঞায়িত করতে সহভেদাংক সংজ্ঞায়িত করতে এবং দুটি স্কালে মান এবং আমি বলে দেয় কীভাবে আত্মবিশ্বাসী আমরা প্রথম দুটি প্যারামিটার এর মূল্যায়নের যথাক্রমে বলতে হবে যে। $\mathbf{\mu}_0$ $\mathbf{\Psi}$ $\kappa_0$ $\nu_0$

The updated distribution after observing $n$ samples of a $p$ -variate Normal has the form

P (μ, Σ | X) \sim N I W (\frac{κ_{0} μ_{0} + n \bar{x}}{κ_{0} + n}, κ_{0} + n, ν_{0} + n, Ψ + C + \frac{κ_{0} n}{κ_{0} + n} (\bar{x} - μ_{0}) (\bar{x} - μ_{0})^{T})

$\mathbf{P}(\boldsymbol\mu, \mathbf{\Sigma} | \mathbf{X}) \sim \mathrm{NIW} \left( \frac{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}}{\kappa_0+n} ,\, \kappa_0+n,\, \nu_0+n ,\, \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T \right)$

where

\bar{x} = \frac{1}{n} \sum_{i = 0}^{n} x_{i}

$\mathbf{\bar{x}} = {1 \over n} \sum_{i=0}^{n} \mathbf{x_i}$

C = \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{T}

$\mathbf{C} = \sum_{i=1}^n (\mathbf{x_i} - \mathbf{\bar{x}}) (\mathbf{x_i} - \mathbf{\bar{x}})^T$

so my desired estimated parameters are

E (μ | X) = \frac{κ_{0} μ_{0} + n \bar{x}}{κ_{0} + n}

$E (\boldsymbol\mu | \mathbf{X}) = {{\kappa_0\boldsymbol\mu_0+n\mathbf{\bar{x}}} \over{\kappa_0+n} }$

E (Σ | X) = \frac{Ψ + C + \frac{κ_{0} n}{κ_{0} + n} (\bar{x} - μ_{0}) (\bar{x} - μ_{0})^{T}}{ν_{0} + n - p - 1}

$E (\mathbf{\Sigma} | \mathbf{X}) = \frac{ \boldsymbol\Psi + \mathbf{C} + \frac{\kappa_0 n}{\kappa_0+n}(\mathbf{\bar{x}}-\boldsymbol\mu_0)(\mathbf{\bar{x}}-\boldsymbol\mu_0)^T }{ \nu_0 + n - p - 1}$

— unziberla
সূত্র