কোনও গবেষণাপত্রে গাউসিয়ান প্রসেস রিগ্রেশন সমীকরণগুলির উদ্ভব সম্পর্কে সন্দেহ

আমি এই কাগজের প্রিপ্রিন্টটি পড়ছি , এবং গাউসিয়ান প্রক্রিয়া রিগ্রেশন সম্পর্কিত সমীকরণগুলি আবিষ্কার করার পরে আমার সমস্যা হচ্ছে। তারা রাসমুসেন এবং উইলিয়ামসের সেটিং এবং স্বরলিপি ব্যবহার করে । সুতরাং, সংযোজনীয়, শূন্য-গড়, স্থির এবং সাধারণত বিতরণ শব্দটি বৈকল্পিক ধরে নেওয়া হয়: $\sigma^2_{noise}$

y = f (x) + ϵ, ϵ \sim N (0, σ_{n o i s e}^{2})

$y=f(\mathbf{x})+\epsilon, \quad \epsilon\sim N(0,\sigma^2_{noise})$

শূন্য গড়ের সাথে এক জিপি আগে ধরে নেওয়া হয় যার অর্থ , গড় 0 এবং কোভারিয়েন্স ম্যাট্রিক্স সহ গাউসিয়ান ভেক্টর $f(\mathbf{x})$ $\forall \ d\in N$ $\mathbf{f}=\{f(\mathbf{x_1}),\dots,f(\mathbf{x_d})\}$

Σ_{d} = (\begin{matrix} k (x_{1}, x_{1}) & k (x_{1}, x_{d}) \\ ⋱ \\ k (x_{d}, x_{1}) & k (x_{d}, x_{d}) \end{matrix})

$\Sigma_d=\pmatrix{k(\mathbf{x_1},\mathbf{x_1})& & k(\mathbf{x_1},\mathbf{x_d}) \\ & \ddots & \\k(\mathbf{x_d},\mathbf{x_1})& & k(\mathbf{x_d},\mathbf{x_d}) }$

এখন থেকে, আমরা ধরে নিই যে হাইপারপ্যারামিটারগুলি পরিচিত। তারপরে কাগজের একা (4) সুস্পষ্ট:

p (f, f^{*}) = N (0, (\begin{matrix} K_{f, f} & K_{f^{*}, f} \\ K_{f^{*}, f} & K_{f^{*}, f^{*}} \end{matrix}))

$p(\mathbf{f},\mathbf{f^*})=N\left(0,\pmatrix { K_{\mathbf{f},\mathbf{f}} & K_{\mathbf{f^*},\mathbf{f}} \\K_{\mathbf{f^*},\mathbf{f}} & K_{\mathbf{f^*},\mathbf{f^*}}} \right)$

সন্দেহগুলি এখানে আসে:

সমীকরণ (5):

$p (y | f) = N (f, σ_{n o i s e}^{2} I)$ $p(\mathbf{y}|\mathbf{f})=N\left(\mathbf{f},\sigma^2_{noise}I \right)$
$E[\mathbf{f}]=0$ , তবে আমি অনুমান করি কারণ যখন আমি , তখন যেখানে a একটি ধ্রুবক ভেক্টর এবং কেবল এলোমেলো। সঠিক? $E[\mathbf{y}|\mathbf{f}]=\mathbf{f}\neq0$ $\mathbf{f}$ $\mathbf{y}=\mathbf{c}+\boldsymbol{\epsilon}$ $\mathbf{c}$ $\boldsymbol{\epsilon}$
যাইহোক, এটি এক (6) যা আমার কাছে আরও অস্পষ্ট:

$p (f, f^{*} | y) = \frac{p (f, f^{*}) p (y | f)}{p (y)}$ $p(\mathbf{f},\mathbf{f^*}|\mathbf{y})=\frac{p(\mathbf{f},\mathbf{f^*})p(\mathbf{y}|\mathbf{f})}{p(\mathbf{y})}$
এটি বেয়েসের উপপাদ্যের স্বাভাবিক রূপ নয়। বেয়েসের উপপাদ্য হবে

$p (f, f^{*} | y) = \frac{p (f, f^{*}) p (y | f, f^{*})}{p (y)}$ $p(\mathbf{f},\mathbf{f^*}|\mathbf{y})=\frac{p(\mathbf{f},\mathbf{f^*})p(\mathbf{y}|\mathbf{f},\mathbf{f^*})}{p(\mathbf{y})}$
আমি দুটি ধরণের সমীকরণ কেন একই ধরণের বুঝতে পারি: স্বজ্ঞাতভাবে, প্রতিক্রিয়া ভেক্টর only কেবলমাত্র সম্পর্কিত সুপ্ত ভেক্টর on উপর নির্ভর করে , সুতরাং thus বা উপর কন্ডিশনার রয়েছে একই বন্টন নিয়ে যাওয়া উচিত। তবে এটি একটি অন্তর্দৃষ্টি, প্রমাণ নয়! আপনি আমাকে কেন সাহায্য করতে পারেন $\mathbf{y}$ $\mathbf{f}$ $\mathbf{f}$ $(\mathbf{f},\mathbf{f^*})$

$p (y | f, f^{*}) = p (y | f)$ $p(\mathbf{y}|\mathbf{f},\mathbf{f^*})=p(\mathbf{y}|\mathbf{f})$

regression bayesian gaussian-process

— DeltaIV
সূত্র

আমরা যদি fix স্থির করি , তবে in এর সমস্ত অনিশ্চয়তা শব্দ থেকে আসে। সুতরাং প্রবন্ধে সমীকরণ (5) জন্য আমরা যে দেওয়া আছে আমরা ভ্যারিয়েন্স সঙ্গে প্রতিটি বিন্দু স্বাধীন গোলমাল আছে এবং শূন্য গড় । আমরা প্রাথমিক গড় যুক্ত করি এবং উত্তর পাই। $\mathbf{f}$ $\mathbf{y}$ $\mathbf{f}$ $\sigma_{noise}^2$ $0$
প্রস্তাবিত সাম্যতা প্রমাণ করার একটি উপায় এখানে বিতরণটি সন্ধান করা বাম হাত এবং মানের ডানদিকে। উভয়ই গাউসিয়ান, বাম দিকের জন্য আমরা ইতিমধ্যে উত্তরটি জানি। ডান হাতের জন্য আমরা একইভাবে এগিয়ে চলি। আসুন এর শর্তসাপেক্ষ বিতরণটি সন্ধান করি । প্রথম অংশের ফলাফল থেকে আমরা জানি: সম্ভাব্যতার বিধিগুলি ব্যবহার করে থেকে একীকরণ করা সহজ $p (y | f, f^{*}) = p (y | f)$ $p(\mathbf{y} | \mathbf{f}, \mathbf{f}^*) = p(\mathbf{y} | \mathbf{f})$ $(\mathbf{y}, \mathbf{y}^*)$ $p (y, y^{*} | f, f^{*}) = N ((f, f^{*}), σ_{n o i s e}^{2} I) .$ $p(\mathbf{y}, \mathbf{y}^* | \mathbf{f}, \mathbf{f}^*) = \mathcal{N}((\mathbf{f}, \mathbf{f}^*), \sigma^2_{noise} I).$ $\mathbf{y}^*$ $(\mathbf{y}, \mathbf{y}^*)$ , যেমন কোভারিয়েন্স ম্যাট্রিক্সটি তির্যক এবং ভেক্টরগুলি এবং স্বতন্ত্র। এটি করার মাধ্যমে আমরা পাই: $\mathbf{y}$ $\mathbf{y}^*$ $p (y | f, f^{*}) = N (f, σ_{n o i s e}^{2} I) = p (y | f) .$ $p(\mathbf{y} | \mathbf{f}, \mathbf{f}^*) = \mathcal{N}(\mathbf{f}, \sigma^2_{noise} I) = p(\mathbf{y} | \mathbf{f}).$

— আলেক্সি জায়টসেভ
সূত্র