আপনি দুটি গাউসিয়ান প্রক্রিয়া কীভাবে তুলনা করবেন?

কুলব্যাক-লেবলার ডাইভারজেন্স দুটি সম্ভাব্য ঘনত্বের ক্রিয়াগুলির সাথে তুলনা করার জন্য একটি মেট্রিক, তবে দুটি জিপির এবং তুলনা করতে কোন মেট্রিক ব্যবহার করা হয় ? $X$ $Y$

gaussian-process metric

— পুষ্কর
সূত্র

d (X, Y) = E [sup_{t} | X (t) - Y (t) |]

$d(X,Y)=\mathbb{E}\left[ \sup_t |X(t)-Y(t)| \right]$

@ জেন: আপনার যদি সময় থাকে তবে আমি এই দূরত্বের মেট্রিক সম্পর্কে আরও জানতে আগ্রহী।

— নিল জি

হাই, নীল আমি এটি সম্পর্কে খুব বেশি জানি না। দয়া করে, আমার উত্তর নম্র দেখুন।

— জেন

উত্তর:

মন্তব্য গসিয়ান বিতরণের প্রক্রিয়া সম্ভবত অসীম জন্য বহুচলকীয় গসিয়ান এর এক্সটেনশান । সুতরাং, আপনি over এর সাথে সংহত করে জিপি সম্ভাব্যতা বিতরণের মধ্যে কেএল ডাইভার্জেন্স ব্যবহার করতে পারেন : $\mathcal{X}\to\mathbb{R}$ $\mathcal{X}$ $\mathbb{R}^\mathcal{X}$

{ডি}_{কে এল} (পি | প্রশ্নঃ) = \int_{{আর}^{এক্স}} লগ \frac{ঘ পি}{ঘ প্রশ্নঃ} ঘ পি ।

$D_{KL}(P|Q)=\int_{\mathbb{R}^\mathcal{X}} \log \frac{dP}{dQ} dP\,.$

আপনি জিপি ডিস্ট্রিবিউশন অনুযায়ী বারবার স্যাম্পলিং প্রক্রিয়া চালিয়ে একটি বিচ্ছিন্ন over এর মাধ্যমে এই পরিমাণটিকে আনুমানিক অঙ্কের জন্য এমসি পদ্ধতি ব্যবহার করতে পারেন । কনভার্জেন্সের গতি যথেষ্ট ভাল কিনা তা আমি জানি না ... $\mathcal{X}$

মন্তব্য করুন যে যদি সাথে সীমাবদ্ধ হয় , তবে আপনি মাল্টিভারিয়েট সাধারণ বিতরণগুলির জন্য সাধারণ কেএল ফিরে যান: $\mathcal{X}$ $|\mathcal{X}|=n$

D_{K L} (G P (μ_{1}, K_{1}), G P (μ_{2}, K_{2})) = \frac{1}{2} (t r (K_{2}^{- 1} K_{1}) + (μ_{2} - μ_{1})^{⊤} K_{2}^{- 1} (μ_{2} - μ_{1}) - n + \log \frac{| K_{2} |}{| K_{1} |})

$D_{KL}\big(\mathcal{GP}(\mu_1,K_1), \mathcal{GP}(\mu_2,K_2)\big) = \frac 1 2 \Big(tr(K_2^{-1}K_1) + (\mu_2\!-\!\mu_1)^\top K_2^{-1}(\mu_2\!-\!\mu_1)-n+\log\frac{|K_2|}{|K_1|}\Big)$

— এমিল
সূত্র

আপনি উল্লিখিত দুটি উপায় (মি 1 এবং মি 2) কীভাবে গণনা করতে পারি। বা গাউস প্রক্রিয়াটির জন্য আমার কি তাদের যথারীতি শূন্যের সমান নেওয়া উচিত?

— মারাত জাকিরভ

মনে রাখবেন যে যদি গড় ফাংশন সঙ্গে একটি গসিয়ান প্রক্রিয়া এবং সহভেদাংক ফাংশন , তারপর, যে জন্য , র্যান্ডম ভেক্টর এর গড় ভেক্টর সহ মাল্টিভারিয়েট স্বাভাবিক বিতরণ রয়েছে $X:T\times \Omega\to\mathbb{R}$ $m$ $K$ $t_1,\dots,t_k\in T$ $(X(t_1),\dots,X(t_k))$ এবং কোভেরিয়েন্স ম্যাট্রিক্স , যেখানে আমরা সাধারণ সংক্ষেপণ $(m(t_1),\dots,m(t_k))$ $\Sigma=(\sigma_{ij})=(K(t_i,t_j))$ । $X(t)=X(t,\,\cdot\,)$

প্রতিটি উপলব্ধি একটি আসল ফাংশন যার ডোমেন সূচক সেট । ধরুন যে । দুটি গাউসিয়ান প্রসেস এবং , দুটি বাস্তবায়ন মধ্যে একটি সাধারণ দূরত্ব $X(\,\cdot\,,\omega)$ $T$ $T=[0,1]$ $X$ $Y$ এবং $X(\,\cdot\,,\omega)$ হয়। সুতরাং, এবং দুটি প্রসেসের মধ্যবর্তী দূরত্বটিকে হিসাবে নির্ধারণ করা স্বাভাবিক বলে মনে হয় $Y(\,\cdot\,,\omega)$ $\sup_{t\in[0,1]} |X(t,\omega) - Y(t,\omega)|$ $X$ $Y$ এই দূরত্বের জন্য বিশ্লেষণাত্মক অভিব্যক্তি আছে কিনা তা আমি জানি না, তবে আমি বিশ্বাস করি যে আপনি মন্টি কার্লো অনুমান হিসাবে নিম্নলিখিত হিসাবে গণনা করতে পারেন। কিছু জরিমানা গ্রিড ত্রুটিমুক্ত , এবং নমুনা আঁকা এবং স্বাভাবিক র্যান্ডম ভেক্টর থেকে

ঘ (এক্স, ওয়াই) = ই [\underset{টি \in [0, 1]}{অভিজ্ঞতার স্বাস পাত্তয়া} | এক্স (টি) - ওয়াই (টি) |] । (*)

$d(X,Y) = \mathbb{E}\!\left[\sup_{t\in[0,1]} \left| X(t) - Y(t)\right|\right] \, . \qquad (*)$

0 \leq t_{1} < \dots < t_{k} \leq 1

$0\leq t_1<\dots<t_k\leq 1$

(x_{i 1}, \dots, x_{i k})

$(x_{i1},\dots,x_{ik})$

(y_{i 1}, \dots, y_{i k})

$(y_{i1},\dots,y_{ik})$

এবং

যথাক্রমে

। আনুমানিক

দ্বারা

(X (t_{1}), \dots, X (t_{k}))

$(X(t_1),\dots,X(t_k))$

(Y (t_{1}), \dots, Y (t_{k}))

$(Y(t_1),\dots,Y(t_k))$

i = 1, \dots, N

$i=1,\dots,N$

d (X, Y)

$d(X,Y)$

\frac{1}{N} \sum_{i = 1}^{N} max_{1 \leq j \leq k} | x_{i j} - y_{i j} | .

$\frac{1}{N} \sum_{i=1}^N \max_{1\leq j\leq k} |x_{ij}-y_{ij}| \, .$

— জেন
সূত্র

আপনি প্রতিটি ভেক্টর থেকে নমুনা কিভাবে? আপনি যদি প্রতিটি জিপি-র জন্য কেবলমাত্র নমুনা করেন তবে আপনি বৈকল্পগুলি বিবেচনা করবেন না। অন্যথায় আপনাকে সামঞ্জস্যপূর্ণ একটি নমুনা কৌশল তৈরি করতে হবে।

— পুস্কর

এটি একটি দুর্দান্ত সম্পদ: gaussprocess.org/gpml/chapters

— জেন

আপনি এই প্রশ্নের সমস্ত উত্তরও পড়তে পারেন: stats.stackexchange.com/questions/30652/…

— জেন

d (X, X) \neq 0

$d(X,X) \neq 0$

d (G_{1}, G_{2}) = E_{X \sim G_{1}, Y \sim G_{2}} [sup_{t} | X (t) - Y (t) |]

$d(G_1,G_2)=\mathbb{E}_{X\sim G_1, Y\sim G_2}[\sup_t |X(t)-Y(t)|]$

E_{X \sim G, Y \sim G} sup_{t} | X (t) - Y (t) | > 0

$\mathbb{E}_{X\sim G, Y\sim G} \sup_t |X(t)-Y(t)| > 0$

G

$G$

d (X, X) \neq 0

$d(X,X)\neq 0$

(*)

$(*)$