বায়েশিয়ান অনলাইন চেঞ্জপয়েন্ট সনাক্তকরণ (প্রান্তিক পূর্বাভাস বিতরণ)

Question

আমি অ্যাডামস এবং ম্যাকেকে বাইয়েশিয়ান অনলাইন চেঞ্জপয়েন্ট সনাক্তকরণ কাগজটি পড়ছি ( লিঙ্ক )।

প্রান্তিক পূর্বাভাস বিতরণ লিখে লেখকরা শুরু করেন:

$$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t} P(x_{t+1} | r_t, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) \qquad \qquad (1)$$ কোথায়

• $x_t$ সময়ে পর্যবেক্ষণ হয় $t$;
• $\textbf{x}_{1:t}$ অবধি পর্যবেক্ষণের সেটটি বোঝায় $t$;
• $r_t \in \mathbb{N}$বর্তমানে চলমান রানফল্য (শেষ পরিবর্তন পয়েন্ট থেকে সময় 0 হতে পারে); এবং
• $\textbf{x}_t^{(r)}$ রান সঙ্গে যুক্ত পর্যবেক্ষণের সেট $r_t$।

EQ। 1 আনুষ্ঠানিকভাবে সঠিক (@ জুহোকোকালার নীচে জবাবটি দেখুন), তবে আমার বোধগম্যতা হল আপনি যদি বাস্তবে কোনও ভবিষ্যদ্বাণী করতে চান$x_{t+1}$ আপনার এটি নিম্নলিখিত হিসাবে প্রসারিত করতে হবে:

$$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t, r_{t+1}} P(x_{t+1} | r_{t+1}, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) P(r_{t+1} | r_t) \qquad (1\text{b})$$

আমার যুক্তিটি হ'ল (ভবিষ্যতের) সময়ে একটি পরিবর্তন পয়েন্ট হতে পারে $t+1$তবে উত্তরোত্তর $P(r_t | \textbf{x}_{1:t})$ শুধুমাত্র কভার পর্যন্ত $t$।

মুল বক্তব্যটি হ'ল, কাগজে লেখকরা আমাদের একিউ তৈরি করেন। 1 যেমনটি হয় (কাগজে Eqs। 3 এবং 11 দেখুন), এবং 1 বি নয় । সুতরাং, তারা আপাতদৃষ্টিতে সময় পরিবর্তনের সম্ভাবনাটিকে উপেক্ষা করে$t+1$ যখন ভবিষ্যদ্বাণী করা $x_{t+1}$ সময়ে উপলব্ধ ডেটা থেকে $t$। বিভাগ 2 এর শুরুতে তারা এন পাসেন্ট বলে

আমরা ধরে নিই যে আমরা ভবিষ্যদ্বাণীমূলক বিতরণ গণনা করতে পারি [এর জন্য $x_{t+1}$] প্রদত্ত রান দৈর্ঘ্যের উপর শর্তসাপেক্ষ $r_t$।

ট্রিক যেখানে সম্ভবত সম্ভবত। তবে সাধারণভাবে, এই ভবিষ্যদ্বাণীপূর্ণ বিতরণকে একের মতো দেখতে হবে। 1B; যা তারা করে না (একাদশ 11)।

সুতরাং, আমি নিশ্চিত যে আমি কী ঘটছে তা বুঝতে পারছি না। স্বরলিপিটি সহ সম্ভবত মজার কিছু চলছে।

---

উল্লেখ

• অ্যাডামস, আরপি এবং ম্যাককে, ডিজে (2007)। বায়েশিয়ান অনলাইন চেঞ্জপয়েন্ট সনাক্তকরণ। আরএক্সিভ প্রিপ্রিন্ট আরএক্সিভ: 0710.3742।

Comments

এর একটি সম্ভাব্য ব্যাখ্যা $r_t$সময় ধাপ শেষে রান দৈর্ঘ্য প্রতিনিধিত্ব করে$t$, যা পরে সময়ে changepoint$t$। এটি দিয়ে, এক। 1 বোঝায়। আসলে, অ্যালগরিদমের একটি সূচনাটি সেট করে by$P(r_0 =0) = 1$ যা ধরে নিয়েছে যে শুরু করার ঠিক আগেই একটি পরিবর্তন পয়েন্ট রয়েছে $t=1$। তবে এর মধ্যে যদি পরিবর্তন হয় তবে চিত্র 1 ভুল (বা অন্তত বিভ্রান্তিকর) is$t =4$ এবং $t=5$, এবং মধ্যে $t=10$ এবং $t=11$ চিত্র 1 এ চিত্রিত হিসাবে, তারপর $r_4$ এবং $r_{10}$ এই স্বরলিপি অনুসারে 0 হওয়া উচিত, এবং না $r_5$ এবং $r_{11}$চিত্র 1 বি অনুযায়ী

— lacerbi

একে অদ্ভুত কিছু চলছে। 3 শেষ লাইনে যোগফলের মধ্যম গুণক হিসাবে $P(x_t \mid r_{t-1}, x^{(r)}_t)$ আমি ভেবেছিলাম $x^{(r)}_t$ রয়েছে $x_t$। আমি সন্দেহ$t$ এবং $t-1$ হিসাবে স্থান পরিবর্তন হয়েছে $P(x_t \mid r_t, x^{(r)}_{t-1})$বোঝাতে হবে। Eq এ। 11, ডান হাতের উপর নির্ভর করে বলে মনে হচ্ছে$x_t^{(r)}$যা বাম দিকে একেবারেই উপস্থিত হয় না, তাই হয় কিছু ভুল আছে বা আমি স্বীকৃতিটি মোটেই বুঝতে পারি না।

— জুহো কোক্কালা

@ জুহোক্ককলা: আমি আনন্দিত যে এই অনুভূতি নিয়ে আমি একমাত্র নই ...

— লাসেরবি

@ লেসারবি, এই কাগজটি সম্পর্কে আমার আরও একটি প্রশ্ন রয়েছে এবং আপনি মনে করেন যে আপনি এই কাজের সাথে পরিচিত বলে মনে করছেন আপনি এটির উত্তর দিতে সক্ষম হতে পারেন: stats.stackexchange.com/questions/419988 ।

— gwg

Answer 1

(1) এবং (1 বি) উভয়ই সঠিক। ওপির ঠিক আছে যে (এই মডেলটিতে) একটি পরিবর্তন পয়েন্ট থাকতে পারে$t+1$, এবং $x_{t+1}$পরিবর্তন পয়েন্ট আছে কিনা তার উপর নির্ভর করে। এটি (1) এর সম্ভাব্য মান হিসাবে কোনও সমস্যা বোঝায় না$r_{t+1}$ সম্পূর্ণরূপে দ্বারা "আচ্ছাদিত" $P(x_{t+1} \mid r_t, x_{1:t})$। $P(x_{t+1} | r_t, x_{1:t})$ শর্তসাপেক্ষে বিতরণ মানে $x_{t+1}$ শর্তসাপেক্ষে $(r_t, x_{1:t})$। এই শর্তসাপেক্ষ বন্টন গড় সহ "অন্যান্য সমস্ত কিছু" জুড়ে over$r_{t+1}$শর্তযুক্ত $(r_t, x_{1:t})$। যেমন কেউ লিখতে পারে, বলে,$P(x_{t+1000} | x_t)$, যা চেঞ্জপয়েন্টগুলির সম্ভাব্য সমস্ত কনফিগারেশন পাশাপাশি মানগুলির বিবেচনা করবে $x_i$এর মধ্যে ঘটছে $t$ এবং $t+1000$।

বাকী অংশগুলিতে আমি প্রথমে (1) এবং তারপরে (1 বি) ভিত্তিক (1) প্রাপ্ত করি।

(1) এর উত্স

যেকোন র্যান্ডম ভেরিয়েবলের জন্য $A,B,C$, আমাদের আছে

$$\begin{equation} P(A \mid B) = \sum_c P(A \mid B, C=c)\,P(C=c \mid B), \end{equation}$$ যতক্ষন পর্যন্ত না $C$স্বতন্ত্র (অন্যথায় যোগফল একটি অখণ্ড দ্বারা প্রতিস্থাপন করা প্রয়োজন)। এটি প্রয়োগ করা হচ্ছে$x_{t+1},x_{1:t},r_t$:

$$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x_{1:t})\,P(r_t \mid x_{1:t}), \end{equation}$$ which holds no matter what the dependencies between $r_t$, $x_{1:t}$, $x_{t+1}$ are, that is, no model assumptions have yet been used. In the present model, $x_{t+1}$ given $r_t,x^{(r)}_t$ is assumed* to be conditionally independent of the values of $x$ from the runs before $x^{(r)}_t$. This implies $P(x_{t+1} \mid r_t, x_{1:t}) = P(x_{t+1} \mid r_t, x^{(r)}_t)$. Substituting this into the previous equation, we get

$$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x^{(r)}_t)\,P(r_t \mid x_{1:t}), \qquad \qquad \qquad (1) \end{equation}$$ which is (1) in OP.

Derivation of (1b)

Let us consider the decomposition of $P(x_{t+1} \mid r_t, x^{(r)}_t)$ over possible values of $r_{t+1}$:

$$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)P(r_{t+1} \mid r_t, x^{(r)}_t). \end{equation}$$

Since it is assumed* that whether a changepoint occurs at $t+1$ (between $x_t$ and $x_{t+1}$) does not depend on the history of $x$, we have $P(r_{t+1} \mid r_t, x^{(r)}_t) = P(r_{t+1} \mid r_t)$. Furthermore, since $r_{t+1}$ determines whether $x_{t+1}$ belongs into the same run as $x_t$, we have $P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)=P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)$. Substituting these two simplifications into the factorization above, we get

$$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t). \end{equation}$$ Substituting this into (1), we get $$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} \left(\sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t)\right)\,P(r_t \mid x_{1:t}), \qquad (1b) \end{equation}$$ which is OP's (1b).

* Remark on the model's conditional independence assumptions

Based on quickly browsing the paper, I would personally like the conditional independence properties to be more explicitly stated somewhere, but I suppose that the intention is that $r$ is Markovian and the $x$:s associated to different runs are independent (given the runs).

Comments

(+1) Thanks. Yep, of course, I understand that Eq. 1 is formally correct if one assumes implicit marginalization over $r_{t+1}$. The problem is that later on the authors make predictions (Eq. 11 in the paper, and implicitly in Eq. 3) and they are seemingly not marginalizing over $r_{t+1}$ when they take them.

— lacerbi

Oh. It seems then that I misunderstood the question - should I delete this? You may want to clarify the question, currently it sounds like (1) is somehow incorrect (instead of perhaps not useful)

— Juho Kokkala

Please keep this answer, which is valuable. My mistake that I was't clear enough in my original post. I tried to clarify my question thanks to your comments, and in a way that still makes this answer meaningful.

— lacerbi