"সীমাবদ্ধ" এবং "স্থির" বিতরণগুলির মধ্যে পার্থক্য কী?

আমি মার্কভ চেইনে একটি প্রশ্ন করছি এবং শেষ দুটি অংশ এটি বলে:

এই মার্কভ চেইনের কি সীমিত বন্টন রয়েছে? যদি আপনার উত্তর "হ্যাঁ" হয় তবে সীমাবদ্ধ বিতরণটি সন্ধান করুন। আপনার উত্তর যদি "না" হয় তবে কেন তা ব্যাখ্যা করুন।

এই মার্কোভ চেইনটি কি কোনও স্থির বন্টনের অধিকারী? যদি আপনার উত্তর "হ্যাঁ" হয় তবে স্থিতিশীল বিতরণটি সন্ধান করুন। আপনার উত্তর যদি "না" হয় তবে কেন তা ব্যাখ্যা করুন।

পার্থক্য কি? এর আগে, আমি ভেবেছিলাম সীমিত বিতরণ যখন আপনি এটি ব্যবহার করে কাজ করেন $P = CA^n C^{-1}$ তবে এটি $n$ 'ম পদক্ষেপের রূপান্তর ম্যাট্রিক্স। তারা ব্যবহার করে সীমাবদ্ধ বিতরণ গণনা করেছেন $\Pi = \Pi P$ , যা আমি স্থির বিতরণ।

তাহলে কোনটি?

markov-process

— Kaish
সূত্র

আপনার পাঠ্যপুস্তকটি এমন একটি পার্থক্য তৈরি করতে পারে যা সর্বজনীন নয়: উদাহরণস্বরূপ, বিতরণ সীমাবদ্ধ করার বিষয়ে কার্ল সিগম্যানের নোটগুলি "সীমাবদ্ধ" এবং "স্থিতিশীল" বিতরণগুলিকে সমার্থক হিসাবে সংজ্ঞায়িত করেছে (পৃষ্ঠা 5 এর নীচে সংজ্ঞা 2.3)। অতএব পার্থক্য নির্ধারণের জন্য আপনাকে অবশ্যই আপনার পাঠ্যপুস্তকের সংজ্ঞাগুলি নিয়ে পরামর্শ করতে হবে ।

— whuber

@whuber এটা কাজ ভালো কিছু বলছে

lim_{n \to \infty} P_{i i}^{(n)}

$\lim_{n \rightarrow \infty} P_{ii}^{(n)}$ এবং এই অস্তিত্ব নেই। তখনই যায় বলে "যদিও সীমিত বন্টন বিদ্যমান নয়, নিশ্চল আছে। আসুন

Π = (π_{0}, π_{1}, . . ., π_{n})

$\Pi = (\pi_0, \pi_1, ... ,\pi_n)$ নিশ্চল বন্টন হতে ...." কিন্তু আমি গ্যারান্টি আপনি আগে প্রশ্নটিতে সীমাবদ্ধ বিতরণ গণনা করতে পারেন, তারা এটি এর মতো সমাধান করেছেন। এটা কি আপনার বোঝার?

— কাইশ

@ ভুবার আসলে, আমি এখন বেশ বিভ্রান্ত কারণ পূর্ববর্তী সীমাবদ্ধ বিতরণ প্রশ্নে তারা

π_{0} + π_{1} + π_{2} = 1

$\pi_0 + \pi_1 + \pi_2 = 1$ সমতা সন্তুষ্ট করে না, তাই সম্ভবত এটি ভিন্ন?

— কাইশ

একটি স্থির বন্টন হ'ল সময়ের সাথে স্থিতিশীল। যতদূর আমি সচেতন, একটি মার্কভ চেইনের সীমাবদ্ধ বিতরণ স্থিতিশীল এবং যদি একটি মার্কভ চেইনের স্থিতিশীল বিতরণ থাকে তবে এটি সীমিত বন্টনও বটে।

— শ্যাডট্যালকার

এন্ড্রেয়াসের

— সিদ্ধার্থ শাক্যা

উত্তর:

থেকে স্টচাস্টিক মডেলিং পরিচিতি Pinsky এবং Karlín (2011) দ্বারা:

একটি সীমাবদ্ধ বিতরণ, যখন এটি বিদ্যমান থাকে, সর্বদা স্থির বন্টন হয় তবে কনভার্সটি সত্য হয় না। সেখানে স্থির বিতরণ থাকতে পারে তবে সীমাবদ্ধ বিতরণ নেই। উদাহরণস্বরূপ, পর্যায়ক্রমিক মার্কোভ চেইনের কোনও সীমাবদ্ধ বিতরণ নেই যার রূপান্তর সম্ভাবনা ম্যাট্রিক্স তবে
$P = ‖ \begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix} ‖$ $\mathbf{P}=\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\|$ একটি স্থিতিশীল বিতরণ, যেহেতু $\pi=\left(\frac{1}{2},\frac{1}{2}\right)$ (পৃষ্ঠা 205)। $(\frac{1}{2}, \frac{1}{2}) ‖ \begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix} ‖ = (\frac{1}{2}, \frac{1}{2})$ $\left(\frac{1}{2},\frac{1}{2}\right)\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\|=\left(\frac{1}{2},\frac{1}{2}\right)$

একটি পূর্বে বিভাগে, তারা ইতিমধ্যেই একটি "সংজ্ঞায়িত করেছিলেন সীমিত সম্ভাব্যতা বিতরণের " দ্বারা $\pi$

$lim_{n \to \infty} P_{i j}^{(n)} = π_{j} f o r j = 0, 1, \dots, N$ $\lim_{n\rightarrow\infty}P_{ij}^{(n)}=\pi_j~\mathrm{for}~j=0,1,\dots,N$

এবং সমতুল্য

(পি 165)।
$lim_{n \to \infty} \Pr {X_{n} = j | X_{0} = i} = π_{j} > 0 f o r j = 0, 1, \dots, N$ $\lim_{n\rightarrow\infty}\operatorname{Pr}\{X_n=j|X_0=i\}=\pi_j>0~\mathrm{for}~j=0,1,\dots,N$

উদাহরণস্বরূপ oscillates উপরে deterministically, এবং তাই একই ভাবে ক্রমানুসারে একটা সীমা আছে ব্যর্থ হয় একটা সীমা আছে ব্যর্থ। $\{1,0,1,0,1,\dots\}$

তারা জানিয়েছে যে একটি নিয়মিত মার্কভ চেইন (যাতে সমস্ত এন-পদক্ষেপের সংক্রমণের সম্ভাবনা ইতিবাচক থাকে) সর্বদা একটি সীমাবদ্ধ বিতরণ থাকে এবং প্রমাণ করে যে এটি অবশ্যই অনন্য অবৈধ সমাধান হতে হবে

(পি। 168)
$π_{j} = \sum_{k = 0}^{N} π_{k} P_{k j}, j = 0, 1, \dots, N, \sum_{k = 0}^{N} π_{k} = 1$ $\pi_j=\sum_{k=0}^N\pi_kP_{kj},~~j=0,1,\dots,N,\\ \sum_{k=0}^N\pi_k=1$

তারপরে উদাহরণ হিসাবে একই পৃষ্ঠায়, তারা লিখুন

যে কোনও সেট সন্তুষ্টিজনক (4.27) কে মার্কভ চেইনের स्थिर সম্ভাবনা বন্টন বলা হয় । "স্থাবর" শব্দটি সেই সম্পত্তি থেকে উদ্ভূত হয় যে একটি স্টেশনারী বিতরণ অনুসারে একটি মার্কভ চেইন শুরু হয়েছিল যে সমস্ত সময়ে এই বিতরণটি অনুসরণ করবে। আনুষ্ঠানিকভাবে, যদি , তারপর সবার জন্য $(\pi_i)_{i=0}^{\infty}$ $\operatorname{Pr}\{X_0=i\}=\pi_i$ $\operatorname{Pr}\{X_n=i\}=\pi_i$ । $n=1,2,\dots$

যেখানে (৪.২) সমীকরণের সেট

$π_{i} \geq 0, \sum_{i = 0}^{\infty} π_{i} = 1, a n d π_{j} = \sum_{i = 0}^{\infty} π_{i} P_{i j} .$ $\pi_i \geq 0, \sum_{i=0}^{\infty} \pi_i=1,~\mathrm{and}~\pi_j = \sum_{i=0}^{\infty} \pi_iP_{ij}.$

যা এখন অসীম সংখ্যক রাজ্য বাদে উপরের মতো ঠিক একই স্থির অবস্থা condition

স্টেশনারিটির এই সংজ্ঞা সহ, পৃষ্ঠা 168 এ দেওয়া বিবৃতিটি প্রত্যাবর্তনমূলকভাবে পুনরায় ফিরিয়ে দেওয়া যেতে পারে:

নিয়মিত মার্কভ চেইনের সীমিত বন্টন হ'ল স্থির বন্টন।
যদি একটি মার্কভ চেইনের সীমাবদ্ধ বিতরণটি স্থিতিশীল বিতরণ হয় তবে স্থিতিশীল বিতরণ অনন্য।

— shadowtalker
সূত্র

স্থিরতার জন্য 'সংক্রমণের সম্ভাবনাগুলি সময়ের সাথে সাথে পরিবর্তিত হয় না' বলতে আপনি কী বোঝাতে চেয়েছেন তা কি আপনি পরিষ্কার করতে পারেন? সীমিত এবং স্থির বিতরণ উভয়ই রাজ্যগুলির সম্ভাব্যতা সম্পর্কে।

— জুহো কোক্কালা

হ্যাঁ, আমি দেখতে পেয়েছি আপনি নিজের উত্তর লিখেছেন তবে আমি আরও সঠিক হতে আমার পুনর্গঠিত করেছি।

— শ্যাডএলকার

আমি এখনও এটি পাই না। আমি বলতে চাইছি যখন আপনি "অসীম সংখ্যক রাজ্য ছাড়া ...." বলছেন তখন আপনার অর্থ কি? আপনি কি আরও স্পষ্টভাবে এটি স্পষ্ট করতে পারেন?

— রনি

আপনি যদি দিতে চান তবে @ অरोনি দুটি এক্সপ্রেশন একরকম

N = \infty

$N=\infty$

π = (1 / 2, 1 / 2)

$\pi=(1/2,1/2)$

P^{n}

$P^{n}$

একটি স্টেশনারি বিতরণ যেমন একটি বিতরণ $\pi$ যে পদক্ষেপে রাজ্যের উপর বিতরণ $k$ হয় $\pi$ , তারপর পদক্ষেপে রাজ্যের উপর বিতরণ $k+1$ হয় $\pi$ । এটাই,

π = π পি ।

$\begin{equation} \pi = \pi P. \end{equation}$ A limiting distribution is such a distribution

π

$\pi$ that no matter what the initial distribution is, the distribution over states converges to

π

$\pi$ as the number of steps goes to infinity:

lim_{k \to \infty} π^{(0)} P^{k} = π,

$\begin{equation} \lim_{k\rightarrow \infty} \pi^{(0)} P^k = \pi, \end{equation}$ independent of

π^{(0)}

$\pi^{(0)}$ . For example, let us consider a Markov chain whose two states are the sides of a coin,

{h e a d s, t a i l s}

$\{heads, tails\}$ . Each step consists of turning the coin upside down (with probability 1). Note that when we compute the state distributions, they are not conditional on previous steps, i.e., the guy who computes the probabilities does not see the coin. So, the transition matrix is

P = (\begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix}) .

$\begin{equation} P = \begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix}. \end{equation}$ If we first initialize the coin by flipping it randomly (

π^{(0)} = (\begin{matrix} 0.5 & 0.5 \end{matrix})

$\pi^{(0)} = \begin{pmatrix}0.5 & 0.5\end{pmatrix}$ ), then also all subsequent time steps follow this distribution. (If you flip a fair coin, and then turn it upside down, the probability of heads is still

0.5

$0.5$ ). Thus,

(\begin{matrix} 0.5 & 0.5 \end{matrix})

$\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$ is a stationary distribution for this Markov chain.

However, this chain does not have a limiting distribution: suppose we initialize the coin so that it is heads with probability $2/3$ . Then, as all subsequent states are determined by the initial state, after an even number of steps, the state is heads with probability $2/3$ and after an odd number of steps the state is heads with probability $1/3$ . This holds no matter how many steps are taken, thus the distribution over states has no limit.

Now, let us modify the process so that at each step, one does not necessarily turn the coin. Instead, one throws a die, and if the result is $6$ , the coin is left as is. This Markov chain has transition matrix

P = (\begin{matrix} 1 / 6 & 5 / 6 \\ 5 / 6 & 1 / 6 \end{matrix}) .

$\begin{equation} P = \begin{pmatrix} 1/6 & 5/6 \\ 5/6 & 1/6 \end{pmatrix}. \end{equation}$ Without going over the math, I will point out that this process will 'forget' the initial state due to randomly omitting the turn. After a huge amount of steps, the probability of heads will be close to

0.5

$0.5$ , even if we know how the coin was initialized. Thus, this chain has the limiting distribution

(\begin{matrix} 0.5 & 0.5 \end{matrix})

$\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$ .

— Juho Kokkala
সূত্র

Good point about forgetting the initial state, I completely glossed over this in my answer.

— shadowtalker

This explanation helps me understand a lot. Can I say the existence of a steady state is equivalent to the existence of a limiting distribution? Since it is not easy to calculate the limiting distribution, we often calculate the stationary distribution by solving balance equations instead. However, I thought this alternative method doesn't guarantee that the stationary distribution is independent from initial states, therefore, it explains why for

P = (\begin{matrix} 0 & 1 \\ 1 & 0 \end{matrix})

$P = \begin{pmatrix}0&1\\1&0\end{pmatrix}$ , it has the stationary distribution but no steady state that is independent from the initial states.

— Guoyang Qin

@GuoyangQin If you have a new question, you may wish to post it as a question (linking to this one if it helps provide question). Although I would have thought "steady state" in this context would mean "stationary distribution" so it would be best to clearly define the term in the question

— Juho Kokkala

স্বরলিপিটি একদিকে রেখে, "স্থির" শব্দের অর্থ "একবার আপনি সেখানে পৌঁছে গেলে আপনি সেখানে থাকবেন"; "সীমাবদ্ধ" শব্দটি বোঝায় যে আপনি যদি যথেষ্ট পরিমাণে যান তবে অবশেষে আপনি সেখানে পৌঁছে যাবেন। ভেবেছি এটি সহায়ক হতে পারে।

— ব্লুস্কি
সূত্র

It isn't clear how this applies to the question. Could you explain?

— whuber

Hi @whuber, I mean to say that a limiting distribution is necessarily a stationary distribution while a stationary distribution is not necessarily a limiting distribution. Hence there is a difference. This is essentially the same as other answers but I think it's easier to remember.

— BlueSky

Thank you for the clarification: it shows us what you are attempting to accomplish. However, I cannot find any reasonable way to interpret your description of "stationary" in a way that is consistent with the mathematical definition.

— whuber

@whuber BlueSky's phrasing seems like an extremely straightforward plain English notion of "fixed point" to me -- I'm not sure what your object could mean.

— Richard Rast