দুটি শোষণকারী মার্কভ শৃঙ্খলা দেওয়া, একজনের অপরটির আগে শেষ হওয়ার সম্ভাবনা কত?

আমার দুটি আলাদা মার্কভ চেইন রয়েছে, যার একটিতে শোষক রাষ্ট্র এবং একটি পরিচিত শুরুর অবস্থান রয়েছে। আমি সম্ভাবনাটি নির্ধারণ করতে চাই যে চেইন 1 চেইন 2 এর চেয়ে কম পদক্ষেপে শোষক অবস্থায় পৌঁছাবে।

আমি n ধাপ পর একটি নির্দিষ্ট শৃঙ্খল একটি শুষে রাষ্ট্র পৌঁছনোর সম্ভাব্যতা হিসাব করতে পারেন: প্রদত্ত রূপান্তরটি ম্যাট্রিক্স পর শোষিত হচ্ছে সম্ভাব্যতা পদক্ষেপ যেখানে শুরু রাষ্ট্রীয় ও হয় হয় শোষণকারী রাষ্ট্র $P$ $n$ $P^n_{ij}$ $i$ $j$

যদিও এখান থেকে যাব আমি নিশ্চিত নই। আনুষাঙ্গিক সমস্যাগুলি আমি দেখেছি পাশা (যেমন 8 এর যোগফলের আগে 7 এর যোগফল ঘূর্ণায়মান) তবে এটি সমাধান করা সহজ কারণ কোনও নির্দিষ্ট পরিমাণের ঘূর্ণায়নের সম্ভাবনা এখনও অবধি নেওয়া পদক্ষেপের তুলনায় স্থির এবং স্বতন্ত্র।

probability markov-chain transition-matrix

— জেফ
সূত্র

সমান্তরালে চেইন চালান। ফলস্বরূপ পণ্য শৃঙ্খলে তিনটি শোষণকারী রাষ্ট্রের সংজ্ঞা দাও:

প্রথম চেইন একটি শোষণকারী অবস্থায় পৌঁছে তবে দ্বিতীয়টি হয় না।
দ্বিতীয় চেইন একটি শোষণকারী অবস্থায় পৌঁছে তবে প্রথমটি হয় না।
দুটি শৃঙ্খল একযোগে একটি শোষণকারী অবস্থায় পৌঁছায়।

পণ্য শৃঙ্খলে এই তিনটি রাজ্যের সীমিত সম্ভাবনাগুলি আগ্রহের সম্ভাবনা দেয়।

এই সমাধানে কিছু (সাধারণ) নির্মাণ জড়িত। প্রশ্নের মতোই, আসুন একটি শৃঙ্খলার জন্য স্থানান্তর ম্যাট্রিক হতে হবে । যখন চেন অবস্থায় রয়েছে , রাষ্ট্র করার জন্য একটি ট্রানজিশন সম্ভাব্যতা দেয় । একটি শোষণকারী রাষ্ট্র সম্ভাব্যতা দিয়ে নিজের মধ্যে একটি স্থানান্তর করে । $\mathbb{P} = P_{ij}, 1 \le i,j\le n$ $\mathcal P$ $i$ $P_{ij}$ $j$ $1$

যে কোনো অবস্থায় যেতে পারে শুষে তৈরি সারি প্রতিস্থাপন উপরে একটি সূচক ভেক্টর দ্বারা একটি সঙ্গে অবস্থানে । $i$ $\mathbb{P}_{i} = (P_{ij}, j=1, 2, \ldots,n)$ $(0,0,\ldots,0,1,0,\ldots,0)$ $1$ $i$
কোন সেট শুষে রাজ্যের যাবে মিশে গিয়ে তৈরি একটি নতুন চেইন তৈরি করে যার রাজ্য । রূপান্তর ম্যাট্রিক্স দ্বারা দেওয়া হয় $A$ $\mathcal{P}/A$ $\{i\,|\, i\notin A\}\cup \{A\}$

$(P / A)_{i j} = \begin{array}{ll} {\begin{cases} P_{i j} & i \notin A, j \notin A \\ \sum_{k \in A} P_{i k} & i \notin A, j = A \\ 0 & i = A, j \notin A \\ 1 & i = j = A . \end{cases} \end{array}$ $(\mathbb{P}/A)_{ij} = \begin{array}{ll} \left\{ \begin{array}{ll} P_{ij} & i \notin A,\, j \notin A\\ \sum_{k\in A} P_{ik} & i\notin A, j=A \\ 0 & i=A, j\notin A \\ 1 & i = j = A. \end{array}\right. \end{array}$
এটি সাথে সম্পর্কিত of এর কলামগুলিকে সংক্ষিপ্ত করে এবং সারিগুলি প্রতিস্থাপন করে সাথে একক সারিতে পরিবর্তিত হয় যা নিজের মধ্যে রূপান্তর করে। $\mathbb{P}$ $A$ $A$
পণ্য দুই চেইন উপর রাজ্যের এবং রাজ্যের উপর , রূপান্তরটি সঙ্গে ম্যাট্রিক্স এবং , যথাক্রমে, একটি মার্কভ চেইন হয় যুক্তরাষ্ট্রের রূপান্তর ম্যাট্রিক্স সহ $\mathcal{P}$ $S_P$ $\mathcal{Q}$ $S_Q$ $\mathbb{P}$ $\mathbb{Q}$ $S_P\times S_Q = \{(p,q)\,|\, p\in S_P, q\in S_Q\}$

$(P \otimes Q)_{(i, j), (k, l)} = P_{i k} Q_{j l} .$ $(\mathbb{P} \otimes \mathbb{Q})_{(i,j),(k,l)} = P_{ik}Q_{jl}.$
ফলস্বরূপ, পণ্য চেইন দুটি চেইন সমান্তরালভাবে চালায়, পৃথকভাবে প্রতিটি যেখানে রয়েছে তা ট্র্যাক করে এবং স্বতন্ত্রভাবে ট্রানজিশন তৈরি করে।

একটি সাধারণ উদাহরণ এই নির্মাণগুলি স্পষ্ট করতে পারে। ধরা যাক পলি অবতরণ শিরোনামের একটি দিয়ে একটি মুদ্রা উল্টাচ্ছে । তিনি একটি মাথা পর্যবেক্ষণ পর্যন্ত এটি করার পরিকল্পনা করছেন। মুদ্রা প্রক্রিয়াটির জন্য most সবচেয়ে সাম্প্রতিক ফ্লিপের ফলাফলের প্রতিনিধিত্ব করে: লেজের জন্য ,, মাথাগুলির জন্য । মাথা ঠেকানোর পরিকল্পনা করে, পলি construction একটি শোষণকারী রাষ্ট্র তৈরি করে প্রথম নির্মাণটি প্রয়োগ করবে । ফলাফল রূপান্তর ম্যাট্রিক্স হয় $p$ $S_P = \{\text{T},\text{H}\}$ $\text{T}$ $\text{H}$ $\text H$

P = (\begin{matrix} 1 - p & p \\ 0 & 1 \end{matrix}) .

$\mathbb{P} = \pmatrix{1-p & p \\ 0 & 1}.$

এটি প্রথম টস দ্বারা প্রদত্ত এলোমেলো অবস্থায় হয়। $(1-p,p)$

পলির সাথে সময়মতো কুইন্সি একটি ন্যায্য মুদ্রা টস করবে। তিনি একবার পরপর দুটি মাথা দেখে থামার পরিকল্পনা করছেন। তাঁর মার্কভ চেইনকে পূর্বের ফলাফলগুলি এবং বর্তমান ফলাফলের উপর নজর রাখতে হবে। এখানে দুটি মাথা এবং দুটি লেজের চারটি সংমিশ্রণ রয়েছে, যা আমি " " হিসাবে সংক্ষেপে উল্লেখ করব , উদাহরণস্বরূপ, যেখানে প্রথম বর্ণটি পূর্ববর্তী ফলাফল এবং দ্বিতীয় পত্রটি বর্তমান ফলাফল। কুইন্সি একটি শোষণকারী রাষ্ট্র হিসাবে নির্মাণ (1) প্রয়োগ করে । এটি করার পরে, তিনি বুঝতে পারলেন যে তাঁর আসলে চারটি রাষ্ট্রের দরকার নেই: তিনি তিনটি রাজ্যে তাঁর শৃঙ্খলা সহজ করতে পারেন: অর্থ বর্তমান ফলাফল লেজ, অর্থ বর্তমান ফলাফল মাথা, এবং $\text{TH}$ $\text{HH}$ $\text{T}$ $\text{H}$ $\text{X}$ অর্থ শেষ দুটি ফলাফল উভয় প্রধান ছিল - এটি শোষণকারী রাষ্ট্র। রূপান্তর ম্যাট্রিক্স হয়

Q = (\begin{matrix} \frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 1 \end{matrix}) .

$\mathbb{Q} = \pmatrix{\frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 1}.$

পণ্য চেইন ছয়টি রাজ্যে চলমান: । ট্রানজিশন ম্যাট্রিক্স এবং of এর একটি সেন্সর পণ্য এবং এটি সহজেই গণনা করা হয়। উদাহরণস্বরূপ, সুযোগ যে পলি থেকে একটি রূপান্তরটি তোলে থেকে , এবং একই সময়ে (এবং স্বতন্ত্রভাবে), কুইনসিটি থেকে তে রূপান্তর করে । প্রাক্তনটির এবং দ্বিতীয়টির সুযোগ রয়েছে । চেইনগুলি স্বাধীনভাবে পরিচালিত হওয়ার কারণে, সেই সম্ভাবনাগুলি বহুগুণে দেয়, দেয় $(T,T), (T,H), (T,X); (H,T), (H,H), (H,X)$ $\mathbb{P}$ $\mathbb{Q}$ $(\mathbb{P}\otimes\mathbb{Q})_{(T,T),(T,H)}$ $\text T$ $\text T$ $\text T$ $\text H$ $1-p$ $1/2$ $(1-p)/2$ । সম্পূর্ণ রূপান্তর ম্যাট্রিক্স হয়

P \otimes Q = (\begin{matrix} \frac{1 - p}{2} & \frac{1 - p}{2} & 0 & \frac{p}{2} & \frac{p}{2} & 0 \\ \frac{1 - p}{2} & 0 & \frac{1 - p}{2} & \frac{p}{2} & 0 & \frac{p}{2} \\ 0 & 0 & 1 - p & 0 & 0 & p \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & 1 \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & \frac{p}{2} & \frac{p}{2} & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & 0 & \frac{p}{2} \\ 0 & 0 & 1-p & 0 & 0 & p \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & 1 }.$

এটি দ্বিতীয় ম্যাট্রিক্স সাথে সম্পর্কিত ব্লক সহ ম্যাট্রিক্স ফর্মে রয়েছে : $\mathbb Q$

P \otimes Q = (\begin{matrix} P_{11} Q & P_{12} Q \\ P_{21} Q & P_{22} Q \end{matrix}) = (\begin{matrix} (1 - p) Q & p Q \\ 0 & Q \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ P_{11}\mathbb Q & P_{12}\mathbb Q \\ P_{21}\mathbb Q & P_{22}\mathbb Q } = \pmatrix{ (1-p)\mathbb Q & p\mathbb Q \\ \mathbb 0 & \mathbb Q }.$

পলি এবং কুইন্সি প্রথমে তাদের লক্ষ্যটি অর্জন করবে তা দেখার জন্য প্রতিযোগিতা করে। যখনই কোন রূপান্তরটি প্রথম তৈরি করা হয় বিজয়ী পলি হতে হবে যেখানে নয় ; বিজয়ীর কুইন্সি হবে যখনই প্রথম স্থানান্তরিত হবে ; এবং যদি এর কোনওটির আগেই ঘটে যায় তবে একটি অঙ্কন হবে। ট্র্যাক রাখতে, আমরা রাজ্যগুলিকে এবং উভয়কে শোষণকারী (নির্মাণের মাধ্যমে (1)) করব এবং তারপরে তাদের মার্জ করব ( নির্মাণের মাধ্যমে (2))। দ্বারা আদেশিত ফলাফল রূপান্তর ম্যাট্রিক্স $(\text{H},\text{*})$ $\text{*}$ $\text X$ $(\text{T},\text{X})$ $(\text{H},\text{X})$ $(\text{H},\text{T})$ $(\text{H},\text{H})$ $(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$ হয়

আর = (\begin{matrix} \frac{1 - পি}{2} & \frac{1 - পি}{2} & 0 & পি & 0 \\ \frac{1 - পি}{2} & 0 & \frac{1 - পি}{2} & \frac{পি}{2} & \frac{পি}{2} \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 \end{matrix}) ।

$\mathbb{R} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & p & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & \frac{p}{2} \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 }.$

পলি এবং কুইনসি একযোগে প্রথম নিক্ষেপের ফলাফলগুলি হবে রাজ্যগুলি সম্ভাব্যতা সহ যথাক্রমে : এটি প্রাথমিক অবস্থা যেখানে চেইনটি শুরু করা হবে। $(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$ $\mu = ((1-p)/2, (1-p)/2, 0, p, 0)$

হিসাবে সীমাতে , $n\to \infty$

μ \cdot {আর}^{এন} \to \frac{1}{1 + + 4 পি - {পি}^{2}} (0, 0, (1 - পি)^{2}, পি (5 - পি), পি (1 - পি)) ।

$\mu \cdot \mathbb{R}^n \to \frac{1}{1+4p-p^2}(0, 0, (1-p)^2, p(5-p), p(1-p)).$

সুতরাং তিনটি শোষণকারী রাষ্ট্রের আপেক্ষিক সম্ভাবনাগুলি কুইনসি জয়ের প্রতিনিধিত্ব করে, পলি জিতায়, তারা আঁকায়) হ'ল । $(T,X), \{(H,T), (H,H)\}, (H,X)$ $(1-p)^2:p(5-p):p(1-p)$

ব্যক্তিত্ব

এর একটি ক্রিয়াকলাপ হিসাবে (পলির যে কোনও একটি ছুড়ে যাওয়ার সম্ভাবনা রয়েছে), লাল বক্ররেখার বিজয়ী পলির সম্ভাবনা, নীল বক্ররেখার কুইন্সের জয়ের সম্ভাবনা, এবং সোনার বক্ররেখা একটি ড্রয়ের সুযোগকে প্লট করে। $p$

— whuber
সূত্র

খুব ঝরঝরে উদাহরণ, এর জন্য ধন্যবাদ। আমি নিজের জন্য সেগুলি দেখার জন্য এখনও বিশদটি নিয়ে কাজ করছি। কেবল একটি প্রশ্ন: এখানে আমরা ধরে নিলাম দুটি ঘটনা (পলি এবং কুইন্সি নিক্ষেপ) একই সাথে ঘটছে, যদি আমরা সেগুলি ক্রমবর্ধমান করে তুলি, বা প্রতিটি বার কে এলোমেলোভাবে বেছে বেছে বেছে বেছে বেছে বেছে নিয়ে চলে আসি তবে তার কতটা পার্থক্য হবে?

— ব্যবহারকারী 929304

@ user929304 আপনি বিভিন্ন উত্তর পাবেন, সম্ভবত যথেষ্ট পরিমাণে তাই। উদাহরণস্বরূপ, ধরুন পি এবং কিউ একটি শৃঙ্খলা চালাচ্ছে যার মধ্যে রাজ্যগুলি বিভাজনে সাবটান্ট এ এবং বিতে বিভক্ত হয় যেখানে A থেকে বিতে এবং সমস্ত বি থেকে A. এ চলে যায় পি এবং কিউ উভয়ই এ রাজ্যে শুরু হয় In পণ্য চেইন তারা উভয়ই একই সাথে A এবং B এর মধ্যে বিকল্প হয়, তবে ক্রমযুক্ত এবং এলোমেলো-পছন্দের চেইনগুলি সেই অদম্য প্যাটার্নটিকে ভেঙে দেয়।

— whuber