শক্তিবৃত্তি শিক্ষায় বেলম্যানের সমীকরণ ডেরাইভিং

Question

আমি " ইন রিইনফোর্সমেন্ট লার্নিং এ। একটি পরিচিতি " -এ নীচের সমীকরণটি দেখছি , তবে নীচের নীলে আমি যে পদক্ষেপটি তুলে ধরেছি তা পুরোপুরি অনুসরণ করবেন না। এই পদক্ষেপটি ঠিক কীভাবে উত্পন্ন?

Answer 1

এটি যার প্রত্যেকটির পিছনে পরিষ্কার, কাঠামোযুক্ত গণিত সম্পর্কে আশ্চর্য হয়ে যায় তাদের উত্তর (যেমন আপনি যদি এমন লোকদের অন্তর্ভুক্ত হন যা র্যান্ডম ভেরিয়েবল কী তা জানে এবং আপনাকে অবশ্যই এটি প্রদর্শন বা ধরে নিতে হবে যে একটি এলোমেলো ভেরিয়েবলের ঘনত্ব রয়েছে তবে এটি হল আপনার জন্য উত্তর ;-)):

সবার আগে আমাদের থাকা দরকার যে মার্কোভ ডিসিশন প্রক্রিয়াটিতে কেবলমাত্র সীমাবদ্ধ রয়েছে - অর্থাৎ আমাদের প্রয়োজন যে ঘনত্বের একটি সীমাবদ্ধ রয়েছে, যার প্রতিটি ভেরিয়েবলের অন্তর্গত , যেমন for all এবং একটি মানচিত্রে যেমন (অর্থাত্ MDP এর পিছনে অনেকগুলি রাজ্য থাকতে পারে তবে সেখানে চূড়ান্তভাবে অনেকগুলি -পূর্ববর্তী-বিতরণগুলি সম্ভবত রাজ্যগুলির মধ্যে অসীম ট্রানজিশনের সাথে সংযুক্ত থাকে)$L^1$$E$$L^1$$\int_{\mathbb{R}}x \cdot e(x) dx < \infty$$e \in E$$F : A \times S \to E$

$$p(r_t|a_t, s_t) = F(a_t, s_t)(r_t)$$ $L^1$

উপপাদ্য 1 : $X \in L^1(\Omega)$ (যথা একটি ইন্টিগ্রেটেবল রিয়েল এলোমেলো ভেরিয়েবল) আসুন এবং $Y$ মতো আরও একটি এলোমেলো পরিবর্তনশীল হোক যাতে $X,Y$ একটি সাধারণ ঘনত্ব থাকে

$$E[X|Y=y] = \int_\mathbb{R} x p(x|y) dx$$

প্রুফ : স্টেফান হ্যানসেন এখানে মূলত প্রমাণিত ven

উপপাদ্য 2 : $X \in L^1(\Omega)$ এবং $Y,Z$ আরও এলোমেলো পরিবর্তনশীল হতে দিন যেমন $X,Y,Z$ সাধারণ ঘনত্ব থাকে

$$E[X|Y=y] = \int_{\mathcal{Z}} p(z|y) E[X|Y=y,Z=z] dz$$ যেখানে$\mathcal{Z}$ জেড এর পরিসীমা ।$Z$

প্রুফ :

$$\begin{align*} E[X|Y=y] &= \int_{\mathbb{R}} x p(x|y) dx \\ &~~~~\text{(by Thm. 1)}\\ &= \int_{\mathbb{R}} x \frac{p(x,y)}{p(y)} dx \\ &= \int_{\mathbb{R}} x \frac{\int_{\mathcal{Z}} p(x,y,z) dz}{p(y)} dx \\ &= \int_{\mathcal{Z}} \int_{\mathbb{R}} x \frac{ p(x,y,z) }{p(y)} dx dz \\ &= \int_{\mathcal{Z}} \int_{\mathbb{R}} x p(x|y,z)p(z|y) dx dz \\ &= \int_{\mathcal{Z}} p(z|y) \int_{\mathbb{R}} x p(x|y,z) dx dz \\ &= \int_{\mathcal{Z}} p(z|y) E[X|Y=y,Z=z] dz \\ &~~~~\text{(by Thm. 1)} \end{align*}$$

Put রাখুন এবং তারপরে কেউ দেখায় ( এমডিপিতে কেবল চূড়ান্তভাবে অনেকগুলি পূর্বে রয়েছে) যা রূপান্তর করে এবং যেহেতু the functionএখনও (অর্থাত্ ইন্টিগ্রেটেবল) কেউ শর্তসাপেক্ষ প্রত্যাশার [কারণগুলির কারণগুলি] সংজ্ঞায়িত সমীকরণগুলির উপর নিয়মিত সংমিশ্রণগুলির উপর মনোোটোন কনভার্জেন্সের সাধারণ সংমিশ্রণটি ব্যবহার করে এবং তারপরেও আধিপত্য বিস্তৃত করতে পারেন $G_t = \sum_{k=0}^\infty \gamma^k R_{t+k}$$G_t^{(K)} = \sum_{k=0}^K \gamma^k R_{t+k}$$L^1$$G_t^{(K)}$$\sum_{k=0}^\infty \gamma^k |R_{t+k}|$$L^1(\Omega)$

$$\lim_{K \to \infty} E[G_t^{(K)} | S_t=s_t] = E[G_t | S_t=s_t]$$ এখন একটি এটি দেখায় $$E[G_t^{(K)} | S_t=s_t] = E[R_{t} | S_t=s_t] + \gamma \int_S p(s_{t+1}|s_t) E[G_{t+1}^{(K-1)} | S_{t+1}=s_{t+1}] ds_{t+1}$$ জি ( কে ) টি = আর টি + γ জি ( কে - 1 ) টি + 1 ই [ জি ( কে - 1 ) টি + 1 ব্যবহার করে Th, থিম। 2 উপরে তারপর থম। তে 1 এবং তারপরে একটি সরল প্রান্তিককরণ যুদ্ধ ব্যবহার করে, একজন দেখায় যে সমস্ত । এখন আমাদের সমীকরণের উভয় দিকে সীমা প্রয়োগ করতে হবে । রাজ্য স্পেস এর সাথে অবিচ্ছেদ্য সীমাটি টানতে আমাদের কিছু অতিরিক্ত অনুমান করা দরকার:$G_t^{(K)} = R_t + \gamma G_{t+1}^{(K-1)}$$E[G_{t+1}^{(K-1)}|S_{t+1}=s', S_t=s_t]$$p(r_q|s_{t+1}, s_t) = p(r_q|s_{t+1})$$q \geq t+1$$K \to \infty$$S$

হয় রাষ্ট্রীয় স্থান সীমাবদ্ধ (তারপরে যোগফল এবং সমষ্টিটি সীমাবদ্ধ) বা সমস্ত পুরষ্কারগুলি সমস্ত ইতিবাচক হয় (তারপরে আমরা একঘেয়ে রূপান্তর ব্যবহার করি) বা সমস্ত পুরষ্কারগুলি নেতিবাচক হয় (তারপরে আমরা সামনে বিয়োগ চিহ্ন ) সমীকরণ এবং আবার একঘেয়ে রূপান্তর ব্যবহার করুন) বা সমস্ত পুরষ্কার সীমাবদ্ধ (তারপরে আমরা প্রাধান্যযুক্ত রূপান্তর ব্যবহার করি)। তারপরে ( উপরের আংশিক / সসীম বেলম্যান সমীকরণের উভয় পক্ষেই প্রয়োগ করে ) আমরা পাই$\int_S = \sum_S$$\lim_{K \to \infty}$

$$E[G_t | S_t=s_t] = E[G_t^{(K)} | S_t=s_t] = E[R_{t} | S_t=s_t] + \gamma \int_S p(s_{t+1}|s_t) E[G_{t+1} | S_{t+1}=s_{t+1}] ds_{t+1}$$

এবং তারপরে বাকিটি হ'ল স্বাভাবিক ঘনত্বের কারসাজি।

মন্তব্য: এমনকি খুব সাধারণ কাজগুলিতেও রাষ্ট্রের স্থানটি অসীম হতে পারে! একটি উদাহরণ হ'ল 'ভারসাম্যহীন একটি খুঁটি'-টাস্ক। রাজ্যটি মূলত মেরুটির কোণ ( একটি মান , একটি অসীম সেট!)$[0, 2\pi)$

মন্তব্য: লোকেরা মন্তব্য করতে পারে 'ময়দা, এই প্রমাণটি আরও ছোট করা যেতে পারে যদি আপনি কেবল এর ঘনত্ব সরাসরি ব্যবহার করেন এবং দেখান যে '... তবে ... আমার প্রশ্নগুলি হবে:$G_t$$p(g_{t+1}|s_{t+1}, s_t) = p(g_{t+1}|s_{t+1})$

1. আপনি কীভাবে কীভাবে জানতে পারেন যে ঘনত্ব রয়েছে?$G_{t+1}$
2. আপনি কীভাবে এসেছেন যে এমনকি সাথে একটি সাধারণ ঘনত্ব ?$G_{t+1}$$S_{t+1}, S_t$
3. আপনি কীভাবে এই ? এটি কেবল মার্কভ সম্পত্তি নয়: মার্কভ সম্পত্তি আপনাকে কেবলমাত্র প্রান্তিক বিতরণ সম্পর্কে কিছু বলে তবে এগুলি পুরো বিতরণটি প্রয়োজনীয়ভাবে নির্ধারণ করে না, উদাহরণস্বরূপ মাল্টিভারিয়েট গাউসিয়ানরা দেখুন!$p(g_{t+1}|s_{t+1}, s_t) = p(g_{t+1}|s_{t+1})$

Answer 2

ছাড় পুরস্কারের মোট যোগফল যাক সময় পরে হতে: G t = R t + 1 + γ R t + 2 + γ 2 R t + 3 + । । $t$
$G_t = R_{t+1}+\gamma R_{t+2}+\gamma^2 R_{t+3}+...$

রাজ্যের শুরু ইউটিলিটি মান, সময়ে প্রত্যাশিত সমষ্টি সমতূল্য এর ছাড় পুরষ্কার নির্বাহ নীতির রাষ্ট্র থেকে শুরু অগ্রে। সংজ্ঞামতে আইন আইন অনুসারেt R π s U π ( S t = s ) = E π [ G t | এস টি = এস $s$$t$
$R$$\pi$$s$
$U_\pi(S_t=s) = E_\pi[G_t|S_t = s]$
জি টি = ই π [ ( আর টি + + 1 + + γ ( আর টি + + 2 + + γ আর টি + + 3 + + । । $\\ = E_\pi[(R_{t+1}+\gamma R_{t+2}+\gamma^2 R_{t+3}+...)|S_t = s]$$G_t$
= ই π [ ( আর টি + 1 + γ ( জি টি + 1 ) ) | এস টি = এস ] = ই π [ আর টি + 1 | এস টি = এস ] + γ ই π [ জি টি + ১ | এস টি = এস $= E_\pi[(R_{t+1}+\gamma (R_{t+2}+\gamma R_{t+3}+...))|S_t = s]$
$= E_\pi[(R_{t+1}+\gamma (G_{t+1}))|S_t = s]$
$= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[ G_{t+1}|S_t = s]$
= ই π [ আর টি + 1 | এস টি = এস ] + γ ই π [ $= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[E_\pi(G_{t+1}|S_{t+1} = s')|S_t = s]$মোট প্রত্যাশা সংজ্ঞা অনুসারে রৈখিকতার আইন অনুসারে
ইউ π = ই π [ আর টি + + 1 + + γ ইউ π ( এস টি + + 1 = গুলি ' ) | এস টি = এস $= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[U_\pi(S_{t+1}= s')|S_t = s]$$U_\pi$
$= E_\pi[R_{t+1} + \gamma U_\pi(S_{t+1}= s')|S_t = s]$

Assuming যে প্রক্রিয়া সন্তুষ্ট মার্কভ সম্পত্তি:
সম্ভাব্যতা রাজ্যের শেষ পর্যন্ত এর রাষ্ট্র থেকে শুরু করে এবং প্রতিকারমূলক পদক্ষেপ নেওয়া , এবং পুরস্কার রাজ্যের শেষ পর্যন্ত এর রাষ্ট্র থেকে শুরু করে এবং পদক্ষেপ না নেওয়া , s ′ s a P r ( s ′ | s , a ) = P r ( S t + 1 = s ′ , S t = s , A t = a ) R s ′ s a R ( s , a , s) ′ ) = [ আর টি + 1 | এস $Pr$$s'$$s$$a$
$Pr(s'|s,a) = Pr(S_{t+1} = s', S_t=s,A_t = a)$
$R$$s'$$s$$a$
$R(s,a,s') = [R_{t+1}|S_t = s, A_t = a, S_{t+1}= s']$

সুতরাং আমরা উপরের উপযোগীকরণের সমীকরণটিকে আবার লিখতে পারি,
$= \sum_a \pi(a|s) \sum_{s'} Pr(s'|s,a)[R(s,a,s')+ \gamma U_\pi(S_{t+1}=s')]$

কোথায়; : কর্ম গ্রহণের সম্ভাব্যতা যখন রাষ্ট্র একটি সম্ভাব্যতার সূত্রাবলি নীতির জন্য। নীতির জন্য,a s ∑ a π ( a | s ) = $\pi(a|s)$$a$$s$$\sum_a \pi(a|s)= 1$

Comments

মাত্র কয়েকটি নোট: স্টোকাস্টিক নীতিতেও over সমষ্টি 1 এর সমান হয় তবে একটি নির্বিরোধী নীতিতে কেবলমাত্র একটি ক্রিয়া থাকে যা পুরো ওজন প্রাপ্ত করে (যেমন, এবং বাকীটি 0 ওজন গ্রহণ করুন, সুতরাং সেই শব্দটিটি সমীকরণ থেকে সরানো হবে Also এছাড়াও আপনি সম্পূর্ণ প্রত্যাশার আইনটি যে লাইনে ব্যবহার করেছেন, তাতে কনডিশনশালার ক্রমটি বিপরীত হয়েছেπ ( a | s ) = $\pi$$\pi(a|s) = 1$

— গিলাদ

আমি পুরোপুরি নিশ্চিত যে এই উত্তরটি ভুল: আমরা সম্পূর্ণ প্রত্যাশার আইন জড়িত না হওয়া অবধি সমীকরণগুলি অনুসরণ করি। তারপর বাম দিকের উপর নির্ভর করে না সময় ডান দিকে আছে ... অর্থাত যদি সমীকরণ সঠিক তারপর যার জন্য তারা কি সঠিক? আপনি অবিচ্ছেদ্য উপর কোন ধরণের থাকতে হবে ইতিমধ্যে যে পর্যায়ে। কারণ সম্ভবত আপনার (একটি এলোমেলো পরিবর্তনশীল) বনাম এর ফ্যাক্টরিয়েশন (একটি নির্বিচারবাদী ফাংশন!) পার্থক্য সম্পর্কে আপনার ভুল বোঝাবুঝি ...s ′ s ′ E [ এক্স | ই ] ই [ এক্স | Y = y $s'$$s'$$s'$$E[X|Y]$$E[X|Y=y]$

— ফ্যাবিয়ান ওয়ার্নার

@ ফ্যাবিয়ান ওয়ার্নার আমি সম্মতি জানাই এটি সঠিক নয়। জি শি এর উত্তর সঠিক উত্তর।

— টিউসার

@teucer এই উত্তরটি ঠিক করা যেতে পারে কারণ এখানে কিছু "প্রতিসাম্যকরণ" পাওয়া গেছে, যেমন তবে এখনও, জি শিস উত্তরের মতোই প্রশ্নটি হ'ল: কেন ? এটি কেবল মার্কভ সম্পত্তিই নয় কারণ a সত্যিই জটিল আরভি: এটি কি রূপান্তরিত করে? যদি তাই হয় তবে কোথায়? সাধারণ ঘনত্ব কী? আমরা কেবল সীমাবদ্ধ অঙ্কের (জটিল বোঝার জন্য) এই অভিব্যক্তিটি জানি তবে অসীমের ক্ষেত্রে? ই [ জি টি + ১ | এস টি + 1 = এস টি + 1 , এস টি = এস টি$E[A|C=c] = \int_{\text{range}(B)} p(b|c) E[A|B=b, C=c] dP_B(b)$জি টি + 1 পি ( জি টি + 1 , এস টি + 1 , এস টি$E[G_{t+1}|S_{t+1}=s_{t+1}, S_t=s_t] = E[G_{t+1}|S_{t+1}=s_{t+1}]$$G_{t+1}$$p(g_{t+1}, s_{t+1}, s_t)$

— ফ্যাবিয়ান ওয়ার্নার

@ ফ্যাবিয়ান ওয়ার্নার নিশ্চিত নন যে আমি সমস্ত প্রশ্নের উত্তর দিতে পারি কিনা। কিছু পয়েন্টারের নীচে। of এর জন্য, এটি পুরষ্কারের যোগফল হিসাবে, সিরিজটি রূপান্তরিত করে (ডিস্কিং ফ্যাক্টরটি এবং যেখানে এটি রূপান্তরিত হয় তা আসলে কোনও ব্যাপার নয়) ধরে নেওয়া যুক্তিযুক্ত । আমি ঘনত্ব নিয়ে উদ্বেগটি পাই না (যতক্ষণ না আমরা এলোমেলো ভেরিয়েবল রয়েছে ততক্ষণ একটি যৌথ ঘনত্বকে সংজ্ঞায়িত করতে পারে), এটি কেবলমাত্র যদি এটির সংজ্ঞা দেওয়া হয় তবে তা গুরুত্বপূর্ণ এবং যদি সে ক্ষেত্রে তা হয়। < $G_{t+1}$$<1$

— টিউসার

Answer 3

এখানে আমার প্রমাণ। এটি শর্তাধীন বিতরণগুলির কারসাজির উপর ভিত্তি করে তৈরি করা হয়েছে যা অনুসরণ করা সহজ করে তোলে। আশা করি এটি আপনাকে সহায়তা করবে।

$$\begin{align} v_{\pi}(s)&=E{\left[G_t|S_t=s\right]} \nonumber \\ &=E{\left[R_{t+1}+\gamma G_{t+1}|S_t=s\right]} \nonumber \\ &= \sum_{s'}\sum_{r}\sum_{g_{t+1}}\sum_{a}p(s',r,g_{t+1}, a|s)(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}\sum_{g_{t+1}}p(s',r,g_{t+1} |a, s)(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}\sum_{g_{t+1}}p(s',r|a, s)p(g_{t+1}|s', r, a, s)(r+\gamma g_{t+1}) \nonumber \\ &\text{Note that $p(g_{t+1}|s', r, a, s)=p(g_{t+1}|s')$ by assumption of MDP} \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)\sum_{g_{t+1}}p(g_{t+1}|s')(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)(r+\gamma\sum_{g_{t+1}}p(g_{t+1}|s')g_{t+1}) \nonumber \\ &=\sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)\left(r+\gamma v_{\pi}(s')\right) \label{eq2} \end{align}$$ এটি বিখ্যাত বেলম্যান সমীকরণ।

Comments

এই মন্তব্যটি 'নোট যে ...' আরও কিছুটা ব্যাখ্যা করতে আপনার আপত্তি আছে? এই র্যান্ডম ভেরিয়েবলগুলি এবং রাষ্ট্র এবং ক্রিয়া ভেরিয়েবলগুলির কেন একটি সাধারণ ঘনত্ব রয়েছে? যদি তা হয় তবে আপনি কেন এই সম্পত্তিটি ব্যবহার করছেন তা জানেন? আমি দেখতে পাচ্ছি যে এটি সীমাবদ্ধ রাশির জন্য সত্য তবে এলোমেলো পরিবর্তনশীল যদি একটি সীমা থাকে ... ??? $G_{t+1}$

— ফ্যাবিয়ান ওয়ার্নার

দীর্ঘসূত্রী করতে: প্রথমত এর প্রত্যাহার কি দিন । । লক্ষ্য করুন শুধুমাত্র সরাসরি উপর নির্ভর করে এবং যেহেতু সব ধারন করে একটি এমডিপি পরিবর্তন তথ্য (আরো সঠিকভাবে, এবং time দেওয়া সময়ের আগে সমস্ত রাজ্য, ক্রিয়াকলাপ এবং পুরষ্কার থেকে পৃথক । একইভাবে, শুধুমাত্র উপর নির্ভর করে এবং । ফলস্বরূপ, , স্বতন্ত্র জি টি + 1 = আর টি + 2 + আর টি + 3 + ⋯ আর টি + 2 এস টি + 1 এ টি + 1 পি ( এস ′ , আর | এস , এ ) আর টি + 2 টি + 1 এস টি + 1 এ টি + 1 আর টি $G_{t+1}$$G_{t+1}=R_{t+2}+R_{t+3}+\cdots$$R_{t+2}$$S_{t+1}$$A_{t+1}$$p(s', r|s, a)$$R_{t+2}$$t+1$$S_{t+1}$$A_{t+1}$ এস টি + 2 এ টি + 2 জি টি + 1 এস টি এ টি আর টি এস টি + $R_{t+3}$$S_{t+2}$$A_{t+2}$$G_{t+1}$$S_t$$A_t$, এবং দেওয়া হয়েছে , যা সেই লাইনটি ব্যাখ্যা করে। $R_t$$S_{t+1}$

— জি শি

দুঃখিত, এটি কেবল 'প্রেরণা দেয়', এটি আসলে কিছুই ব্যাখ্যা করে না। উদাহরণস্বরূপ: of এর ঘনত্ব ? আপনি কেন নিশ্চিত যে ? কেন এই র্যান্ডম ভেরিয়েবল এমনকি না আছে একটি সাধারণ ঘনত্ব? আপনি কি জানেন যে একটি যোগফল ঘনত্বগুলিতে একটি রূপান্তরকে রূপান্তরিত করে তাই কী ... the ঘনত্বের মধ্যে অসীম পরিমাণে হওয়া উচিত ??? ঘনত্বের জন্য একেবারেই প্রার্থী নেই! পি ( জি টি + 1 | এস টি + 1 , এস টি ) = পি ( জি টি + 1 | এস টি + 1 ) জি টি + $G_{t+1}$$p(g_{t+1}|s_{t+1}, s_t) = p(g_{t+1}|s_{t+1})$$G_{t+1}$

— ফ্যাবিয়ান ওয়ার্নার

ফ্যাবিয়ানের কাছে: আমি আপনার প্রশ্নটি পাই না। 1. আপনি প্রান্তিক বিতরণ এর সঠিক ফর্মটি চান ? আমি এটি জানি না এবং এই প্রমাণে আমাদের এটির দরকার নেই। ২. কেন ? কারণ আমি আগে যেমন উল্লেখ করা এবং স্বাধীন দেওয়া হয় । ৩. "সাধারণ ঘনত্ব" বলতে কী বোঝ? আপনি মানে যৌথ বিতরণ? আপনি জানতে চান কেন এই এলোমেলো ভেরিয়েবলগুলির একটি যৌথ বিতরণ আছে? এই মহাবিশ্বের সমস্ত র্যান্ডম ভেরিয়েবলের একটি যৌথ বিতরণ থাকতে পারে। এটি যদি আপনার প্রশ্ন হয় তবে আমি আপনাকে একটি সম্ভাব্য তত্ত্বের বইটি সন্ধান করার এবং এটি পড়ার পরামর্শ দিচ্ছি। p ( g t + 1 | s t + 1 , s t ) = p ( g t + 1 | s t + 1 ) g t + 1 s t s t + $p(g_{t+1})$$p(g_{t+1}|s_{t+1}, s_t)=p(g_{t+1}|s_{t+1})$$g_{t+1}$$s_t$$s_{t+1}$

— জি শি

আসুন আমরা এই আলোচনাটিকে চ্যাটে স্থানান্তরিত করি: chat.stackexchange.com/rooms/88952/bellman-equation

— ফ্যাবিয়ান ওয়ার্নার

Answer 4

নিম্নলিখিত পদ্ধতির সাথে কী?

$$\begin{align} v_\pi(s) & = \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_t = s\right] \\ & = \sum_a \pi(a \mid s) \sum_{s'} \sum_r p(s', r \mid s, a) \cdot \,\\ & \qquad \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_{t} = s, A_{t+1} = a, S_{t+1} = s', R_{t+1} = r\right] \\ & = \sum_a \pi(a \mid s) \sum_{s', r} p(s', r \mid s, a) \left[r + \gamma v_\pi(s')\right]. \end{align}$$

অঙ্কের অর্ডার উদ্ধার করার জন্য চালু করা হয় , এবং থেকে । সর্বোপরি, সম্ভাব্য ক্রিয়া এবং সম্ভাব্য পরবর্তী রাষ্ট্রগুলি হতে পারে। এই অতিরিক্ত শর্তের সাথে, প্রত্যাশার লাইনারিটি প্রায় সরাসরি ফলাফলের দিকে নিয়ে যায়।s ′ r $a$$s'$$r$$s$

যদিও আমার যুক্তিটি গাণিতিকভাবে কতটা কঠোর তা নিশ্চিত নই। আমি উন্নতির জন্য উন্মুক্ত।

Comments

শেষ লাইনটি কেবল এমডিপি সম্পত্তি হিসাবে কাজ করে।

— টিউসার

Answer 5

এটি গ্রহণযোগ্য উত্তরের কেবল একটি মন্তব্য / সংযোজন।

মোট প্রত্যাশার আইন প্রয়োগ করা হচ্ছে এমন লাইনে আমি বিভ্রান্ত হয়ে পড়েছিলাম। আমি মনে করি না মোট প্রত্যাশার আইনের মূল ফর্মটি এখানে সহায়তা করতে পারে। এর একটি বৈকল্পিক আসলে এখানে প্রয়োজন।

যদি এলোমেলো পরিবর্তনশীল এবং সমস্ত প্রত্যাশা বিদ্যমান বলে ধরে নিচ্ছে, তবে নিম্নলিখিত পরিচয়টি ধারণ করে:$X,Y,Z$

$E[X|Y] = E[E[X|Y,Z]|Y]$

এই ক্ষেত্রে, , এবং । তারপর$X= G_{t+1}$$Y = S_t$$Z = S_{t+1}$

$E[G_{t+1}|S_t=s] = E[E[G_{t+1}|S_t=s, S_{t+1}=s'|S_t=s]$ , যা মার্কভ সম্পত্তি একুউল দ্বারা$E[E[G_{t+1}|S_{t+1}=s']|S_t=s]$

সেখান থেকে, উত্তর থেকে কেউ বাকী প্রমাণ অনুসরণ করতে পারে।

Comments

সিভি তে স্বাগতম! উত্তরটি শুধুমাত্র প্রশ্নের উত্তর দেওয়ার জন্য ব্যবহার করুন। আপনার যথেষ্ট খ্যাতি (50) হয়ে গেলে আপনি মন্তব্য যুক্ত করতে পারেন।

— ফ্রান্সস রোডেনবার্গ

ধন্যবাদ. হ্যাঁ, যেহেতু যথেষ্ট খ্যাতি না থাকার কারণে আমি মন্তব্য করতে পারিনি, তাই আমি ভেবেছিলাম যে উত্তরগুলিতে ব্যাখ্যা যুক্ত করা কার্যকর হবে। তবে আমি তা মাথায় রাখব।

— মেহেদী গোলারী

আমি উত্সাহিত করেছি কিন্তু তবুও, এই উত্তরটি বিশদটি অনুপস্থিত: এমনকি যদি এই উন্মাদ সম্পর্কটিকে সন্তুষ্ট করে তবে শর্তসাপেক্ষ প্রত্যাশাগুলির সংশ্লেষণের ক্ষেত্রেও এটি সত্য যে কেউ গ্যারান্টি দেয় না! Ntabgoba উত্তর দিয়ে ক্ষেত্রে হিসাবে অর্থাৎ, বাম দিকে নির্ভর করে না উপর সময় ডান দিকে আছে । এই সমীকরণ সঠিক হতে পারে না! গুলি $E[X|Y]$$s'$

— ফ্যাবিয়ান ওয়ার্নার

Answer 6

ππ(a | s)a$\mathbb{E}_\pi(\cdot)$ সাধারণত প্রত্যাশাটিকে বোঝায় এজেন্ট নীতি অনুসরণ করে । এই ক্ষেত্রে অ নির্ণায়ক মনে হয়, অর্থাত সম্ভাব্যতা ফেরৎ যে এজেন্ট কর্ম লাগে যখন রাষ্ট্র ।$\pi$$\pi(a|s)$$a$$s$

দেখে মনে হচ্ছে , লোয়ার-কেস , একটি র্যান্ডম ভেরিয়েবল প্রতিস্থাপন করছে । দ্বিতীয় প্রত্যাশা অসীম সমষ্টি প্রতিস্থাপন, ধৃষ্টতা যে আমরা অনুসরণ অব্যাহত প্রতিফলিত সব ভবিষ্যতের জন্য । এর পরের বার পদক্ষেপে প্রত্যাশিত তাত্ক্ষণিক পুরষ্কার হয়; দ্বিতীয় প্রত্যাশা যা হয়ে পরবর্তী রাষ্ট্র প্রত্যাশিত মান, রাষ্ট্র আপ ঘুর সম্ভাবনা দ্বারা পরিমেয় -is নিয়ে থেকে ।আর টি + + 1 π টি Σ গুলি ' , দ দ ⋅ পি ( গুলি ' , দ | গুলি , একটি ) বনাম π এর ' একটি $r$$R_{t+1}$$\pi$$t$$\sum_{s',r} r \cdot p(s′,r|s,a)$$v_\pi$$s'$$a$$s$

সুতরাং, প্রত্যাশা নীতিগত সম্ভাবনার পাশাপাশি রূপান্তর এবং পুরষ্কারের কার্যগুলির জন্য অ্যাকাউন্টগুলি এখানে হিসাবে একসাথে প্রকাশিত হয়েছে ।$p(s', r|s,a)$

Comments

ধন্যবাদ। হ্যাঁ, আপনার সম্পর্কে কি উল্লেখ সঠিক (এটা ব্যবস্থা গ্রহণের এজেন্টের সম্ভাবনা যখন রাজ্যের )। a $\pi(a|s)$$a$$s$

— অ্যামিলিও ওয়াজকেজ-রেইনা

আমি যা অনুসরণ করি না তা হ'ল শর্তগুলি দ্বিতীয় পদক্ষেপের কোন পদগুলিতে হুবহু প্রসারিত হয় (আমি সম্ভাবনার ফ্যাক্টরীকরণ এবং প্রান্তিককরণের সাথে পরিচিত, তবে আরএল এর সাথে তেমন কিছু না)। শব্দটি কি প্রসারিত হচ্ছে? অর্থাৎ পূর্ববর্তী ধাপে ঠিক ঠিক পরবর্তী ধাপে কিসের সমান? $R_t$

— অ্যামিলিও ওয়াজকেজ-রেইনা

এটা দেখে মনে হচ্ছে , নিম্ন-মামলা, প্রতিস্থাপন করা হয় , একটি দৈব চলক, এবং দ্বিতীয় প্রত্যাশা অসীম SUM (যে আমরা অনুসরণ অব্যাহত সম্ভবত ধৃষ্টতা প্রতিফলিত প্রতিস্থাপন সব ভবিষ্যতের জন্য )। তারপর পরবর্তী সময় পদক্ষেপ প্রত্যাশিত তাৎক্ষণিক পুরস্কার, এবং দ্বিতীয় প্রত্যাশা যা হয়ে যায় পরবর্তী রাষ্ট্রের প্রত্যাশিত মান, সম্ভাব্যতা দ্বারা পরিমেয় -is রাজ্যের আপ ঘুর এর নিয়ে থেকে । R t + 1 π t Σ p ( s ′ , r | s , a ) r v π s ′ a $r$$R_{t+1}$$\pi$$t$$\Sigma p(s',r|s,a)r$$v_\pi$$s'$$a$$s$

— শন ইস্টার

Answer 7

যদিও ইতিমধ্যে সঠিক উত্তর দেওয়া হয়েছে এবং কিছু সময় অতিবাহিত হয়েছে, আমি ভেবেছিলাম যে ধাপে গাইডের নিম্নলিখিত ধাপটি কার্যকর হতে পারে:
প্রত্যাশিত মানের রৈখিকতার সাথে আমরা মধ্যে এবং । আমি কেবল প্রথম অংশের জন্য পদক্ষেপগুলি রূপরেখা করব, কারণ দ্বিতীয় অংশটি মোট প্রত্যাশার আইনের সাথে মিলিত একই পদক্ষেপগুলি অনুসরণ করবে।$E[R_{t+1} + \gamma E[G_{t+1}|S_{t}=s]]$$E[R_{t+1}|S_t=s]$$\gamma E[G_{t+1}|S_{t}=s]$

$$\begin{align} E[R_{t+1}|S_t=s]&=\sum_r{ r P[R_{t+1}=r|S_t =s]} \\ &= \sum_a{ \sum_r{ r P[R_{t+1}=r, A_t=a|S_t=s]}} \qquad \text{(III)} \\ &=\sum_a{ \sum_r{ r P[R_{t+1}=r| A_t=a, S_t=s] P[A_t=a|S_t=s]}} \\ &= \sum_{s^{'}}{ \sum_a{ \sum_r{ r P[S_{t+1}=s^{'}, R_{t+1}=r| A_t=a, S_t=s] P[A_t=a|S_t=s] }}} \\ &=\sum_a{ \pi(a|s) \sum_{s^{'},r}{p(s^{'},r|s,a)} } r \end{align}$$

যেখানে (III) ফর্ম অনুসরণ করে:

$$\begin{align} P[A,B|C]&=\frac{P[A,B,C]}{P[C]} \\ &= \frac{P[A,B,C]}{P[C]} \frac{P[B,C]}{P[B,C]}\\ &= \frac{P[A,B,C]}{P[B,C]} \frac{P[B,C]}{P[C]}\\ &= P[A|B,C] P[B|C] \end{align}$$

Answer 8

আমি জানি ইতিমধ্যে একটি স্বীকৃত উত্তর আছে, তবে আমি সম্ভবত আরও কংক্রিট ডেরাইভেশন সরবরাহ করতে চাই। আমি আরও উল্লেখ করতে চাই যে @ জি শী ট্রিক কিছুটা বোধগম্য হয়েছে তবে এটি আমাকে খুব অস্বস্তি বোধ করে :( এই কাজটি করার জন্য আমাদের সময়সীমা বিবেচনা করা দরকার। এবং এটি লক্ষ্য করা গুরুত্বপূর্ণ যে প্রত্যাশাটি আসলে কেবলমাত্র ও চেয়ে পুরো অসীম দিগন্তের উপরে নিয়ে গেলেন Let ধরা যাক আমরা থেকে শুরু করব (আসলে, ডাইরিভেশনটি শুরু সময় নির্বিশেষে একই রকম; আমি অন্য সাবস্ক্রিপ্টের সাথে সমীকরণগুলিকে দূষিত করতে চাই না ) $s$$s'$$t=0$$k$

$$\begin{align} v_{\pi}(s_0)&=\mathbb{E}_{\pi}[G_{0}|s_0]\\ G_0&=\sum_{t=0}^{T-1}\gamma^tR_{t+1}\\ \mathbb{E}_{\pi}[G_{0}|s_0]&=\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\\ &\times\Big(\sum_{t=0}^{T-1}\gamma^tr_{t+1}\Big)\bigg)\\ &=\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\\ &\times\Big(r_1+\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\Big)\bigg) \end{align}$$ টি→∞ΣএকটিΣখΣগএকটিখগ≡ΣএকটিএকটিΣখখΣগগ ( দ1+ +γΣ টি - 2 টি = 0 γtআরটি+2 লক্ষনীয় যে দ্য উপরোক্ত সমীকরণ এমনকি যদি ঝুলিতে , সত্যটি ইউনিভার্সের সমাপ্তি অবধি সত্য হবে (সম্ভবত কিছুটা অতিরঞ্জিত হবে :))$T\rightarrow\infty$
এই পর্যায়ে, আমি বিশ্বাস করি যে আমাদের বেশিরভাগেরই মনে থাকা উচিত যে উপরের চূড়ান্ত কীভাবে পরিচালিত করে - আমাদের কেবলমাত্র যোগফলের বিধি প্রয়োগ করতে হবে ( ) শ্রমসাধ্যভাবে । আসুন ভিতরে প্রতিটি পদে প্রত্যাশার লিনিয়ারিটির আইন প্রয়োগ করি$\sum_a\sum_b\sum_cabc\equiv\sum_aa\sum_bb\sum_cc$$\Big(r_{1}+\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\Big)$

অংশ 1

$$\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\times r_1\bigg)$$

ভাল এটি বরং তুচ্ছ, সম্পর্কিতগুলি বাদে সমস্ত সম্ভাবনা অদৃশ্য হয়ে যায় (আসলে 1 এর সমষ্টি) । অতএব, আমাদের কাছে $r_1$

$$\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times r_1$$

পার্ট 2
অনুমান করুন কী, এই অংশটি আরও তুচ্ছ - এটি কেবল সংক্ষেপের ক্রমটিকে পুনর্বিন্যাসের সাথে জড়িত।

$$\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\bigg)\\=\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\bigg(\sum_{a_1}\pi(a_1|s_1)\sum_{a_{2},...a_{T}}\sum_{s_{2},...s_{T}}\sum_{r_{2},...r_{T}}\bigg(\prod_{t=0}^{T-2}\pi(a_{t+2}|s_{t+2})p(s_{t+2},r_{t+2}|s_{t+1},a_{t+1})\bigg)\bigg)$$

আর ইউরেকা !! আমরা বড় বন্ধনীগুলির পাশ দিয়ে পুনরাবৃত্ত প্যাটার্নটি পুনরুদ্ধার করি। আসুন আমরা এটিকে সাথে একত্রিত করি এবং আমরা এবং অংশ 2 $\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}$$v_{\pi}(s_1)=\mathbb{E}_{\pi}[G_1|s_1]$

$$\gamma\mathbb{E}_{\pi}[G_1|s_1]=\sum_{a_1}\pi(a_1|s_1)\sum_{a_{2},...a_{T}}\sum_{s_{2},...s_{T}}\sum_{r_{2},...r_{T}}\bigg(\prod_{t=0}^{T-2}\pi(a_{t+2}|s_{t+2})p(s_{t+2},r_{t+2}|s_{t+1},a_{t+1})\bigg)\bigg(\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\bigg)$$ Σ একটি 0 π(একটি0|গুলি0) Σ গুলি 1 , R 1 P(গুলি1,R1|গুলি0,একটি0)×γবনাম π (গুলি1)
$$\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times \gamma v_{\pi}(s_1)$$

পার্ট 1 + পার্ট 2

$$v_{\pi}(s_0) =\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times \Big(r_1+\gamma v_{\pi}(s_1)\Big)$$

এবং এখন যদি আমরা সময় মাত্রাটি সন্ধান করতে পারি এবং সাধারণ পুনরাবৃত্ত সূত্রগুলি পুনরুদ্ধার করতে পারি

$$v_{\pi}(s) =\sum_a \pi(a|s)\sum_{s',r} p(s',r|s,a)\times \Big(r+\gamma v_{\pi}(s')\Big)$$

চূড়ান্ত স্বীকারোক্তি, যখন আমি উপরে লোকেরা সম্পূর্ণ প্রত্যাশার আইন ব্যবহারের কথা উল্লেখ করি তখন আমি হেসেছিলাম। সুতরাং আমি এখানে

Comments

এরম ... ' ' প্রতীকটি কী বোঝাতে চাইছেন? কোনও ... একটি $\sum_{a_0, ..., a_{\infty}}$$a_\infty$

— ফ্যাবিয়ান ওয়ার্নার

আরেকটি প্রশ্ন: কেন প্রথম সমীকরণটি সত্য? আমি জানি তবে আমাদের ক্ষেত্রে র্যান্ডম ভেরিয়েবলের একটি অসীম অনুক্রম সুতরাং আমাদের এই ভেরিয়েবলের ঘনত্বের গণনা করতে হবে (আমরা যে ঘনত্বটি জানি তার একটি অসীম পরিমাণে ভেরিয়েবল নিয়ে গঠিত) একসাথে অন্য কিছু (যথা রাষ্ট্র) with .. তুমি ঠিক কীভাবে তা কর? অর্থাৎ ? এক্স ( আর 0 , আর 1 , আর 2 , । । । । । । । । ) পি ( দ 0 , দ 1 , । । । । $E[f(X)|Y=y] = \int_{\mathcal{X}} f(x) p(x|y) dx$$X$$(R_0, R_1, R_2, ........)$$p(r_0, r_1, ....)$

— ফ্যাবিয়ান ওয়ার্নার

@FabianWerner। প্রথমে আপনার মস্তিষ্ককে শান্ত করার জন্য গভীর শ্বাস নিন :)। আমাকে আপনার প্রথম প্রশ্নের উত্তর দিন। । যদি আপনি মান ফাংশনের সংজ্ঞাটি স্মরণ করেন তবে এটি আসলে ছাড়ের ভবিষ্যতের পুরষ্কারগুলির সংমিশ্রণ। যদি আমরা আমাদের ভবিষ্যতের পুরষ্কারগুলির জন্য একটি অসীম দিগন্ত বিবেচনা করি, তবে আমাদের তখন অসীম সংখ্যার সমষ্টি প্রয়োজন। একটি পুরস্কার, একটি রাষ্ট্র থেকে একটি ব্যবস্থা গ্রহণের ফল যেহেতু পুরষ্কার অসীম সংখ্যা, সেখানে কর্মের অসীম নম্বর, অত: পর হওয়া উচিত । একটি $\sum_{a_0,...,a_{\infty}} \equiv \sum_{a_0}\sum_{a_1},...,\sum_{a_{\infty}}$$a_{\infty}$

— কার্লসন ইউ

আসুন আমরা ধরে নিই যে আমি একমত যে কিছু অদ্ভুত (যা আমি এখনও সন্দেহ করি, সাধারণত, গণিতের প্রথম প্রথম সেমিস্টারের শিক্ষার্থীরা এমন কিছু নির্মাণের সাথে সীমাটি বিভ্রান্ত করে থাকে যা আসলে একটি অসীম উপাদান জড়িত থাকে) ... আমি এখনও একটি সহজ প্রশ্ন আছে: " কীভাবে সংজ্ঞায়িত হয়? আমি জানি যে এই অভিব্যক্তিটির সীমাবদ্ধ পরিমাণের অঙ্কের সাথে কী বোঝার কথা ... তবে অসীম অনেকগুলি? আপনি কি বোঝেন যে এই অভিব্যক্তিটি করে? ∑ a 1 । । । ∑ ক $a_\infty$$\sum_{a_1} ... \sum_{a_\infty}$

— ফ্যাবিয়ান ওয়ার্নার

ইন্টারনেট। আপনি কি আমাকে কোনও পৃষ্ঠায় বা এমন কোনও জায়গায় উল্লেখ করতে পারেন যা আপনার অভিব্যক্তি সংজ্ঞা দেয়? যদি তা না হয় তবে আপনি আসলে নতুন কিছু সংজ্ঞায়িত করেছেন এবং এটি নিয়ে আলোচনার কোনও অর্থ নেই কারণ এটি কেবলমাত্র একটি প্রতীক যা আপনি তৈরি করেছিলেন (তবে এর পিছনে কোনও অর্থ নেই) ... আপনি সম্মত হন যে আমরা কেবল প্রতীক সম্পর্কে আলোচনা করতে সক্ষম যদি আমরা উভয়েই জানি তবে এর অর্থ কী? সুতরাং, এর অর্থ কী তা আমি জানি না, দয়া করে ব্যাখ্যা করুন ...

— ফ্যাবিয়ান ওয়ার্নার

Answer 9

এই প্রশ্নের ইতিমধ্যে একটি দুর্দান্ত অনেক উত্তর রয়েছে, তবে বেশিরভাগটিতে ম্যানিপুলেশনগুলিতে কী চলছে তা বর্ণনা করার জন্য কয়েকটি শব্দ জড়িত। আমি আরও বেশি উপায় দিয়ে এটির উত্তর দেব, আমার ধারণা। শুরুতেই,

$$G_{t} \doteq \sum_{k=t+1}^{T} \gamma^{k-t-1} R_{k}$$

ধ্রুবক ছাড়ের গুণক in এবং 3.11 সমীকরণে সংজ্ঞায়িত করা হয়েছে এবং আমাদের বা তবে উভয়ই নয়। যেহেতু পুরষ্কারগুলি, , এলোমেলো পরিবর্তনশীল, তাই is এটি এলোমেলো ভেরিয়েবলগুলির একমাত্র লিনিয়ার সংমিশ্রণ হিসাবে।$0 \leq \gamma \leq 1$$T = \infty$$\gamma = 1$$R_{k}$$G_{t}$

$$\begin{align} v_\pi(s) & \doteq \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_t = s\right] \\ & = \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] + \gamma \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] \end{align}$$

সেই শেষ লাইনটি প্রত্যাশা মানগুলির লিনিয়ারিটি থেকে অনুসরণ করে। এজেন্ট লাভ সময় পদে পদে ব্যবস্থা গ্রহণের পর পুরস্কার । সরলতার জন্য, আমি অনুমান এটি মূল্যবোধের সসীম সংখ্যার উপর নিতে পারেন । $R_{t+1}$$t$$r \in \mathcal{R}$

প্রথম মেয়াদে কাজ। অর্থাৎ, আমি প্রত্যাশা মান গনা প্রয়োজন দেওয়া আমরা জানি যে বর্তমান রাষ্ট্র । এর সূত্রটি হ'ল$R_{t+1}$$s$

$$\begin{align} \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] = \sum_{r \in \mathcal{R}} r p(r|s). \end{align}$$

অন্য কথায় পুরস্কার চেহারাও সম্ভাবনা রাষ্ট্র উপর নিয়ন্ত্রিত হয় ; বিভিন্ন রাজ্যের বিভিন্ন পুরষ্কার থাকতে পারে। এই বন্টন একটি বিতরণ যে ভেরিয়েবল অন্তর্ভুক্ত একটি প্রান্তিক বন্টন হয় এবং , অ্যাকশন সময়ের এবং সময়ে রাষ্ট্র কর্ম যথাক্রমে পরে:$r$$s$$p(r|s)$$a$$s'$$t$$t+1$

$$\begin{align} p(r|s) = \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(s',a,r|s) = \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} \pi(a|s) p(s',r | a,s). \end{align}$$

যেখানে আমি বইয়ের সম্মেলনটি অনুসরণ করে । গত সমতা বিভ্রান্তিকর হয়, তাহলে অঙ্কের ভুলে দমন (সম্ভাব্যতা এখন একটি যৌথ সম্ভাব্যতা মত দেখায়), গুণ আইন ব্যবহার এবং পরিশেষে উপর শর্ত পুনঃপ্রবর্তন মধ্যে সব নতুন পদ। প্রথম শব্দটি এখন এটি দেখতে সহজ$\pi(a|s) \doteq p(a|s)$$s$$s$

$$\begin{align} \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} r \pi(a|s) p(s',r | a,s), \end{align}$$

প্রয়োজনীয়. দ্বিতীয় মেয়াদে, যেখানে আমি ধরে যে একটি র্যান্ডম ভেরিয়েবল যা সীমাবদ্ধ সংখ্যার মান সীমাবদ্ধ করে । ঠিক প্রথম পদের মতো:$G_{t+1}$$g \in \Gamma$

$$\begin{align} \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] = \sum_{g \in \Gamma} g p(g|s). \qquad\qquad\qquad\qquad (*) \end{align}$$

আবার আমি লেখার মাধ্যমে সম্ভাব্যতা বিতরণকে "আনুভূক্ত করা" (আবার গুণনের আইন)

$$\begin{align} p(g|s) & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(s',r,a,g|s) = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r, a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r | a, s) \pi(a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r | a, s) \pi(a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s') p(s', r | a, s) \pi(a | s) \qquad\qquad\qquad\qquad (**) \end{align}$$

সেখানে শেষ লাইনটি মার্কোভিয়ান সম্পত্তি থেকে অনুসরণ করে। মনে রাখবেন যে এর সমষ্টি সমস্ত ভবিষ্যৎ (ছাড়) পুরস্কৃত যে এজেন্ট পায় পর রাষ্ট্র । মার্কোভিয়ান সম্পত্তি হ'ল প্রক্রিয়াটি পূর্ববর্তী রাজ্য, ক্রিয়া এবং পুরষ্কারের সাথে স্মৃতিশক্তি কম। ভবিষ্যতের ক্রিয়াকলাপ (এবং তারা যে পুরষ্কার কাটবে) কেবল সেই অবস্থার উপর নির্ভর করে যেখানে পদক্ষেপ নেওয়া হয়েছে, সুতরাং , অনুমান দ্বারা। ঠিক আছে, সুতরাং প্রমাণ দ্বিতীয় শব্দটি এখন$G_{t+1}$$s'$$p(g | s', r, a, s) = p(g | s')$

$$\begin{align} \gamma \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] & = \gamma \sum_{g \in \Gamma} \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} g p(g | s') p(s', r | a, s) \pi(a | s) \\ & = \gamma \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} \mathbb{E}_{\pi}\left[ G_{t+1} | S_{t+1} = s' \right] p(s', r | a, s) \pi(a | s) \\ & = \gamma \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} v_{\pi}(s') p(s', r | a, s) \pi(a | s) \end{align}$$

প্রয়োজন হিসাবে, আবার। দুটি শর্তের সংমিশ্রণ প্রমাণ পূর্ণ করে

$$\begin{align} v_\pi(s) & \doteq \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \sum_{a \in \mathcal{A}} \pi(a | s) \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} p(s', r | a, s) \left[ r + \gamma v_{\pi}(s') \right]. \end{align}$$

হালনাগাদ

আমি দ্বিতীয় পদের উদ্ভবের হাতের মুঠোয় মতো দেখতে পারে এমন ঠিকানা দিতে চাই। দিয়ে চিহ্নিত সমীকরণে , আমি শব্দটি ব্যবহার করি এবং তারপরে পরে চিহ্নিত সমীকরণে আমি দাবি করি যে মার্কোভিয়ান সম্পত্তি যুক্তি দিয়ে উপর নির্ভর করে না । সুতরাং, আপনি বলতে পারেন যে যদি এটি হয় তবে । কিন্তু এটা সত্য না. আমি কারণ উক্ত বিবৃতিটির বাম দিকের সম্ভাবনাটি বলে যে এটি , , এ শর্তযুক্ত হওয়ার সম্ভাবনা is , এবং$(*)$$p(g|s)$$(**)$$g$$s$$p(g|s) = p(g)$$p(g | s', r, a, s) \rightarrow p(g | s')$$g$$s'$$a$$r$$s$। যেহেতু আমরা পারেন চেনেন বা অনুমান রাষ্ট্র , অন্যান্য কন্ডিশন কেউই Markovian সম্পত্তির কারণ কোন ব্যাপার। আপনি জানা না থাকলে বা অনুমান রাষ্ট্র , তারপর ভবিষ্যতে পুরষ্কার (অর্থ ), যা রাষ্ট্র তোমার দিকে শুরু উপর নির্ভর করবে কারণ যে নির্ধারণ করবে (নীতি উপর ভিত্তি করে) যা রাষ্ট্র যখন আপনি কম্পিউটিং এ শুরু ।$s'$$s'$$g$$s'$$g$

যদি সেই যুক্তি আপনাকে বোঝায় না, কী তা গণনা করার চেষ্টা করুন :$p(g)$

$$\begin{align} p(g) & = \sum_{s' \in \mathcal{S}} p(g, s') = \sum_{s' \in \mathcal{S}} p(g | s') p(s') \\ & = \sum_{s' \in \mathcal{S}} p(g | s') \sum_{s,a,r} p(s', a, r, s) \\ & = \sum_{s' \in \mathcal{S}} p(g | s') \sum_{s,a,r} p(s', r | a, s) p(a, s) \\ & = \sum_{s \in \mathcal{S}} p(s) \sum_{s' \in \mathcal{S}} p(g | s') \sum_{a,r} p(s', r | a, s) \pi(a | s) \\ & \doteq \sum_{s \in \mathcal{S}} p(s) p(g|s) = \sum_{s \in \mathcal{S}} p(g,s) = p(g). \end{align}$$

শেষ লাইনে যেমন দেখা যায়, এটি সত্য নয় যে । প্রত্যাশিত মান উপর যা রাষ্ট্র আপনি (অর্থাত পরিচয় শুরু নির্ভর ), আপনি যদি জানেন বা অনুমান রাষ্ট্র না ।$p(g|s) = p(g)$$g$$s$$s'$