কেন সর্বদা কমপক্ষে একটি নীতি থাকে যা অন্য সমস্ত নীতিমালার চেয়ে ভাল বা সমান?

শক্তিবৃদ্ধি শিক্ষা: একটি ভূমিকা। দ্বিতীয় সংস্করণ, চলছে ,, রিচার্ড এস সাটন এবং অ্যান্ড্রু জি বার্তো (সি) 2012, পৃষ্ঠা 67-68।

একটি শক্তিবৃদ্ধি শেখার কাজটি সমাধান করার অর্থ, মোটামুটি, এমন একটি নীতি সন্ধান করা যা দীর্ঘকালীন সময়ে অনেক পুরষ্কার অর্জন করে। সসীম এমডিপিগুলির জন্য, আমরা নীচে সঠিকভাবে একটি সর্বোত্তম নীতি নির্ধারণ করতে পারি। মান ফাংশনগুলি নীতিগুলির উপর আংশিক ক্রম সংজ্ঞায়িত করে। একটি নীতি $\pi$ সংজ্ঞায়িত করা হয় বেশী ভালো হতে পারে অথবা একটি নীতি সমান $\pi'$ যদি তার প্রত্যাশিত রিটার্ন চেয়ে বেশী বা সমান $\pi'$ , সব রাজ্যের জন্য। অন্য কথায়, $\pi \geq \pi'$ যদি এবং কেবল যদি $v_\pi(s) \geq v_{\pi'}(s)$ , সব জন্য $s \in \mathcal{S}$ । সর্বদা সর্বনিম্ন একটি নীতি থাকে যা অন্য সমস্ত নীতিগুলির চেয়ে ভাল বা সমান। এটি একটি অনুকূল নীতি।

markov-process reinforcement-learning

— sh1ng
সূত্র

খুব বিশদ প্রমাণ (যা বানচের স্থির বিন্দু উপপাদ্য ব্যবহার করে) পুটারম্যানের "মার্কভ সিদ্ধান্ত প্রক্রিয়াগুলি" এর chapter.২ অধ্যায়ে উপস্থিত হয়েছে।

— টগস

উত্তর:

উদ্ধৃত অংশটি পেরিয়ে যাওয়ার পরে, একই অনুচ্ছেদটি আসলে আপনাকে জানায় যে এই নীতিটি কী: এটিই প্রতিটি রাজ্যের সেরা পদক্ষেপ নেয়। এমডিপিতে, আমরা এক রাজ্যে যে পদক্ষেপ গ্রহণ করি তা অন্যের মধ্যে নেওয়া ক্রিয়াগুলির পুরষ্কারগুলিকে প্রভাবিত করে না, তাই আমরা কেবলমাত্র রাষ্ট্র-রাষ্ট্র দ্বারা পলিসি সর্বাধিকতর করতে পারি।

— ডন রেবা
সূত্র

এই উত্তরটি কি সম্পূর্ণ ভুল নয়? আপনি কীভাবে বলতে পারেন যে রাষ্ট্রের দ্বারা নীতি রাষ্ট্রকে অনুকূলকরণ করা সর্বোত্তম নীতিতে বাড়ে। আমি যদি রাষ্ট্র

চেয়ে অপ্টিমাইজ করি এবং এটি আমাকে

লাগে এবং তারপরে

এ অনুকূলিতকরণ একটি অনুকূল মান ফাংশন

তবে সেখানে আরও একটি নীতি আছে যাতে

সাব-অপটিমালিটি

এবং সর্বোত্তম দিকে নিয়ে যায়

এর মান ফাংশন

চেয়ে বেশি । আপনি কীভাবে এ জাতীয় কোনও বিশ্লেষণ বিশ্লেষণ করে এড়িয়ে যেতে পারেন?

S_{t}

$S_t$

S_{t + 1}

$S_{t+1}$

S_{t + 1}

$S_{t+1}$

V_{t + 1}

$V_{t+1}$

S_{t}

$S_t$

S_{l}

$S_l$

S_{l}

$S_l$

V_{t + 1}

$V_{t+1}$

— মিলোমিন্ডারবিন্দর

@ মিলোমিন্ডারবাইন্ডার যদি

তে সর্বোত্তম নীতিটি

চয়ন করতে হয় তবে

এর মান

মানের চেয়ে বেশি ।

S_{t}

$S_t$

S_{t + 1}

$S_{t+1}$

S_{t + 1}

$S_{t+1}$

S_{l}

$S_l$

— ডন রেবা

আমার খারাপ। টাইপো সংশোধন করে: 'এই উত্তরটি কি সম্পূর্ণ ভুল নয়? আপনি কীভাবে বলতে পারেন যে রাষ্ট্রের দ্বারা নীতি রাষ্ট্রকে অনুকূলকরণ করা সর্বোত্তম নীতি নিয়ে যায়? আমি রাষ্ট্র উপর নিখুত তাহলে

এবং এটা আমার লাগে

এবং তারপর এ নিখুঁত

একটি অনুকূল মান ফাংশন বিশালাকার

এর

কিন্তু আরেকটা নীতি রয়েছে

যদিও বিশালাকার suboptimally

এবং তাই

মান ফাংশন

S_{t}

$S_t$

S_{t + 1}

$S_{t+1}$

S_{t + 1}

$S_{t+1}$

V_{t + 2}

$V_{t+2}$

S_{t + 2}

$S_{t+2}$

S_{t}

$S_t$

S_{l + 1}

$S_{l+1}$

S_{t + 1}

$S_{t+1}$

চেয়ে বেশি তবে রাষ্ট্র দ্বারা রাষ্ট্রকে অনুকূলকরণের মাধ্যমে পাওয়া নীতিমালার চেয়ে

মান ফাংশন এই নীতিমালার অধীনে বেশি। আপনি কীভাবে তা প্রকাশ করেছেন? '

V_{l + 1}

$V_{l+1}$

S_{t + 2}

$S_{t+2}$

— মিলোমিন্ডারবিন্দর

আমি মনে করি

এর সংজ্ঞাটি এটি প্রথম স্থানে ঘটতে বাধা দেবে, যেহেতু এটির ভবিষ্যতের রিটার্নগুলিরও অ্যাকাউন্ট হওয়া উচিত।

V

$V$

— উড়ন্ত_বানানা

তাহলে প্রশ্নটি হবে: কেন

বিদ্যমান? আপনি ব্যানাচ ফিক্সড পয়েন্ট উপপাদ্যটি পেতে পারেন না :-)

q_{*}

$q_*$

— ফ্যাবিয়ান ওয়ার্নার

অনুকূল নীতিটির অস্তিত্ব সুস্পষ্ট নয়। কেন তা দেখতে নোট করুন যে মান ফাংশনটি নীতিগুলির স্থানের উপর কেবলমাত্র একটি আংশিক ক্রম সরবরাহ করে। এর অর্থ:

π^{'} \geq π ⟺ v_{π^{'}} (s) \geq v_{π} (s), \forall s \in S

$\pi' \geq \pi \iff v_{\pi'}(s) \geq v_{\pi}(s), \forall s \in S$

যেহেতু এটি কেবল আংশিক অর্ডারিং, তাই এমন একটি ঘটনাও ঘটতে পারে যেখানে দুটি পলিসি, এবং তুলনীয় নয়। অন্য কথায়, রাষ্ট্রীয় স্থানের সাবসেটগুলি রয়েছে, এবং এরকম: $\pi_1$ $\pi_2$ $S_1$ $S_2$

v_{π^{'}} (s) \geq v_{π} (s), \forall s \in S_{1}

$v_{\pi'}(s) \geq v_{\pi}(s), \forall s \in S_1$

v_{π} (s) \geq v_{π^{'}} (s), \forall s \in S_{2}

$v_{\pi}(s) \geq v_{\pi'}(s),\forall s \in S_2$

এই ক্ষেত্রে, আমরা বলতে পারি না যে একটি নীতি অন্যটির চেয়ে ভাল। তবে যদি আমরা সীমাবদ্ধ মান ফাংশনগুলির সাথে সসীম এমডিপিগুলি নিয়ে কাজ করি তবে এরূপ দৃশ্য কখনই ঘটে না। একাধিক অনুকূল নীতি থাকতে পারে যদিও সঠিকভাবে একটি অনুকূল মান ফাংশন আছে।

এর প্রমাণের জন্য আপনার বনচ ফিক্সড পয়েন্ট উপপাদ্যটি বুঝতে হবে। বিস্তারিত বিশ্লেষণের জন্য দয়া করে উল্লেখ করুন ।

— কার্তিক থিয়াগারাজন
সূত্র

$\newcommand{\mc}{\mathcal} \newcommand{\mb}{\mathbb}$

স্থাপন

আমরা সেটিং এ বিবেচনা করছি:

সুস্পষ্ট কর্ম
স্বতন্ত্র রাষ্ট্রসমূহ
সীমানা পুরষ্কার
স্টেশনারি নীতি
অসীম দিগন্ত

অনুকূল নীতি : হিসাবে সংজ্ঞায়িত করা হয় এবং অনুকূল মান ফাংশন হল: একটি সেট থাকতে পারে নীতিগুলি যা সর্বোচ্চ অর্জন করে। তবে কেবলমাত্র একটি অনুকূল মান ফাংশন রয়েছে:

\begin{matrix} (1) & π^{*} \in \arg max_{π} V^{π} (s), \forall s \in S \end{matrix}

$\pi^\ast \in \arg \max_\pi V^\pi(s), \forall s \in \mc{S} \tag{1}$

\begin{matrix} (2) & V^{*} = max_{π} V^{π} (s), \forall s \in S \end{matrix}

$V^\ast = \max_\pi V^\pi (s), \forall s \in \mc S \tag{2}$

\begin{matrix} (3) & V^{*} = V^{π^{*}} \end{matrix}

$V^\ast = V^{\pi^\ast} \tag{3}$

প্রশ্নটি

কিভাবে প্রমাণ করার অস্তিত্ব আছে যে অন্তত একটি সবার জন্য যা সন্তুষ্ট (1) একযোগে ? $\pi^\ast$ $s \in \mc{S}$

প্রমাণের বাহ্যরেখা

অনুকূল মান ফাংশনের অস্থায়ী সারোগেট সংজ্ঞা হিসাবে ব্যবহার করার জন্য সর্বোত্তম সমীকরণটি তৈরি করুন , যা আমরা দ্বিতীয় ধাপে প্রমাণ করব যে এটি EQ (2) এর মাধ্যমে সংজ্ঞার সমতুল্য।
$\begin{matrix} (4) & V^{*} (s) = max_{a \in A} [R (s, a) + γ \sum_{s^{'} \in S} T (s, a, s^{'}) V^{*} (s^{'})] \end{matrix}$ $V^\ast(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V^\ast(s^\prime)] \tag{4}$
Eq। (4) এবং Eq। (2) এর মাধ্যমে অনুকূল মান ফাংশন সংজ্ঞায়নের সমতুল্যতা আবিষ্কার করুন।

(দ্রষ্টব্য আসলে আমাদের প্রুফগুলিতে কেবল প্রয়োজনীয় দিকনির্দেশনা প্রয়োজন, কারণ আমরা Eq। (2) থেকে Eq। (4) তৈরি করার পরে যথেষ্টতা সুস্পষ্ট is)
প্রমাণ করুন যে EQ এর একটি অনন্য সমাধান রয়েছে (4)।
দ্বিতীয় ধাপে, আমরা জানি যে পদক্ষেপ 3 এ প্রাপ্ত সমাধানটি Eq (2) এর সমাধানও, সুতরাং এটি একটি অনুকূল মান ফাংশন।
একটি অনুকূল মান ফাংশন থেকে, আমরা প্রতিটি রাজ্যের জন্য EQ। (4) এ সর্বাধিক ক্রিয়াকলাপটি বেছে নিয়ে একটি সর্বোত্তম নীতি পুনরুদ্ধার করতে পারি।

পদক্ষেপের বিশদ

$V^\ast(s) = V^{\pi^\ast}(s) = \mb E_a [Q^{\pi^\ast}(s, a)]$ $V^{\pi^\ast}(s) \le \max_{a \in \mc A} Q^{\pi^\ast} (s, a)$ $\tilde{s}$ , আমরা একটি ভাল নীতি পূর্ণবিস্তার দ্বারা নির্বাচন করতে পারবেনউপর। $V^{\pi^\ast} \neq \max_{a \in \mc A} Q^{\pi^\ast} (s, a)$ $Q^{\ast} (s, a) = Q^{\pi^\ast} (s, a)$ $a$

(=>)

পদক্ষেপ 1 অনুসরণ করে।

(<=)

অর্থাত যদি সন্তুষ্ট $\tilde V$ $\tilde V(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) \tilde V(s^\prime)]$ $\tilde V(s) = V^\ast(s) = \max_\pi V^\pi(s), \forall s \in \mc S$

\begin{matrix} (5) & T V (s) = max_{a \in A} [R (s, a) + γ \sum_{s^{'} \in S} T (s, a, s^{'}) V (s^{'})] \end{matrix}

$\mc T V(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V(s^\prime)] \tag{5}$

\tilde{V} = T \tilde{V}

$\tilde V = \mc T \tilde V$

\tilde{V} = V^{*}

$\tilde V = V^\ast$

$\tilde V \ge \mc T \tilde V$ $\tilde V \ge V^\ast$

$\tilde V \le \mc T \tilde V$ $\tilde V \le V^\ast$

প্রমাণ:

ক)

$\pi = (d_1, d_2, ...)$

\begin{aligned} \tilde{V} & \geq T \tilde{V} = max_{d} [R_{d} + γ P_{d} \tilde{V}] \\ \geq R_{d_{1}} + γ P_{d_{1}} \tilde{V} \end{aligned}

$\begin{align} \tilde V &\ge \mc T \tilde V = \max_{d} [ R_d + \gamma \, P_d \tilde V] \\ &\ge R_{d_1} + \gamma \, P_{d_1} \tilde V \\ \end{align}$

d

$d$

R_{d}

$R_d$

d

$d$

P_{d}

$P_d$

d

$d$

$n$

\tilde{V} \geq R_{d_{1}} + \sum_{i = 1}^{n - 1} γ^{i} P_{π}^{i} R_{d_{i + 1}} + γ^{n} P_{π}^{n} \tilde{V}

$\tilde V \ge R_{d_1} + \sum_{i=1}^{n-1} \gamma^i P_\pi^i R_{d_{i+1}} + \gamma^n P_\pi^n \tilde V$

P_{π}^{j}

$P_\pi^j$

j

$j$

π

$\pi$

V^{π} = R_{d_{1}} + \sum_{i = 1}^{\infty} γ^{i} P_{π}^{i} R_{d_{i + 1}}

$V^\pi = R_{d_1} + \sum_{i=1}^{\infty}\gamma^i P_\pi^i R_{d_{i+1}}$

\tilde{V} - V^{π} \geq \underset{\to 0 as n \to \infty}{\underset{⏟}{γ^{n} P_{π}^{n} \tilde{V} - \sum_{i = n}^{\infty} γ^{i} P_{π}^{i} R_{d_{i + 1}}}}

$\tilde V - V^\pi \ge \underbrace{\gamma^n P_\pi^n \tilde V -\sum_{i=n}^{\infty}\gamma^i P_\pi^i R_{d_{i+1}}}_{\rightarrow 0 \ \text{as}\ n\rightarrow \infty}$ সুতরাং আমরা আছে

। যেহেতু এই কোন ঝুলিতে

, আমরা এই উপসংহারে যে

খ)

\tilde{V} \geq V^{π}

$\tilde V \ge V^\pi$

π

$\pi$

\tilde{V} \geq max_{π} V^{π} = V^{*}

$\tilde V \ge \max_\pi V^\pi = V^\ast$

পদক্ষেপ 1 থেকে অনুসরণ করা।

অনুকূল বেলম্যান অপারেটরটি নর্ম, সিএফ-এর সংকোচনের বিষয় [2]। $L_\infty$

প্রুফ: কোনো জন্য , $s$

\begin{aligned} | T V_{1} (s) - T V_{2} (s) | & = | max_{a \in A} [R (s, a) + γ \sum_{s^{'} \in S} T (s, a, s^{'}) V_{1} (s^{'})] - max_{a^{'} \in A} [R (s, a^{'}) + γ \sum_{s^{'} \in S} T (s, a^{'}, s^{'}) V (s^{'})] | \\ \overset{(*)}{\leq} | max_{a \in A} [γ \sum_{s^{'} \in S} T (s, a, s^{'}) (V_{1} (s^{'}) - V_{2} (s^{'}))] | \\ \leq γ ‖ V_{1} - V_{2} ‖_{\infty} \end{aligned}

$\begin{align} \left\vert \mc T V_1(s) - \mc TV_2(s) \right\vert &= \left\vert \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V_1(s^\prime)] -\max_{a^\prime \in \mc A} [ R(s, a^\prime) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a^\prime, s^\prime) V(s^\prime)]\right\vert \\ &\overset{(*)}{\le} \left\vert \max_{a \in \mc A} [\gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) (V_1(s^\prime) - V_2(s^\prime))] \right\vert \\ &\le \gamma \Vert V_1 - V_2 \Vert_\infty \end{align}$

max_{a} f (a) - max_{a^{'}} g (a^{'}) \leq max_{a} [f (a) - g (a)]

$\max_a f(a) - \max_{a^\prime} g(a^\prime) \le \max_a [f(a) - g(a)]$

$\mc T$

তথ্যসূত্র

[১] পুটারম্যান, মার্টিন এল .. "মার্কভ সিদ্ধান্ত গ্রহণের প্রক্রিয়াগুলি: স্বতন্ত্র স্টোকাস্টিক ডায়নামিক প্রোগ্রামিং।" (2016)।

[২] উ: লাজারিক। http://researchers.lille.inria.fr/~lazaric/Webpage/MVA-RL_Course14_files/slides-lecture-02-handout.pdf

— LoveIris
সূত্র