নীতি পুনরাবৃত্তির অ্যালগরিদম কেন সর্বোত্তম নীতি এবং মান ফাংশনে রূপান্তর করে?

Question

আমি পুনর্বহাল শেখার বিষয়ে অ্যান্ড্রু এনগের বক্তৃতা নোটগুলি পড়ছিলাম এবং আমি কেন নীতির পুনরাবৃত্তিকে সর্বোত্তম মান ফাংশনে রূপান্তরিত করে তা বোঝার চেষ্টা করছিলাম$V^*$ এবং সর্বোত্তম নীতি $\pi^*$।

পুনরুদ্ধার নীতি পুনরাবৃত্তি হ'ল:

$\text{Initialize $\pi$ randomly} \\ \text{Repeat}\{\\ \quad Let \ V := V^{\pi} \text{ \\for the current policy, solve bellman's eqn's and set that to the current V}\\ \quad Let \ \pi(s) := argmax_{a \in A} \sum_{s'}P_{sa}(s') V(s')\\ \}$

লোভী-অ্যালগোরিদম কেন সর্বোত্তম নীতি এবং সর্বোত্তম মান ফাংশন নিয়ে যায়? (আমি জানি লোভী অ্যালগরিদম সর্বদা গ্যারান্টি দেয় না, বা স্থানীয় অপটিমায় আটকে যেতে পারে, তাই আমি কেবল এটির অ্যালগরিদমের অনুকূলতার জন্য একটি প্রমাণ দেখতে চাই)।

এছাড়াও, আমার কাছে মনে হয় যে নীতি পুনরাবৃত্তি ক্লাস্টারিং বা গ্রেডিয়েন্ট বংশোদ্ভূত হওয়ার মতো কিছু। ক্লাস্টারিংয়ের জন্য, কারণ প্যারামিটারগুলির বর্তমান সেটিংয়ের সাথে আমরা অনুকূলিত। গ্রেডিয়েন্ট বংশোদ্ভূত অনুরূপ কারণ এটি কেবল কিছু মান চয়ন করে যা কিছু ফাংশন বাড়িয়ে তোলে বলে মনে হয়। এই দুটি পদ্ধতি সর্বদা অনুকূল ম্যাক্সিমায় রূপান্তরিত করে না এবং আমি বোঝার চেষ্টা করছিলাম যে এই অ্যালগরিদমটি আমি উল্লিখিত পূর্বেরগুলির চেয়ে কী আলাদা ছিল।

---

এগুলি এখন পর্যন্ত আমার ধারণা:

বলুন যে আমরা কিছু নীতি দিয়ে শুরু করি $\pi_1$, তারপরে প্রথম পদক্ষেপের পরে, সেই স্থির নীতিটির জন্য আমাদের তা রয়েছে:

$V^{\pi_1}(s) = R(s) + \gamma \sum_{s'}P_{s\pi_1(s)}(s')V^{\pi_1}(s')$

$V^{(1)} := V^{\pi_1}(s)$

যেখানে ভি ^ {(1)} হ'ল প্রথম পুনরাবৃত্তির মান ফাংশন। তারপরে দ্বিতীয় ধাপের পরে আমরা কিছু নতুন নীতি বেছে নিই$\pi_2$ এর মান বাড়াতে $V^{\pi_1}(s)$। এখন, নতুন নীতি নিয়ে$\pi_2$, আমরা যদি অ্যালগরিদমের দ্বিতীয় ধাপটি করি তবে নিম্নলিখিত অসমতাটি সত্য:

$R(s) + \gamma \sum_{s'}P_{s\pi_1(s)}(s')V^{\pi_1}(s') \leq R(s) + \gamma \sum_{s'}P_{s\pi_2(s)}(s')V^{\pi_1}(s')$

কারণ আমরা বেছে নিই $\pi_2$ পূর্ববর্তী ধাপে মান ফাংশন বাড়ানোর জন্য দ্বিতীয় ধাপে (অর্থাত্ উন্নতি করা $V^{(1)}$। এখনও পর্যন্ত, এটি পরিষ্কার যে নির্বাচন$\pi_2$ কেবলমাত্র ভি ^ {(1) increase বৃদ্ধি করতে পারে, কারণ আমরা কীভাবে বেছে নেব তা স্থির করে $\pi_2$। যাইহোক, আমার বিভ্রান্তি পুনরাবৃত্তি পদক্ষেপে আসে কারণ আমরা একবার পুনরায় পুনরায় গণনা করি কারণ আমরা একবার পুনরাবৃত্তি করি এবং 1 ধাপে ফিরে যাই আমরা আসলে জিনিসগুলিকে পুরোপুরি পরিবর্তন করি we$V^{2}$ নতুন নীতিমালা জন্য $\pi_2$। যা দেয়:

$V^{\pi_2}(s) = R(s) + \gamma \sum_{s'}P_{s\pi_2(s)}(s')V^{\pi_2}(s')$

তবে এটি নয়:

$V^{\pi_1}(s) = R(s) + \gamma \sum_{s'}P_{s\pi_2(s)}(s')V^{\pi_1}(s')$

যা সমস্যা বলে মনে হচ্ছে কারণ $\pi_2$ উন্নতির জন্য বেছে নেওয়া হয়েছিল $V^{(1)}$, এবং এই নতুন না $V^{\pi_2}$। মূলত সমস্যাটি হ'ল$pi_2$ উন্নতির গ্যারান্টি দেয় $R(s) + \gamma \sum_{s'}P_{s\pi_1(s)}(s')V^{\pi_1}(s')$ করেছে $\pi_2$ পরিবর্তে $pi_1$ যখন মান ফাংশন হয় $V^{\pi_1}$। কিন্তু পুনরাবৃত্তি পদক্ষেপে আমরা পরিবর্তন$V^{\pi_1}$ প্রতি $V^{\pi_2}$, তবে আমি দেখতে পাচ্ছি না যে এটি কীভাবে গ্যারান্টি দেয় যে প্রতিটি পুনরাবৃত্তিতে মান ফাংশন একঘেয়েভাবে উন্নত হয় কারণ কারণ $\pi_2$ মান ফাংশনটি যখন থাকে তখন মান ফাংশনটি উন্নত করতে গণনা করা হয় $V^{\pi_1}$তবে 1 ধাপে পরিবর্তন $V^{\pi_1}$ প্রতি $V^{\pi_2}$ (যা খারাপ কারণ আমি $\pi_2$ কেবলমাত্র আমাদের পূর্ববর্তী মান ফাংশনটি উন্নত করে)।

Comments

কেবল একটি নোট: লোভী বোঝায় না যে একটি অ্যালগরিদম সাধারণভাবে একটি অনুকূল সমাধান খুঁজে পাবে না।

— রেজেন্সচেইন

মান পুনরাবৃত্তি হ'ল লোভী না হয়ে ডায়নামিক প্রোগ্রামিং অ্যালগরিদম। দুজনের মধ্যে কিছু মিল রয়েছে তবে পার্থক্য রয়েছে। কটাক্ষপাত stackoverflow.com/questions/13713572/... ।

— ফ্র্যাঙ্কোসার

@ ফ্র্যাঙ্কোয়েসার আমাকে কখনও তা বলেননি। সম্ভবত এটি কেন আমার (রহস্যজনকভাবে) রহস্যজনক ছিল ts আমি খুব ভাল করে ডিপি জানি। ধন্যবাদ যদিও! :)

— Pinocchio

Answer 1

আমি মনে করি আপনি যে অংশটি মিস করছেন তা সে $V^{\pi_2} \ge V^{\pi_1}$ আমরা অর্ডার করতে পারি একই কারণে গ্যারান্টিযুক্ত $\pi_2 \ge \pi_1$। এটিই মূলত একটি নীতির অপরটির চেয়ে ভাল হওয়ার সংজ্ঞা হয় - এর মান কার্যকারিতা সমস্ত রাজ্যেই বেশি বা সমান। আপনি সর্বাধিক ক্রিয়াগুলি চয়ন করে এটির গ্যারান্টি দিয়েছেন - কোনও রাষ্ট্রীয় মান সম্ভবত আগের তুলনায় খারাপ হতে পারে না এবং যদি কেবলমাত্র একটি ক্রিয়াকলাপ আরও ভাল সর্বাধিক ক্রিয়া চয়ন করতে পরিবর্তিত হয়, তবে আপনি ইতিমধ্যে জানেন (তবে গণনা নাও করতে পারেন) যে$V^{\pi_2}(s)$ যে রাষ্ট্রটি তার চেয়ে বেশি হতে চলেছে $V^{\pi_1}(s)$।

যখন আমরা ফলাফলগুলি সর্বাধিকীকরণ করতে পছন্দ করি $\pi_2$, আমরা নতুন কি জানি না $V^{\pi_2}(s)$ যে কোনও রাষ্ট্রের জন্য হতে চলেছে, তবে আমরা তা জানি $\forall s: V^{\pi_2}(s) \ge V^{\pi_1}(s)$।

অতএব, লুপ মাধ্যমে ফিরে গণনা করা $V^{\pi_2}$ নতুন নীতিমালার জন্য পূর্বের তুলনায় একই বা উচ্চতর মান থাকার গ্যারান্টিযুক্ত এবং যখন নীতিটি আবার আপডেট করা হয়, $\pi_3 \ge \pi_2 \ge \pi_1$।

Answer 2

প্রথমে দেখা যাক পলিসি আইটারেশন অ্যালগরিদম কেন কাজ করে। এটির দুটি পদক্ষেপ রয়েছে।

নীতি মূল্যায়ন পদক্ষেপ:

$v_n = r_{d_n} + \gamma P_{d_n}v_n$ রৈখিক সমীকরণের পদ্ধতির সাধারণ ভেক্টরিয়াল রূপ।

এখানে, পদ $r_{d_n}, P_{d_n}$ হ'ল তাত্ক্ষণিক পুরষ্কার এবং ট্রানজিশন ম্যাট্রিক্সের সাথে সম্পর্কিত সারি।

এই শর্তাদি নীতির উপর নির্ভরশীল $\Pi_n$

উপরের সমীকরণগুলির সিস্টেমটি সমাধান করা আমরা এর মানগুলি খুঁজে পেতে পারি $v_n$

নীতি উন্নতি পদক্ষেপ:

ধরে নিন যে আমরা একটি নতুন নীতি খুঁজতে সক্ষম হয়েছি $\Pi_{n+1}$ যেমন যে

$$\begin{align} r_{d_n+1} + \gamma P_{d_n+1}v_n & \ge r_{d_n} + \gamma P_{d_n}v_n \\ \implies r_{d_n+1} & \ge [I - \gamma P_{d_n+1}]v_n \quad \text{say this is eqn. 1}\\ \end{align}$$

এখন, নতুন নীতি অবলম্বনে $\Pi_{n+1}$, আমরা খুজতে পারি $v_{n+1} = r_{d_{n+1}} + \gamma P_{d_{n+1}}v_{n+1}$বলুন এটি সমীকরণ 2।

আমরা এটি প্রদর্শন করতে যাচ্ছি $v_{n+1} \ge v_n$ ;

অর্থাত্ সমস্ত রাজ্যের জন্য, নবনির্বাচিত নীতি $\Pi_{n+1}$ পূর্ববর্তী নীতি তুলনায় একটি ভাল মান দেয় $\Pi_{n}$

প্রমাণ:

সমীকরণ 2 থেকে, আমাদের কাছে রয়েছে,

$[I - \gamma P_{d_{n+1}}]v_{n+1} = r_{d_n+1}$

থেকে, $1 \&2$, আমাদের আছে

$v_{n+1} \ge v_{n}$

মূলত, প্রতিটি পুনরাবৃত্তির সাথে মানগুলি মনোটোনিকভাবে বৃদ্ধি পাচ্ছে।

পলিসি ইন্টিগ্রেশন স্থানীয় সর্বাধিক কেন আটকে থাকবে না তা বোঝা গুরুত্বপূর্ণ এটি।

একটি নীতি রাষ্ট্র-কর্ম স্থান ছাড়া কিছুই নয়।

প্রতিটি নীতি পুনরাবৃত্তির পদক্ষেপে, আমরা কমপক্ষে একটি স্টেট-অ্যাকশন খুঁজে পাওয়ার চেষ্টা করি যা এর মধ্যে আলাদা $\Pi_{n+1}$ এবং $\Pi_{n}$ এবং দেখুন যদি $\quad r_{d_n+1} + \gamma P_{d_n+1}v_n \ge r_{d_n} + \gamma P_{d_n}v_n$। শুধুমাত্র শর্তটি সন্তুষ্ট হলেই আমরা লিনিয়ার সমীকরণের নতুন পদ্ধতির সমাধান গণনা করব।

ধরে $\Pi^*$ এবং $\Pi^\#$ যথাক্রমে গ্লোবাল এবং স্থানীয় সর্বোত্তম।

বোঝা যায়, $v_* \ge v_\#$

ধরুন অ্যালগরিদম স্থানীয় সর্বোত্তমে আটকে আছে।

যদি এটি হয় তবে নীতিমালা উন্নয়নের পদক্ষেপটি স্থানীয় সর্বোত্তম রাষ্ট্র-ক্রিয়া স্থানে থামবে না $\Pi^\#$যেমন অন্তত একটি রাষ্ট্র-অ্যাকশন রয়েছে $\Pi^*$ যা থেকে পৃথক $\Pi^\#$ এবং এর উচ্চতর মান দেয় $v_{*}$ তুলনা করা $v_{\#}$

বা, অন্য কথায়,

$[I-\gamma P_{d_*}]v_* \ge [I-\gamma P_{d_*}]v_{\#}$

$\implies r_{d_*} \ge [I-\gamma P_{d_*}]v_{\#}$

$\implies r_{d_*} + \gamma P_{d_*}v_{\#} \ge v_{\#}$

$\implies r_{d_*} + \gamma P_{d_*}v_{\#} \ge r_{d_\#} + \gamma P_{d_\#}v_\#$

অতএব, পলিসি পুনরাবৃত্তি স্থানীয় সর্বোত্তম থেকে থামবে না