হ্যামিল্টন-জ্যাকোবি-বেলম্যান সমীকরণ সমাধান করা; অনুকূলতার জন্য প্রয়োজনীয় এবং পর্যাপ্ত?

নিম্নলিখিত ডিফারেনশিয়াল সমীকরণ বিবেচনা

\begin{aligned} \dot{x} (t) = f (x (t), u (t)) \end{aligned}

$\begin{align} \dot x(t)=f(x(t),u(t)) \end{align}$ যেখানে

x

$x$ রাষ্ট্র নেই এবং

u

$u$ নিয়ন্ত্রণ পরিবর্তনশীল। সমাধানটি

\begin{aligned} x (t) = x_{0} + \int_{0}^{t} f (x (s), u (s)) d s . \end{aligned}

$\begin{align} x(t)=x_0 + \int^t_0f(x(s),u(s))ds. \end{align}$ যেখানে

x_{0} := x (0)

$x_0:=x(0)$ হল প্রদত্ত মূল অবস্থা।

এখন নিম্নলিখিত প্রোগ্রামাম বিবেচনা করুন

\begin{aligned} V (x_{0}) := max_{u} \int_{0}^{\infty} e^{- ρ t} F (x (t), u (t)) d t \\ s . t . & \dot{x} (t) = f (x (t), u (t)) \\ x (0) = x_{0} \end{aligned}

$\begin{align} &V(x_0) := \max_u \int^\infty_0 e^{-\rho t}F(x(t),u(t))dt\\ s.t.~&\dot x(t)=f(x(t),u(t))\\ &x(0) = x_0 \end{align}$ যেখানেসময় পছন্দকে বোঝায়,হ'ল মান এবংএকটি উদ্দেশ্যমূলক ফাংশন। একটি ধ্রুপদী অর্থনৈতিক প্রয়োগ হ'ল সর্বোত্তম বৃদ্ধির রামসে-ক্যাস-কোপম্যানস মডেল। হ্যামিল্টন-জ্যাকোবি-বেলম্যান সমীকরণটি

ρ > 0

$\rho > 0$

V (\cdot)

$V(\cdot)$

F (\cdot)

$F(\cdot)$

\begin{aligned} ρ V (x) = max_{u} [F (x, u) + V^{'} (x) f (x, u)], \forall t \in [0, \infty) . \end{aligned}

$\begin{align} \rho V(x)=\max_u [F(x,u) + V'(x)f(x,u)],\quad \forall t\in[0,\infty). \end{align}$

বলুন আমি জন্য এইচজেবি সমাধান করেছি $V$ । সর্বোত্তম নিয়ন্ত্রণটি তখন

\begin{aligned} u^{*} = \arg max_{u} [F (x, u) + V^{'} (x) f (x, u)] . \end{aligned}

$\begin{align} u^*=\arg\max_u [F(x,u) + V'(x)f(x,u)]. \end{align}$ আমি রাষ্ট্র ও নিয়ন্ত্রণের জন্য অনুকূল নির্দিষ্ট আবক্র পাবেন

{(x^{*} (t), u^{*} (t)) : t \in [0, \infty)}

$\{(x^*(t),u^*(t)):t\in[0,\infty)\}$ ।

উইকি নিবন্ধে বলেছেন

... তবে পুরো রাষ্ট্রীয় স্থানের সমাধানের সময়, এইচজেবি সমীকরণটি সর্বোত্তমের জন্য প্রয়োজনীয় এবং পর্যাপ্ত শর্ত।

Bertsekas (2005) সালে ডায়নামিক প্রোগ্রামিং এবং অনুকূল নিয়ন্ত্রণ , ভোল 1, 3 য় সংস্করণ।, প্রোপজিসন 3.2.1 তিনি যে জন্য সমাধানে অনুকূল খরচ টু যেতে ফাংশন এবং সংশ্লিষ্ট অনুকূল নয়। যাইহোক, তিনি স্পষ্টভাবে এটি পর্যাপ্তর উপপাদ্য হিসাবে ঘোষণা করেছেন। $V$ $u^*$

প্রকৃতপক্ষে, আমি কেবল এটি নিশ্চিত করতে চাই যে, আমি যদি এইচজেবি সমাধান করেছি এবং সম্পর্কিত রাষ্ট্র এবং নিয়ন্ত্রণের ট্র্যাজেক্টরিগুলি পুনরুদ্ধার করেছি, তবে আমাকে কোনও অতিরিক্ত অনুকূল পরিস্থিতির সাথে উদ্বিগ্ন হওয়ার দরকার নেই।

সমাধান

আমি চেষ্টা

আমি মনে করি আমি নিজেই এইচজেবি সমীকরণ দ্বারা সর্বোচ্চ নীতি থেকে প্রয়োজনীয় শর্তাদি অর্জন করতে সক্ষম হয়েছি।

\begin{aligned} H (x, u, V^{'} (x)) := F (x, u) + V^{'} (x) f (x, u) \end{aligned}

$\begin{align} H(x,u,V'(x)) := F(x,u) + V'(x)f(x,u) \end{align}$

\begin{aligned} ρ V (x) = max_{u} H (x, u, V^{'} (x)) \end{aligned}

$\begin{align} \rho V(x)=\max_u H(x,u,V'(x)) \end{align}$

\begin{aligned} ρ V (x) = H (x, u^{*}, V^{'} (x)) . \end{aligned}

$\begin{align} \rho V(x)= H(x,u^*,V'(x)). \end{align}$

$q:[0,\infty)\to\mathbb{R}$ $q(0)=\lim_{t\to\infty} q(t)=0$

\begin{aligned} x = x^{*} + ε q \end{aligned}

$\begin{align} x = x^*+\varepsilon q \end{align}$

$\varepsilon\in\mathbb{R}$

\begin{aligned} ρ V (x^{*} + ε q) = H (x^{*} + ε q, u^{*}, V^{'} (x^{*} + ε q)) . \end{aligned}

$\begin{align} \rho V(x^*+\varepsilon q)= H(x^*+\varepsilon q,u^*,V'(x^*+\varepsilon q)). \end{align}$

$\varepsilon = 0$ $\varepsilon$

\begin{aligned} ρ V^{'} q = H_{x} q + H_{V^{'}} V^{″} q . \end{aligned}

$\begin{align} \rho V'q = H_x q + H_{V'}V''q. \end{align}$

এখন সাথে অ্যাডেজমেন্ট ভেরিয়েবলটি সংজ্ঞায়িত করুন

\begin{aligned} λ = V^{'} (x) . \end{aligned}

$\begin{align} \lambda = V'(x). \end{align}$

সময়ের সাথে পার্থক্য

\begin{aligned} \dot{λ} = V^{″} \dot{x} . \end{aligned}

$\begin{align} \dot \lambda = V''\dot x. \end{align}$

এবং নোট করুন যে

\begin{aligned} H_{V^{'}} = f (x, u) = \dot{x} . \end{aligned}

$\begin{align} H_{V'} = f(x,u) = \dot x. \end{align}$

ফোকাসে এভারথিং প্লাগ করুন gives

\begin{aligned} ρ λ = H_{x} + \dot{λ} . \end{aligned}

$\begin{align} \rho \lambda = H_x + \dot \lambda. \end{align}$

এটাই অনেক সুন্দর। সুতরাং এইচজেবি সমাধান করা অনুকূলতার জন্য প্রয়োজনীয় এবং পর্যাপ্ত (এখানে বাদ দেওয়া)। কারও উচিত এটি উইকে যুক্ত করা উচিত। এই জাতীয় সমস্যাগুলি সম্পর্কে চিন্তাভাবনা করা লোকদের জন্য সময় সাশ্রয় করতে পারে (আমার পক্ষে তেমন কিছু হবে না)।

তবে রূপান্তরযোগ্যতা শর্ত অনুপস্থিত।

\begin{aligned} lim_{t \to \infty} e^{- ρ t} λ (t) = 0 \end{aligned}

$\begin{align} \lim_{t\to\infty} e^{-\rho t}\lambda(t) = 0 \end{align}$

II চেষ্টা

পেওফের কার্যক্ষম সংজ্ঞায়িত করুন

\begin{aligned} J (u) := \int_{0}^{\infty} e^{- ρ t} F (x, u) d t \end{aligned}

$\begin{align} J(u):=\int^\infty_0 e^{-\rho t}F(x,u)dt \end{align}$

নোট করুন যে সংজ্ঞা অনুসারে । পারফরম্যান্সাল জন্য নিরপেক্ষ মেয়াদ যুক্ত করুন

\begin{aligned} \int_{0}^{\infty} e^{- ρ t} λ [f (x, u) - \dot{x}] d t = 0 \end{aligned}

$\begin{align} \int^\infty_0{e^{-\rho t}\lambda[f(x,u) - \dot x]dt} = 0 \end{align}$

\dot{x} = f (x, u)

$\dot x = f(x,u)$

\begin{aligned} J (u) & = \int_{0}^{\infty} e^{- ρ t} [F (x, u) + λ f (x, u)] d t - \int_{0}^{\infty} e^{- ρ t} λ \dot{x} d t \\ = \int_{0}^{\infty} e^{- ρ t} H (x, u, λ) - \int_{0}^{\infty} e^{- ρ t} λ \dot{x} d t \end{aligned}

$\begin{align} J(u)&=\int^\infty_0 e^{-\rho t}[F(x,u)+\lambda f(x,u)]dt - \int^\infty_0{e^{-\rho t}\lambda\dot xdt}\\ &=\int^\infty_0 e^{-\rho t}H(x,u,\lambda) - \int^\infty_0{e^{-\rho t}\lambda\dot xdt} \end{align}$

ডান টার্মের অংশগুলির দ্বারা একীকরণের ফলে আরএইচএস ফলন হবে

\begin{aligned} \int_{0}^{\infty} e^{- ρ t} λ \dot{x} d t = [e^{- ρ t} λ (t) x (t)]_{0}^{\infty} - \int_{0}^{\infty} e^{- ρ t} x (\dot{λ} - ρ λ) d t \end{aligned}

$\begin{align} \int^\infty_0{e^{-\rho t}\lambda\dot xdt} = [e^{-\rho t}\lambda(t)x(t)]^\infty_0 - \int^\infty_0{e^{-\rho t}x(\dot \lambda-\rho\lambda)dt} \end{align}$

সেই পদটি পুনরায় প্রতিস্থাপন করুন

\begin{aligned} J (u) = \int_{0}^{\infty} e^{- ρ t} [H (x, u, λ) + x (\dot{λ} - ρ λ)] d t - lim_{t \to \infty} e^{- ρ t} λ (t) x (t) + λ (0) x (0) \end{aligned}

$\begin{align} J(u)=\int^\infty_0 e^{-\rho t}[H(x,u,\lambda) + x(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)x(t) + \lambda(0)x(0) \end{align}$

নির্ধারণ করুন

\begin{aligned} x & = x^{*} + ε q \\ u & = u^{*} + ε p \end{aligned}

$\begin{align} x &= x^*+\varepsilon q\\ u &= u^*+\varepsilon p \end{align}$

যা

\begin{aligned} J (ε) = \int_{0}^{\infty} e^{- ρ t} [H (x^{*} + ε q, u^{*} + ε p, λ) + (x^{*} + ε q) (\dot{λ} - ρ λ)] d t - lim_{t \to \infty} e^{- ρ t} λ (t) [x^{*} (t) + ε q (t)] + λ (0) x (0) \end{aligned}

$\begin{align} J(\varepsilon)=\int^\infty_0 e^{-\rho t}[H(x^*+\varepsilon q,u^*+\varepsilon p,\lambda) + (x^*+\varepsilon q)(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)[x^*(t)+\varepsilon q(t)] + \lambda(0)x(0) \end{align}$

সর্বাধিক $J_\varepsilon = 0$

\begin{aligned} J_{ε} = \int_{0}^{\infty} e^{- ρ t} [H_{x} q + H_{u} p + q (\dot{λ} - ρ λ)] d t - lim_{t \to \infty} e^{- ρ t} λ (t) q (t) = 0 \end{aligned}

$\begin{align} J_\varepsilon=\int^\infty_0 e^{-\rho t}[H_x q + H_u p + q(\dot \lambda-\rho\lambda)]dt - \lim_{t\to\infty}e^{-\rho t}\lambda(t)q(t) = 0 \end{align}$

যেহেতু এবং আমাদের অবশ্যই $q$ $p$

\begin{aligned} H_{u} & = 0 \\ H_{x} & = ρ λ - \dot{λ} \\ lim_{t \to \infty} e^{- ρ t} λ (t) & = 0 \end{aligned}

$\begin{align} H_u &= 0\\ H_x &= \rho\lambda - \dot \lambda\\ \lim_{t\to\infty}e^{-\rho t}\lambda(t) &= 0 \end{align}$

mathematical-economics reference-request dynamic-programming

— পুনের
সূত্র

আপনি এখনও প্রয়োজনীয় এবং পর্যাপ্ত শর্তাদি চিহ্নিত করেছেন?

— জামজি

এটি কোন অর্থনৈতিক প্রসঙ্গে উঠে আসে?

— স্টান শানপাইক

উদাহরণস্বরূপ রামসে মডেল cer.ethz.ch/resec/people/tsteger/Ramsey_Model.pdf

— পুনের

আমি মনে করি যে এই থ্রেডটি ম্যাথ.স্ট্যাকেক্সেঞ্জ ডটকমের জন্য আরও উপযুক্ত since একটি মোড এটি স্থানান্তর করতে পারে।

— অনুগ্রহহীন

এখানে কী জিজ্ঞাসা করা হয়েছে তা সম্পর্কে আমি নিশ্চিত নই: বার্টসেকাসে যদি এইচজেবি সমাধানের জন্য যথেষ্ট হয় , তবে আপনাকে "অতিরিক্ত অনুকূল অবস্থার বিষয়ে চিন্তা করতে হবে না"। এইচজেবি সমাধান না করা হলে "প্রয়োজনীয় এবং পর্যাপ্ত" "বিরুদ্ধে কেবল" যথেষ্ট উত্থাপিত হবে - যার ক্ষেত্রে কেউ বলবেন "এর অর্থ এই নয় যে কোনও সমাধান নেই"। যাইহোক, আপনার এবং দ্বিতীয় চেষ্টাগুলি এখানে মূল্যবান সামগ্রী রয়েছে - প্রথমটি এইচজেবি এবং অনুকূল নিয়ন্ত্রণের অন্তর্গত একটি লিঙ্ক দেখায়, দ্বিতীয়টি কীভাবে অনুকূল নিয়ন্ত্রণ FOC গুলি প্রাপ্ত হতে পারে তা দেখায়।

— অ্যালেকোস পাপাদোপল্লোস

(এটি সম্ভবত একটি মন্তব্য বিবেচনা করা উচিত।)

আপনি যদি এইচজেবি সমীকরণটি সমাধান করে থাকেন তবে এটি সর্বোত্তম সমাধান পেতে যথেষ্ট। সুতরাং আপনাকে "অন্য কোনও অনুকূল অবস্থার সাথে উদ্বিগ্ন হতে হবে না", যা আমি বিশ্বাস করি যে এটি আপনার প্রশ্নের উত্তর দেবে বলে মনে হয়।

এটি প্রদর্শিত হয় যে আপনি উপপাদ্যের "প্রয়োজনীয়" উপাদানটি সম্পর্কে উদ্বিগ্ন। বিবৃতিটির প্রয়োজনীয়তার দিকটি নিম্নরূপ: যদি কোনও অনুকূল সমাধান হয় তবে এইচজেবি সমীকরণের একটি সমাধান অবশ্যই উপস্থিত থাকে।

আমি এই বিশেষ সমস্যাটি নিয়ে কাজ করি নি, তবে সাধারণভাবে উত্তরটি হ'ল আমাদের একটি পৃথক ফাংশন ভি আশা করা যায় না Therefore সুতরাং সমীকরণের যেমনটি বলা আছে তেমন সমাধান আমাদের নেই। পরিবর্তে, আমাদের সাধারণীকৃত ডেরাইভেটিভগুলি দেখতে হবে এবং এইচজেবি সমীকরণকে একটি বৈষম্যতে রূপান্তর করতে হবে। কোন ক্ষেত্রে, আপনি একটি "সান্দ্রতা সমাধান" পেতে পারেন। যদি আমরা সাধারণীকৃত ডেরাইভেটিভগুলি ব্যবহার করতে প্রসারিত করি তবে এটি প্রমাণ করা সম্ভব যে এই জাতীয় সমাধানটি সর্বদা বিদ্যমান। আপনার প্রমাণগুলিতে দৃষ্টিনন্দন হওয়া, তারা প্রয়োজনীয়তার শর্তগুলিতে সহায়তা করবে না, কারণ আপনি স্বতন্ত্রতা ধরে নিচ্ছেন।

— ব্রায়ান রোমানচুক
সূত্র