পিডি-সীমাবদ্ধ অপ্টিমাইজেশনের জন্য অ্যাডমিন্ট পদ্ধতির ব্যয় বোঝা

আমি বুঝতে চেষ্টা করছি যে কীভাবে সামঞ্জস্য-ভিত্তিক অপ্টিমাইজেশন পদ্ধতিটি PDE সীমাবদ্ধ অপ্টিমাইজেশনের জন্য কাজ করে। বিশেষত, আমি বুঝতে চেষ্টা করছি কেন ডিজাইনের ভেরিয়েবলগুলির সংখ্যা বড় যেখানে সমস্যাগুলির জন্য অ্যাডমিন্ট পদ্ধতিটি আরও দক্ষ, তবে "সমীকরণের সংখ্যাটি ছোট"।

আমি যা বুঝতে পারি:

নিম্নলিখিত PDE সীমাবদ্ধ অপ্টিমাইজেশন সমস্যা বিবেচনা করুন:

min_{β} I (β, u (β)) s . t . R (u (β)) = 0

$\min_\beta \text{ } I(\beta,u(\beta))\\ s.t. R(u(\beta))=0$

যেখানে $I$ ভেক্টর ডিজাইন ভেরিয়েবল $\beta$ এবং ফিল্ড ভেরিয়েবল অজানা ভেক্টর $u(\beta)$ যা ডিজাইনের ভেরিয়েবলগুলির উপর নির্ভরশীল, এবং $R(u)$ পিডিইর অবশিষ্টাংশ where

স্পষ্টতই, আমি এবং আর এর প্রথম প্রকারের পরিবর্তনগুলি করতে পারি

δ I = \frac{\partial I}{\partial β} δ β + \frac{\partial I}{\partial u} δ u

$\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u$

δ R = \frac{\partial R}{\partial β} δ β + \frac{\partial R}{\partial u} δ u = 0

$\delta R = \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u = 0$

ল্যাংরেঞ্জ মাল্টিপ্লায়ার্স লাম্বদা এর ভেক্টরটির সাথে পরিচয় করিয়ে $\lambda$ দিয়ে, উদ্দেশ্যমূলক কার্যের বিভিন্নতা হিসাবে লেখা যেতে পারে

δ I = \frac{\partial I}{\partial β} δ β + \frac{\partial I}{\partial u} δ u + λ^{T} [\frac{\partial R}{\partial β} δ β + \frac{\partial R}{\partial u} δ u]

$\delta I = \frac{\partial I}{\partial \beta}\delta\beta + \frac{\partial I}{\partial u}\delta u + \lambda^T\left[ \frac{\partial R}{\partial \beta}\delta\beta + \frac{\partial R}{\partial u}\delta u\right]$

পুনরায় সাজানো পদগুলি, আমরা লিখতে পারি:

δ I = [\frac{\partial I}{\partial β} + λ^{T} \frac{\partial R}{\partial β}] δ β + [\frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u}] δ u

$\delta I = \left[\frac{\partial I}{\partial \beta} + \lambda^T\frac{\partial R}{\partial \beta}\right]\delta\beta + \left[\frac{\partial I}{\partial u} + \lambda^T\frac{\partial R}{\partial u}\right]\delta u$

সুতরাং, আমরা যদি যেমন সমাধান করতে সক্ষম $\lambda$

\frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u} = 0 (adjoint equation)

$\frac{\partial I}{\partial u} + \lambda^T\frac{\partial R}{\partial u}=0 \text{ (adjoint equation)}$

তারপরে গ্রেডিয়েন্ট মূল্যায়ন করা হয় কেবল ডিজাইনের ভেরিয়েবলগুলির ক্ষেত্রে । $\delta I= \left[\frac{\partial I}{\partial \beta} + \lambda^T\frac{\partial R}{\partial \beta}\right]\delta \beta$ $\beta$

সুতরাং, একটি স্থগিত ভিত্তিক অপ্টিমাইজেশন অ্যালগরিদম নিম্নলিখিত পদক্ষেপগুলি লুপ করবে:

বর্তমান ডিজাইন ভেরিয়েবলগুলি দেওয়া হয়েছে $\beta$
ফিল্ড ভেরিয়েবল জন্য সমাধান করুন (পিডিই থেকে) $u$
ল্যাংরেঞ্জ মাল্টিপ্লায়ার্স ল্যাম্বদা ( অ্যাডেজ সমীকরণ থেকে) এর জন্য সমাধান করুন $\lambda$
গ্রেডিয়েন্টগুলি গণনা করুন $\frac{\partial I}{\partial \beta}$
ডিজাইন ভেরিয়েবলগুলি আপডেট করুন $\beta$

আমার প্রশ্ন

ডিজাইনের ভেরিয়েবলের সংখ্যা বৃহত্তর ক্ষেত্রে এই পুনরাবৃত্তির জন্য অপটিমাইজেশনের ব্যয়কে কীভাবে উন্নত করতে পারে? আমি শুনেছি স্থগিতকরণ পদ্ধতির জন্য গ্রেডিয়েন্ট মূল্যায়নের ব্যয় ডিজাইনের ভেরিয়েবলের সংখ্যার থেকে 'স্বতন্ত্র'। তবে এটি ঠিক কীভাবে সত্য?

আমি নিশ্চিত যে খুব স্পষ্ট কিছু আছে যা আমি একরকম উপেক্ষা করছি।

optimization pde

— পল
সূত্র

যাইহোক, ল্যাঞ্জরঞ্জ গুণকটি সাধারণত উদ্দেশ্যগত কার্যক্রমে যুক্ত হয়, প্রকরণটি নয়; এভাবে । থেকে সম্মান সঙ্গে ব্যুৎপন্ন সেট শূন্য উৎপাদনের adjoint সমীকরণ, এবং এই ঢোকাতে (এবং সমাধান রাষ্ট্র সমীকরণের ) থেকে সম্মান সঙ্গে ব্যুৎপন্ন মধ্যে গ্রেডিয়েন্ট উৎপাদ। আপনি যদি PDE এর দুর্বল সূচনা দিয়ে শুরু করেন, জিনিসগুলি আরও সহজ হয়ে যায়: পরীক্ষার ফাংশনের জায়গায় কেবল ল্যাঞ্জরেঞ্জ গুণকটি সন্নিবেশ করান। শক্তিশালী ফর্ম বা কোথাও আংশিক একীকরণের প্রয়োজন নেই।

min_{u, β} max_{λ} I (u, β) + λ^{T} R (u, β)

$\min_{u,\beta}\max_\lambda I(u,\beta) + \lambda^T R(u,\beta)$

u

$u$

u

$u$

R (u, β) = 0

$R(u,\beta)=0$

β

$\beta$

— ক্রিশ্চান ক্লাসন

যে কোনও সিমুলেশনের সবচেয়ে ব্যয়বহুল অংশ হ'ল সমাধান পর্ব phase অ্যাজেপমেন্টটি ব্যবহার করে আপনি দুটি সলভের মধ্যে গ্রেডিয়েন্ট পাবেন, সীমাবদ্ধ পার্থক্যের তুলনায় অনেক কম সস্তা যেখানে আপনার কমপক্ষে এন +1 সলভ প্রয়োজন, আপনার মডেলের নিখরচায় প্যারামিটারের সংখ্যা।

— stally

উত্তর:

ডিজাইনের ভেরিয়েবলের সংখ্যা বৃহত্তর ক্ষেত্রে এই পুনরাবৃত্তির জন্য অপটিমাইজেশনের ব্যয়কে কীভাবে উন্নত করতে পারে?

আমি লিনিয়ার বীজগণিতের দৃষ্টিকোণ থেকে ব্যয়টি নিয়ে ভাবি। ( স্টিফেন জি জনসনের এই নোটগুলি দেখুন , যা আমি ল্যাঞ্জরেঞ্জ গুণক পদ্ধতির চেয়ে আরও স্বজ্ঞাত বলে মনে করি)। সামনের দিকে এগিয়ে যাওয়া পদ্ধতির সংবেদনশীলতার জন্য সরাসরি সমাধানের পরিমাণ:

\begin{aligned} \frac{\partial u}{\partial β} = - {(\frac{\partial R}{\partial u})}^{- 1} \frac{\partial R}{\partial β} \end{aligned}

$\begin{align} \frac{\partial{u}}{\partial{\beta}} = -\left(\frac{\partial{R}}{\partial{u}}\right)^{-1}\frac{\partial{R}}{\partial{\beta}} \end{align}$

যার মধ্যে ভেক্টর- প্রতিটি প্যারামিটারের জন্য একটি রৈখিক সিস্টেম সমাধান করা , তারপরে মূল্যায়ন করা জড়িত $\beta$

\begin{aligned} \frac{d I}{d β} = \frac{\partial I}{\partial β} + \frac{\partial I}{\partial u} \frac{\partial u}{\partial β}, \end{aligned}

$\begin{align} \frac{\mathrm{d}I}{\mathrm{d}\beta} = \frac{\partial{I}}{\partial{\beta}} + \frac{\partial{I}}{\partial{u}}\frac{\partial{u}}{\partial{\beta}}, \end{align}$

যেখানে a মোট ডেরিভেটিভকে বোঝায়, এবং আংশিক ডেরিভেটিভকে বোঝায়। $\mathrm{d}$ $\partial$

স্থগিত পন্থা নোট করে যে

\begin{aligned} \frac{d I}{d β} = \frac{\partial I}{\partial β} - \frac{\partial I}{\partial u} {(\frac{\partial R}{\partial u})}^{- 1} \frac{\partial R}{\partial β}, \end{aligned}

$\begin{align} \frac{\mathrm{d}I}{\mathrm{d}\beta} = \frac{\partial{I}}{\partial{\beta}} - \frac{\partial{I}}{\partial{u}}\left(\frac{\partial{R}}{\partial{u}}\right)^{-1}\frac{\partial{R}}{\partial{\beta}}, \end{align}$

সুতরাং অ্যাডমিন্ট ভেরিয়েবল (ল্যাঞ্জারেঞ্জ গুণক) দ্বারা সংজ্ঞা দেওয়া যায় $\lambda$

\begin{aligned} - \frac{\partial I}{\partial u} {(\frac{\partial R}{\partial u})}^{- 1} = λ^{T}, \end{aligned}

$\begin{align} -\frac{\partial{I}}{\partial{u}}\left(\frac{\partial{R}}{\partial{u}}\right)^{-1} = \lambda^{T}, \end{align}$

যা সমীকরণের সমীকরণের সাথে সম্পর্কিত

\begin{aligned} \frac{\partial I}{\partial u} + λ^{T} \frac{\partial R}{\partial u} = 0. \end{aligned}

$\begin{align} \frac{\partial{I}}{\partial{u}} + \lambda^{T}\frac{\partial{R}}{\partial{u}} = 0. \end{align}$

পদগুলির এই পুনরায় গ্রুপিংয়ের জন্য প্রতিটি প্যারামিটারের জন্য রৈখিক সমাধানের পরিবর্তে কেবলমাত্র একটি লিনিয়ার সলিউশন প্রয়োজন, যা বহু প্যারামিটার ক্ষেত্রে মূল্যায়ন স্থগিত করে।

আমি শুনেছি স্থগিতকরণ পদ্ধতির জন্য গ্রেডিয়েন্ট মূল্যায়নের ব্যয় ডিজাইনের ভেরিয়েবলের সংখ্যার থেকে 'স্বতন্ত্র'। তবে এটি ঠিক কীভাবে সত্য?

এটি সম্পূর্ণ স্বাধীন নয়; সম্ভবত মূল্যায়নের ব্যয় এবং প্যারামিটারের সংখ্যার সাথে বৃদ্ধি পাবে। রৈখিক সমাধান অবশ্য এখনও একই আকারের, যতদিন আয়তন হবে পরিবর্তন করে না। অনুমানটি হ'ল সলভগুলি ফাংশন মূল্যায়নের চেয়ে অনেক বেশি ব্যয়বহুল। $(\partial{I}/\partial{\beta})$ $(\partial{R}/\partial{\beta})$ $u$

— জিওফ অক্সবেরি
সূত্র

সংক্ষেপে, সুবিধায় কমে উদ্দেশ্য এর কম্পিউট ডেরাইভেটিভস যে সত্য থেকে আসে , আপনি কি সত্যিই ডেরিভেটিভ জানা প্রয়োজন না সম্মান সঙ্গে একটি পৃথক অবজেক্ট হিসাবে, তবে এর কেবলমাত্র সেই অংশই পরিবর্তিত হতে পারে । $I(\beta,u(\beta))$ $u(\beta)$ $\beta$ $I(\beta,u(\beta))$

আমাকে একটি স্বরলিপিতে স্যুইচ করতে দাও আমি এতে আরও কিছুটা স্বাচ্ছন্দ্য বোধ করি: ( হচ্ছেন ভেরিয়েবল ডিজাইন করুন, রাষ্ট্রীয় পরিবর্তনশীল, এবং উদ্দেশ্য)। আসুন বলে অন্তর্নিহিত ফাংশন উপপাদ্য প্রয়োগ করতে চমৎকার যথেষ্ট, তাই সমীকরণ হয়েছে একটি অনন্য সমাধান যা থেকে সম্মান সঙ্গে ক্রমাগত differentiable হয় , এবং উপজাত সমাধান দেওয়া হয় ( এবং হচ্ছে আংশিক ডেরাইভেটিভস) ।

min_{y, u} J (y, u) subject to e (y, u) = 0

$\min_{y,u} J(y,u) \quad\text{subject to}\quad e(y,u)=0$

u

$u$

y

$y$

J

$J$

e (y, u)

$e(y,u)$

e (y, u) = 0

$e(y,u)=0$

y (u)

$y(u)$

u

$u$

y^{'} (u)

$y'(u)$

\begin{matrix} (1) & e_{y} (y (u), u) y^{'} (u) + e_{u} (y (u), u) = 0 \end{matrix}

$e_y(y(u),u)y'(u) + e_u(y(u),u) = 0\tag{1}$

e_{y}

$e_y$

e_{u}

$e_u$

এর অর্থ আপনি হ্রাস উদ্দেশ্য সংজ্ঞায়িত করতে পারেন , যা পার্থক্যমূলকও (যদি হয়)। গ্রেডিয়েন্ট বৈশিষ্ট্যযুক্ত করার একটি উপায় নির্দেশমূলক ডেরাইভেটিভগুলির মাধ্যমে (যেমন, নকশার জায়গার ভিত্তিতে সমস্ত আংশিক ডেরাইভেটিভগুলি গণনা করুন)। এখানে, দিক নির্দেশনা নির্দেশমূলক ব্যুৎপন্ন যেমন চেইন নিয়ম দেওয়া হয় তাহলে চমৎকার হয় গনা শুধুমাত্র কঠিন জিনিস দেওয়া । এটি দিয়ে গুণ করে করা যায় $j(u):=J(y(u),u)$ $J(y,u)$ $\nabla j(u)$ $h$

\begin{matrix} (2) & j^{'} (u; h) = ⟨ J_{y} (y (u), u), y^{'} (u) h ⟩ + ⟨ J_{u} (y (u), u), h ⟩ . \end{matrix}

$j'(u;h) = \langle J_y(y(u),u),y'(u)h \rangle + \langle J_u(y(u),u),h\rangle.\tag{2}$

J

$J$

y^{'} (u) h

$y'(u)h$

h

$h$

(1)

$(1)$

h

$h$ জন্য ডান এবং সমাধান করা (যা অন্তর্নিহিত ফাংশন উপপাদ্যটি অনুমতি দেয়), অর্থাৎ, এবং এই এক্সপ্রেশনটিকে প্লাগ ইন করুন । PDE-সীমাবদ্ধ অপ্টিমাইজেশান, একটি একরৈখিক PDE সমাধানে এই পরিমাণে যে ভিত্তি ভেক্টর জন্য নকশা স্থান।

y^{'} (u) h

$y'(u)h$

\begin{matrix} (3) & [y^{'} (u) h] = e_{y} (y (u), u)^{- 1} [e_{u} (y (u), u) h] \end{matrix}

$[y'(u)h] = e_y(y(u),u)^{-1} [e_u(y(u),u)h]\tag{3}$

(2)

$(2)$

h

$h$

তবে, আমরা যদি কোনও অপারেটর যেমন যে তবে এটি অবশ্যই পছন্দসই গ্রেডিয়েন্ট হতে হবে। তাকিয়ে আমরা লিখতে পারি (সঙ্গে adjoint অপারেটর হচ্ছে), তাই সব আমরা গনা প্রয়োজন । এটি Using ব্যবহার করে এটি ব্যবহার করে করা যেতে পারে , অর্থাৎ এবং সেটিং সীমাবদ্ধ অপ্টিমাইজেশনে, $\nabla j$

j^{'} (u; h) = ⟨ \nabla j, h ⟩ for all h,

$j'(u;h) = \langle \nabla j,h\rangle\qquad \text{for all }h,$

(1)

$(1)$

⟨ J_{y} (y (u), u), y^{'} (u) h ⟩ = ⟨ y^{'} (u)^{*} J_{y} (y (u), u), h ⟩

$\langle J_y(y(u),u),y'(u)h \rangle = \langle y'(u)^*J_y(y(u),u),h \rangle$

y^{'} (u)^{*}

$y'(u)^*$

y^{'} (u)^{*} j_{y} (y (u), u)

$y'(u)^*j_y(y(u),u)$

(A B)^{*} = B^{*} A^{*}

$(AB)^* = B^* A^*$

(3)

$(3)$

λ := e_{y} (y (u), u)^{- *} J_{y} (y (u), u)

$\lambda:= e_y(y(u),u)^{-*}J_y(y(u),u)$

\nabla j (u) = e_{u} (y (u), u)^{*} λ + J_{u} (y (u), u) .

$\nabla j(u) = e_u(y(u),u)^*\lambda +J_u(y(u),u).$

J_{y} (y (u), u)

$J_y(y(u),u)$ সাধারণত কিছুটা অবশিষ্টাংশ, এবং কম্পিউটিং- ডিজাইনের জায়গার মাত্রা ব্যতীত একটি একক (লিনিয়ার) স্থগিত PDE সমাধান করা জড়িত । (বস্তুত, এই এমনকি বিতরণ পরামিতি, অর্থাত্ জন্য, কাজ করে কিছু অসীম-মাত্রিক Banach স্থান, যেখানে প্রথম পদ্ধতির infeasible হয় একটি ফাংশন।)

λ

$\lambda$

u

$u$

— খ্রিস্টান ক্লাসন
সূত্র