ননলাইনার প্রোগ্রামিংয়ের জন্য কেন এসকিউপি অগমেন্টেড ল্যাংরজিয়ামের চেয়ে ভাল?

গালাহাদ [১] সম্পর্কিত প্রযুক্তিগত প্রতিবেদনে লেখকরা সাধারণ ননলাইনার প্রোগ্রামিং সমস্যার প্রসঙ্গে বলেছেন,

আমাদের মনে, সত্যই কখনও সন্দেহ করা যায়নি যে এসকিউপি [অনুক্রমিক চতুষ্কোণ প্রোগ্রামিং] পদ্ধতিগুলি দীর্ঘ মেয়াদে [অগমেন্টেড ল্যাংরজিয়ান পদ্ধতিগুলির তুলনায়] আরও সফল হবে ...

সেই বিশ্বাসের ভিত্তি কী হতে পারে? অর্থ্যাৎ, এমন কোনও তাত্ত্বিক ফলাফল রয়েছে যা প্রস্তাব দেয় যে এসকিউপি পদ্ধতিগুলি অগমেন্টেড ল্যাঙ্গরিয়ান পদ্ধতির চেয়ে দ্রুত / আরও নির্ভরযোগ্য হওয়া উচিত?

[১] গালাহাদ, অরবান এবং টোইন্টের দ্বারা বৃহত আকারের ননলাইনার অপ্টিমাইজেশনের জন্য থ্রেড-নিরাপদ ফোর্টরান 90 প্যাকেজগুলির একটি গ্রন্থাগার গ্যালাহাদ

nonlinear-programming

— cjordan1
সূত্র

এসকিউপি পদ্ধতিগুলির প্রয়োজন হয় যে উদ্দেশ্যটি দ্বিগুণ হয়ে উঠতে পারে (সিএফ https://en.m.wikedia.org/wiki/Sequential_quadratic_programming ) যখন অগমেন্টেড ল্যাংরঙ্গিয়ানরা উদ্দেশ্যটি স্বল্পস্থায়ী না হওয়া সত্ত্বেও কাজ করে (সুতরাং চিত্র প্রক্রিয়াকরণ সম্প্রদায়ের তাদের সাম্প্রতিক পুনরুত্থান সিএফ ftp: //arachne.math.ucla.edu/pub/camreport/cam09-05.pdf )

আমি গালাহাদ সফ্টওয়্যার সম্পর্কে জানি না, তবে যদি ডিফারেন্সিয়াল অপ্টিমাইজেশান সমস্যাগুলি সমাধান করার কথা মনে করা হয় তবে এটি সম্ভবত উদ্দেশ্য পদ্ধতিতে পার্থক্য করার অনুমতিপ্রাপ্ত কোনও পদ্ধতি ব্যবহার করে আরও অনেক ভাল করবে।

— dranxo
সূত্র

এটি সত্য নয় যে এসকিউপি-র জন্য দ্বিগুণ স্বতন্ত্র উদ্দেশ্যমূলক কার্যকারিতা প্রয়োজন। উদ্দেশ্যমূলক ক্রিয়ায় স্বল্প পার্থক্য থাকলে আপনি কেবল এমন একটি পদ্ধতি অর্জন করতে পারেন যা সংক্ষিপ্তসারের একটি কম হার রয়েছে, তবে এটি সংযোজনিত ল্যাঙ্গরিয়ান পদ্ধতিগুলির সাথে একই।

— ওল্ফগ্যাং ব্যাঙ্গারথ

বাহ্যিক পুনরাবৃত্তির ক্ষেত্রে, এসকিউপি জিততে হবে কারণ এটিতে দ্বিতীয় ডেরাইভেটিভ তথ্য রয়েছে, যেখানে অ্যাডিমেন্টেড ল্যাঙ্গরিজিয়ান পদ্ধতি যেমন এডিএমএম দেয় না।

তবে, একটি বিষয় মনে রাখবেন যে এই পদ্ধতির প্রতিটি পুনরাবৃত্তির মধ্যে একটি রৈখিক সিস্টেম সমাধান করা জড়িত, সুতরাং একটি সুষ্ঠু তুলনা করার জন্য আপনাকে বিবেচনা করতে হবে এই সিস্টেমগুলি সমাধান করা কতটা সহজ।

সংযোজনিত ল্যাংগ্রিজিয়ান (বিকল্প) পদ্ধতিগুলির জন্য, প্রতিটি পুনরাবৃত্তি আপনি এমন কিছু সমাধান করছেন,

(A^{T} A + ρ I) x = b,

$(A^TA + \rho I)x = b,$ কোথায়

A

$A$ অবজেক্টিভ ফাংশন থেকে সোজা একটি ফরোয়ার্ড অপারেটর যা পরিচিত এবং সাধারণত ডিল করা বা পূর্বশর্ত, এবং

ρ

$\rho$ পেনাল্টি প্যারামিটার হয়। (যেমন, আপনার সমস্যাটি হ'ল

min_{x} | | A x - b | |^{2}

$\min_x ||Ax-b||^2$ কিছু নিয়মিতকরণ এবং সীমাবদ্ধতার সাপেক্ষে)।

পদ্ধতিগুলির জন্য আপনি মতো কিছু সমাধান করছেন যেখানে হেসিয়ান (বা এর আনুমানিক) যা সাধারণত কেবলমাত্র এটি ভেক্টরগুলির উপর তার ক্রিয়া অনুসারে উপলব্ধ এবং গ্রেডিয়েন্ট। হেসিয়ানটিতে কেবল , অন্যান্য ম্যাট্রিক্স এবং ম্যাট্রিক্স ইনভারসগুলির সংমিশ্রণগুলি নিয়মিতকরণ এবং নিয়মিতকরণ থেকে আসে a

H x = g,

$Hx = g,$

H

$H$

g

$g$

A

$A$

পূর্বশর্ত হেসিয়ানস একটি খুব কৌতুকপূর্ণ ব্যবসা এবং পূর্ববর্তী শর্তগুলির তুলনায় অনেক কম অধ্যয়ন করা হয়। একটি স্ট্যান্ডার্ড পদ্ধতি হ্যাসিয়ান বিপরীতকে এল-বিএফজিএসের সাথে আনুমানিক অনুমান করা, তবে যখন হেসিয়ান ইনভার্স উচ্চ-পদমর্যাদায় থাকে তখন এটি সীমিত কার্যকর হয়। আরেকটি জনপ্রিয় পদ্ধতি হেসিয়ানকে নিম্ন-স্তরের ম্যাট্রিক্স প্লাস হিসাবে ম্যাট্রিক্সকে উল্টানো সহজ হিসাবে যোগফল হিসাবে আনুমানিক করা, তবে এটি হার্ড সমস্যার ক্ষেত্রেও সীমিত কার্যকারিতা রয়েছে। অন্যান্য জনপ্রিয় হেসিয়ান অনুমানের কৌশলগুলি বিরল আনুমানিকতার উপর ভিত্তি করে তৈরি হয়, তবে ধারাবাহিক সমস্যায় প্রায়শই হেসিয়ান থাকে যা খুব কমই স্বল্প পরিমাণে অনুমান করে।

— নিক অ্যালজার
সূত্র

+1, যদিও আমি কম্বল সংক্রান্ত বিবৃতিগুলির বিরুদ্ধে সতর্কতা অবলম্বন করতে চাই (যার দ্বারা আমি এই উত্তরটি বিশেষভাবে বোঝাতে চাই না)। উদাহরণস্বরূপ, PDE-সীমাবদ্ধ অপ্টিমাইজেশান এ, প্রয়োগের প্রায়ই একটি অরৈখিক PDE সমাধানে জড়িত থাকে, যখন দুই রৈখিক PDEs সমাধান করে প্রয়োগ করা যেতে পারে - যা উল্লেখযোগ্যভাবে সস্তা (এবং পূর্বশর্ত করা আরো সহজ) যদি মূল PDE কদর্য হতে পারে।

A

$A$

H

$H$

— ক্রিশ্চান ক্ল্যাসন

সুতরাং, দুটি পিডিই সমাধান করে প্রয়োগ করা যেতে পারে, তবে apply প্রয়োগ করতে আপনাকে আপনার সলভারে ক্রিয়লভ পুনরাবৃত্তি প্রতি 2 পিডিই সমাধান করতে হবে । অন্যদিকে হ'ল ফরোয়ার্ড অপারেটর তাই এটি সাধারণত কোনও পিডিই সমাধান করে না জড়িত। সাধারণত একজন ম্যাট্রিক্স স্পষ্টভাবে জানেন , উদাহরণস্বরূপ, একটি জাল উপর একটি 5 পয়েন্ট সসীম পার্থক্য স্টেনসিল। Prec জন্য পূর্বশর্ত তৈরিতে এ-এর পূর্বশর্তি ব্যবহার করা যেতে পারে তবে পূর্ববর্তী অবস্থার তে এটি ব্যবহার করা আরও শক্ত ।

H

$H$

H^{- 1}

$H^{-1}$

A

$A$

A

$A$

A

$A$

A^{T} A + ρ I

$A^TA + \rho I$

H

$H$

— নিক

যদি লিনিয়ার ফরোয়ার্ড অপারেটর (যা ননলাইনার পিডিই-সীমাবদ্ধ অপ্টিমাইজেশনের ক্ষেত্রে হয় না), তবে আপনি অবশ্যই সঠিক। অন্যথায়, আবেদন একটি রৈখিক PDE সমাধান প্রয়োজন নিউটন পুনরাবৃত্তির প্রতি (অথবা নির্দিষ্ট বিন্দু পুনরাবৃত্তির), আরেকটি দ্বারা অনুসরণ (যা সবসময় রৈখিক যায়)। দুটি পদ্ধতির মধ্যে কোনটির জন্য কম মোট কাজ প্রয়োজন (বলুন, লিনিয়ার পিডিই সলভের সংখ্যা অনুসারে) নির্দিষ্ট সমস্যার উপর খুব বেশি নির্ভর করে। বিভিন্ন কাজের জন্য বিভিন্ন সরঞ্জাম, আমি যা বলছি সবই।

A

$A$

A

$A$

A^{T}

$A^T$

— খ্রিস্টান ক্ল্যাসন

আমি বিভিন্ন কাজের জন্য বিভিন্ন সরঞ্জাম সম্পর্কে একমত। PDE সীমাবদ্ধ অপ্টিমাইজেশান সমস্যার জন্য গাউস-নিউটন হেসিয়ান আমার মনে আছে - যেমন - , এবং সম্পূর্ণ হেসিয়ান এটি হ'ল আরও শর্তগুলি। সুতরাং এখানে দুটি বিপরীত রয়েছে এবং বিপরীতে দুটি বিপরীত রয়েছে।

min_{q, u} \frac{1}{2} | | C u - y | |^{2} + \frac{α}{2} | | R q | |^{2}

$\min_{q,u} \frac{1}{2}||Cu - y||^2 + \frac{\alpha}{2}||Rq||^2$

A u = q

$Au=q$

H = A^{- T} C^{T} C A^{- 1} + α R^{T} R

$H = A^{-T}C^TCA^{-1} + \alpha R^T R$

H

$H$

H^{- 1}

$H^{-1}$

— নিক অ্যালজার

এবং আমি বাধ্যতা ছিল মনে (যেমন, মানচিত্র সমাধান এর , যা পরামিতি সনাক্তকরণ বা টপোলজি অপ্টিমাইজেশান দেখা যায়)।

S (q) = u

$S(q) = u$

S

$S$

q

$q$

u

$u$

- \nabla \cdot (q \nabla u) = f

$-\nabla\cdot(q\nabla u) = f$

— ক্রিশ্চান ক্লাসন