অভিযোজক গ্রেডিয়েন্ট বংশদ্ভুত পদক্ষেপের আকার যখন আপনি কোনও লাইন অনুসন্ধান করতে পারবেন না

Question

আমার একটি উদ্দেশ্যমূলক কাজ রয়েছে $E$ একটি মান উপর নির্ভরশীল $\phi(x, t = 1.0)$, কোথায় $\phi(x, t)$একটি PDE সমাধান। আমি আশাবাদী$E$PDE এর প্রাথমিক অবস্থার উপর গ্রেডিয়েন্ট বংশোদ্ভূত দ্বারা :$\phi(x, t = 0.0)$। যে, আমি আপডেট$\phi(x, t = 0.0)$এবং তারপরে আমার অবশিষ্টাংশের গণনা করতে পিডিই সংহত করতে হবে। এর অর্থ, যদি আমি গ্রেডিয়েন্ট বংশদ্ভুত পদক্ষেপের আকারের জন্য একটি লাইন অনুসন্ধান করতে পারি (কল করুন)$\alpha$), প্রতিটি সম্ভাব্য মান জন্য $\alpha$ আমাকে আবার পিডিই সংহত করতে হবে।

আমার ক্ষেত্রে এটি ব্যয়বহুল ব্যয়বহুল হবে। অভিযোজিত গ্রেডিয়েন্ট বংশদ্ভুত পদক্ষেপের আকারের জন্য অন্য বিকল্প আছে?

আমি এখানে গাণিতিকভাবে মূলিত স্কিমগুলি খুঁজছি না (যদিও কিছু উপস্থিত থাকলে অবশ্যই এটি আরও ভাল) তবে স্থির পদক্ষেপের আকারের চেয়ে সাধারণত এমন কোনও কিছুতে খুশি হবেন।

ধন্যবাদ!

Comments

আমি মনে করি না যে আমি এই মুহুর্তে PDE একীভূত করার উপায়টি সংশোধন করতে চাই, আমার হিসাবে এটি একটি প্রধান কোড পুনর্লিখন হবে। এছাড়াও, এটি এতোটুকুও নয় যে পিডিই একটি ছদ্মবেশী, যেহেতু আমাকে স্পেসটাইমের সময় খুব ঘন গ্রিডে সমাধান করতে হবে কারণ আমার খুব উচ্চ সংখ্যার যথার্থতা প্রয়োজন।

— এনএলআই 10

অন্যদিকে, বিবি পদ্ধতিটি (যার সাথে আমি পরিচিত ছিলাম না) বেশ ভাল বলে মনে হচ্ছে; আমার যা করতে হবে তা পূর্ববর্তী পুনরাবৃত্তির স্থিতি এবং গ্রেডিয়েন্টের উপর নজর রাখে এবং আমি একটি দ্বিতীয় আদেশের প্রায় অনুমান পাই ... এটি খুব সুন্দর বলে মনে হচ্ছে। যাইহোক, ডেরাইভেশনটি উত্তল চতুর্ভুজটি ধরে নিয়েছে এবং আমার সমস্যাটি প্রায় অবশ্যই তা নয়। যদিও, আমি অবশ্যই বিশ্বব্যাপী মিনিমার চেয়ে স্থানীয় খুঁজে পেয়েছি (এবং এতে খুশি)। আপনি কি জানেন যে বিবি খুব উচ্চ মাত্রিক সমস্যার উপর কতটা ভাল পারফর্ম করেছে?

— NLi10Me

আমি অনুমান করি যে স্থানীয় মিনিমা সম্পর্কে আমি কী বোঝাতে চেয়েছি তা হল, কোনও স্থানীয় ন্যূনতমের আশেপাশে কোনও কাজ প্রায় চতুর্ভুজ নয়? আমার মনে হয় আমার প্রাথমিক অবস্থা$\phi^{(0)}(x, t = 0.0)$ন্যূনতমের কাছে যথেষ্ট পরিমাণে কাছাকাছি, অনেকগুলি উদাহরণ হিসাবে আমি স্থির পদক্ষেপের আকারের সাথেও মসৃণ সংমিশ্রণ পাই। সুতরাং, যদিও এটি অত্যন্ত উচ্চ মাত্রিক, এবং সাধারণভাবে আপনি পুরো অনুসন্ধানের স্থানটিকে সমস্যাহীন / নন-চতুর্ভুজ হিসাবে বিবেচনা করে দেখেন, বিবি কি এখনও একটি ভাল পছন্দ ডাব্লু / ও লাইন অনুসন্ধান হতে পারে?

— এনএলআই 10

অন্যান্য "উপাদান" থেকে $E$ পরীক্ষামূলক চিত্র ডেটা হয়। $\phi(x, t = 1.0)$একটি চিত্রকে অন্যটির সাথে "মেলে" বাছাই করার চেষ্টা করে (ভক্সেলের ওভার ইন্টিগ্রেটেড কিছু মিলের ক্রিয়াকলাপ দ্বারা পরিমাপ করা)। কিছু চিত্র জোড়ার জন্য, আমি (আমার বর্তমান পছন্দ) স্থির পদক্ষেপের আকারের সাথে মসৃণ একত্রীকরণ পাই। অন্যান্য চিত্রের জোড়ার জন্য, আমি প্রচুর দোলনা পাই। সিস্টেমটি পুরোপুরি স্বয়ংক্রিয়ভাবে চালিত হতে হবে, তাই আমি ঝামেলা চিত্রের জোড়গুলির জন্য ধাপের আকারটি পিছনে যেতে এবং হাত এড়াতে পারছি না।

— NLi10Me

ঠিক আছে, গ্রেডিয়েন্টটি পাওয়ার জন্য আমাকে অ্যাজপমেন্ট সিস্টেমটি সমাধান করতে হবে (এটি একটি ন্যাসটিয়ার সিস্টেম এবং আরও বেশি সময় নেয়)। ঠিক আছে, আমি মনে করি আমি ব্যাকট্র্যাকিং লাইন অনুসন্ধানের সাথে বিবি চেষ্টা করব। আপনাকে ধন্যবাদ খুব পরামর্শের জন্য অনেক; আমার উপদেষ্টারা প্রায়শই এহোল্ড পেতে কঠোর হন এবং তাদের মধ্যে অনেকেই কেবলমাত্র মডেল হিসাবে বাস্তবায়নে আগ্রহী নন। আমি আবিষ্কার করছি যে সংখ্যাসূচক পদ্ধতিগুলি কোনও মডেল ভাল কিনা প্রথম স্থানে রয়েছে তা প্রদর্শনের জন্য গুরুত্বপূর্ণ উপাদান, তাই আবারও ধন্যবাদ আমি সত্যিই এটির প্রশংসা করি।

— NLi10Me

Answer 1

আমি একটি সাধারণ মন্তব্য দিয়ে শুরু করব: প্রথম অর্ডার সম্পর্কিত তথ্য (যেমন, কেবলমাত্র গ্রেডিয়েন্টগুলি ব্যবহার করে, যা opeালকে এনকোড করে) কেবল আপনাকে দিকনির্দেশক তথ্য দিতে পারে: এটি আপনাকে বলতে পারে যে ফাংশনের মান অনুসন্ধানের দিক থেকে হ্রাস পাবে, তবে কতক্ষণের জন্য নয় । অনুসন্ধানের দিকটি কতটা দূরে যেতে হবে তা নির্ধারণ করতে আপনার অতিরিক্ত তথ্যের প্রয়োজন (ধ্রুব পদক্ষেপের দৈর্ঘ্যের সাথে গ্রেডিয়েন্ট বংশোদ্ভূত উত্তল চতুর্ভুজ সমস্যার জন্যও ব্যর্থ হতে পারে)। এর জন্য, আপনার মূলত দুটি পছন্দ রয়েছে:

1. ব্যবহার করুন দ্বিতীয় আদেশ তথ্য (যার জন্য আপনি সবসময় পদক্ষেপ দৈর্ঘ্য ব্যবহার করতে পারেন গ্রেডিয়েন্ট বংশদ্ভুত পরিবর্তে নিউটনের পদ্ধতি ব্যবহার করে (যা বক্রতা এনকোড), উদাহরণস্বরূপ$1$ মিনিমাইজারের পর্যাপ্ত পরিমাণে)।
2. ট্রায়াল এবং ত্রুটি (অবশ্যই অবশ্যই আমি বোঝাতে চাইছি একটি সঠিক লাইন অনুসন্ধান যেমন আরমিওজোর মতো)।

যদি আপনি লেখেন যেমন আপনার দ্বিতীয় ডেরিভেটিভসের অ্যাক্সেস নেই এবং মান্য কাজটি মূল্যায়ন করা ব্যয়বহুল, আপনার একমাত্র আশা আপস করা: একটি ভাল প্রার্থীর পদক্ষেপের দৈর্ঘ্য পেতে পর্যাপ্ত আনুমানিক দ্বিতীয়-আদেশের তথ্য ব্যবহার করুন যেমন একটি লাইন অনুসন্ধান শুধুমাত্র প্রয়োজন $\mathcal{O}(1)$ মূল্যায়ন (যেমন, আপনার গ্রেডিয়েন্টটি মূল্যায়নের জন্য আপনার প্রয়োজন পরিশ্রমের সর্বাধিক একটি (ছোট) ধ্রুবক)

একটি সম্ভাবনা হ'ল বার্জিলাই - বোরউইন ধাপ দৈর্ঘ্য (দেখুন, উদাহরণস্বরূপ, ফ্ল্যাচার: বার্জিলাই-বোরওইন পদ্ধতিতে applications অ্যাপ্লিকেশনগুলির সাহায্যে অপ্টিমাইজেশন এবং নিয়ন্ত্রণ, ২৩৫-২66, অ্যাপ্লিকেশন । পদক্ষেপের আকারের অনুমানের জন্য অনুসন্ধানের দিক বরাবর বক্রতার সীমাবদ্ধ পার্থক্য ব্যবহার করার ধারণা। বিশেষত, চয়ন করুন$\alpha_0>0$ নির্বিচারে, সেট $g^0:=\nabla f(x^0)$ এবং তারপর জন্য $k=0,...$:

1. সেট $s^k = -\alpha_k^{-1} g^k$ এবং $x^{k+1}=x^k+s^k$
2. মূল্যনির্ধারণ $g^{k+1}=\nabla f(x^{k+1})$ এবং সেট $y^k = g^{k+1}-g^{k}$
3. সেট $\alpha_{k+1} = \frac{(y^k)^Ty^k}{(y^k)^Ts^k}$

এই পছন্দটি চতুর্ভুজ ফাংশনের জন্য (খুব দ্রুত বাস্তবে) রূপান্তর করতে দেখানো যেতে পারে, তবে রূপান্তরটি একঘেয়ে নয় (অর্থাত, ফাংশন মান)$f(x^{k+1})$ এর চেয়ে বড় হতে পারে $f(x^k)$, তবে কেবল একবারে; ফ্ল্যাচারের কাগজে 10 পৃষ্ঠায় প্লটটি দেখুন)। চতুর্ভুজবিহীন ক্রিয়াকলাপগুলির জন্য, আপনাকে এটি একটি লাইন অনুসন্ধানের সাথে একত্রিত করতে হবে, যা অ-একঘেয়েমিটি মোকাবেলার জন্য সংশোধন করা দরকার। একটি সম্ভাবনা বেছে নেওয়া হয়$\sigma_k \in (0,\alpha_k^{-1})$ (যেমন, ব্যাকট্র্যাকিংয়ের মাধ্যমে) যেমন)

$$f(x^k - \sigma_k g^k) \leq \max_{\max(k-M,1)\leq j\leq k} f(x^j) - \gamma \sigma_k (g^k)^Tg^k,$$ যেখানে 0 হল টিপিক্যাল আর্মিজো প্যারামিটার এবং মনোটোনসিটির ডিগ্রি নিয়ন্ত্রণ করে (যেমন, )। এখানে একটি বৈকল্পিক রয়েছে যা ফাংশন মানগুলির পরিবর্তে গ্রেডিয়েন্ট মান ব্যবহার করে, তবে আপনার ক্ষেত্রে গ্রেডিয়েন্টটি ফাংশনের চেয়ে মূল্যায়ন করা আরও ব্যয়বহুল, যাতে এটি এখানে বোঝা যায় না। (দ্রষ্টব্য: আপনি অবশ্যই বিবি ধাপের দৈর্ঘ্যগুলি অন্ধভাবে গ্রহণ করার চেষ্টা করতে পারেন এবং আপনার ভাগ্যকে বিশ্বাস করতে পারেন, তবে আপনার যদি কোনও ধরণের দৃust়তার প্রয়োজন হয় - যেমন আপনি আপনার মন্তব্যে লিখেছেন - এটি সত্যিই খারাপ ধারণা হবে))$\gamma\in(0,1)$$M$$M=10$

বিকল্পের (এবং, আমার মতে, আরও ভাল) পদ্ধতির সন্ধানের দিকের গণনায় ইতিমধ্যে এই সীমাবদ্ধ পার্থক্যের সান্নিধ্য ব্যবহার করা হবে; একে কোয়াটি-নিউটন পদ্ধতি বলা হয় । ধারণাটি হ'ল গ্রেডিয়েন্টের পার্থক্য ব্যবহার করে হেসিয়ান একটি আনুমানিক নির্মাণ করা । উদাহরণস্বরূপ, যদি আপনি গ্রহণ করতে পারে (পরিচয় ম্যাট্রিক্স) এবং জন্য সমাধান এবং সেট সঙ্গে উপরে এবং যেমন । (একে ব্রয়ডেন আপডেট বলা হয়$\nabla^2 f(x^k)$$H_0=\mathrm{Id}$$k=0,\dots$

$$H_{k}s^{k} = -g^{k},\label{cc1}\tag{1}$$ $$H_{k+1} = H_k + \frac{(y^k-H_ks^k)^T(s^k)^T}{(s^k)^Ts^k}$$ $y^k$$x^{k+1} = x^k +s^k$এবং অনুশীলনে খুব কমই ব্যবহৃত হয়; এর চেয়ে ভাল তবে কিছুটা জটিল আপডেট হ'ল বিএফজিএস আপডেট , এবং এর জন্য - এবং আরও তথ্য - আমি নোসডাল এবং রাইটের বই সংখ্যাসূচক অপ্টিমাইজেশান উল্লেখ করি ।) নেতিবাচক দিকটি হ'ল ক) এর জন্য প্রতিটি পদক্ষেপে লিনিয়ার সিস্টেমটি সমাধান করা প্রয়োজন (তবে কেবলমাত্র অজানা আকারের যা আপনার ক্ষেত্রে প্রাথমিক শর্ত, তাই গ্রেডিয়েন্টটি পাওয়ার জন্য পিডিই সমাধান করে প্রচেষ্টাটির প্রাধান্য পাওয়া উচিত; এছাড়াও, বিপরীত হেসিয়ানের সান্নিধ্যের জন্য আপডেট বিধি রয়েছে , যার জন্য কেবল একটি একক ম্যাট্রিক্সের কম্পিউটিং প্রয়োজন require -ভেক্টর পণ্য) এবং খ) রূপান্তর গ্যারান্টি জন্য আপনার এখনও একটি লাইন অনুসন্ধান প্রয়োজন ...

ভাগ্যক্রমে, এই প্রসঙ্গে একটি বিকল্প পদ্ধতির উপস্থিতি রয়েছে যা প্রতিটি ফাংশন মূল্যায়নের ব্যবহার করে। এই ধারণাটি হ'ল প্রতিসম ও ধনাত্মক সুনির্দিষ্ট (যা বিএফজিএস আপডেটের জন্য গ্যারান্টিযুক্ত), সমাধান কোয়াড্র্যাটিক মডেল কে হ্রাস করার সমতুল্য একটি বিশ্বাস অঞ্চল পদ্ধতিতে , আপনি অতিরিক্ত সীমাবদ্ধতার সাথে এটি করবেন , যেখানে একটি উপযুক্তভাবে নির্বাচিত বিশ্বাস অঞ্চল ব্যাসার্ধ (যা পদক্ষেপের দৈর্ঘ্যের ভূমিকা পালন করে )। মূল ধারণাটি এখন গণনা করা পদক্ষেপের ভিত্তিতে এই ব্যাসার্ধটিকে অভিযোজিতভাবে বেছে নেওয়া to বিশেষত, আপনি অনুপাত তাকান $H_k$$\eqref{cc1}$

$$q_k(s) = \frac12 s^T H_k s + s^T g^k.$$ $\|s\| \leq \Delta_k$$\Delta_k$$\sigma_k$ $$\rho_k := \frac{f(x^k)-f(x^k+s^k)}{f(x^k)-q_k(s^k)}$$ function ফাংশন মানের প্রকৃত এবং পূর্বাভাস হ্রাস। যদি খুব ছোট হয় তবে আপনার মডেলটি খারাপ ছিল এবং আপনি ফেলে দিন এবং আবার । যদি কাছাকাছি থাকে তবে আপনার মডেলটি ভাল, এবং আপনি এবং বৃদ্ধি করেন । অন্যথায় আপনি কেবল এবং একা যান। প্রকৃত মিনিমাইজার গনা এর$\rho_k$$s^k$$\Delta_{k+1}<\Delta_k$$\rho_k$$1$$x^{k+1}=x^k+s^k$$\Delta_{k+1}>\Delta_k$$x^{k+1}=x^k+s^k$$\Delta_k$$s^k$$\min_{\|s\|\leq \Delta_k} q_k(s)$, সম্পূর্ণ সীমাবদ্ধ অপ্টিমাইজেশান সমস্যা সমাধান না করে এড়াতে বিভিন্ন কৌশল রয়েছে; আমার প্রিয়টি হ'ল স্টিহাগের কাটা কাটা সিজি পদ্ধতি । আরও বিশদ জন্য, আমি আবার Nocedal এবং রাইট উল্লেখ।

Comments

আমি এখন আবার এটি আবার খুঁজছি, এবং বুঝতে আমার একটি প্রশ্ন আছে। বিবি পদ্ধতির জন্য তিন ধাপে আপনার কাছে ; যেখানে এবং । for এর অভিব্যক্তিটির সংখ্যার এবং ডিনোমিনিটারটি অভ্যন্তরীণ পণ্যের মতো দেখতে। আমার ক্ষেত্রে, , যেখানে একটি ত্রিভুজ রিমনিয়ান মেট্রিক সহ একটি ভেক্টর স্পেস: কে That এটি, । এটি of এর সংজ্ঞাটিকে প্রভাবিত করে ? $\alpha_{k+1} = \frac{(y^k)^Ty^k}{(y^k)^Ts^k}$$y^{k} = g^{k+1} - g^k$$s^k = -\alpha_k^{-1}g^k$$\alpha_{k+1}$$g^k \in V^*$$V^*$$\langle g^k, g^k \rangle _{V^*} = \langle g^k, Kg^k \rangle_{L_2}$$\alpha_{k+1}$

— NLi10Me

হ্যাঁ, আপনার যদি একটি তুচ্ছ ভেক্টর স্পেস স্ট্রাকচার থাকে তবে আপনার এটিকে অ্যালগরিদমে সম্মান করা উচিত। বিশেষত, আপনার একই স্থানের দুটি ফাংশনের অভ্যন্তরীণ পণ্যগুলির মধ্যে পার্থক্য করা উচিত (উদাঃ, and এবং ) এবং স্থানের কোনও ফাংশনের মধ্যে দ্বৈত পণ্য এবং দ্বৈত স্থানের মধ্যে একটি (উদাহরণস্বরূপ, এবং ) - পরবর্তীকালের জন্য, আপনাকে প্রথমে একটি অভ্যন্তরীণ পণ্য হিসাবে রূপান্তর করতে রিয়েজ ম্যাপিং অন্তর্ভুক্ত করতে হবে। (এটি পূর্বশর্ত হিসাবে ব্যাখ্যা করা যেতে পারে))$y^k$$y^k$$s^k$$y^k$

— খ্রিস্টান ক্লাসন

ডাঃ ক্লাসন, আমি বিবি + লাইন অনুসন্ধান পদ্ধতিটি একটি পৃথক চিত্র নিবন্ধকরণ কার্যের জন্য ব্যবহার করে কিছু পরীক্ষা-নিরীক্ষার বিবরণী আইএসবিআই 2017 তে জমা করব। আপনি কি পাণ্ডুলিপিটিতে একজন লেখক হিসাবে অন্তর্ভুক্ত থাকতে চান? আমি এখনও এটি লিখিনি, তবে আমার বেশিরভাগ পরীক্ষাগুলি হয় সম্পূর্ণ হয় বা চলছে। আমাকে বুঝতে দাও.

— NLi10Me

@ এনএলআই 10 আমি এই অফারটির জন্য আপনাকে ধন্যবাদ, কিন্তু আমি এমন কিছু করিনি যা সহশাসনের যোগ্যতা অর্জন করবে - আমি যা লিখেছি তা হ'ল মানক পাঠ্যপুস্তকের উপাদান। যদি আপনি এটি সম্পর্কে দৃ strongly়তা অনুভব করেন তবে আপনি "সম্পর্কে সহায়ক মন্তব্য (এটি যা কিছু সাহায্য করবে)" বলে ধন্যবাদ জানাতে পারেন, তবে এটির প্রয়োজনও হবে না। আমি যা লিখেছিলাম তা সহায়ক ছিল তা জেনে রাখা যথেষ্ট!

— ক্রিশ্চান ক্লাসন

দুঃখিত, আপনি ঠিক বলেছেন, এটি একটি টাইপো - ফিক্সড! (আর্মিজো অবস্থা প্রায়শই , যেখানে অনুসন্ধানের দিকনির্দেশনা - অগত্যা নেতিবাচক নয় গ্রেডিয়েন্ট - এবং step ধাপের আকার, যা কী ঘটছে তা আরও পরিষ্কার করে দেওয়া উচিত $f(x+\sigma s) - f(x) \leq \gamma\nabla f(x)^T(\sigma s)$$s$$\sigma$

— Christian