লাইন-অনুসন্ধান এবং বিশ্বাসের অঞ্চল অ্যালগরিদমের জন্য স্কেল অদম্যতা

Question

নোডেসাল অ্যান্ড রাইটের নুমেরিকাল অপটিমাইজেশন সম্পর্কিত বইয়ে বিভাগের ২.২ (পৃষ্ঠা ২)) এ একটি বিবৃতি রয়েছে, "সাধারণভাবে বলতে গেলে, আস্থা-অঞ্চল অ্যালগরিদমের চেয়ে লাইন অনুসন্ধান অ্যালগরিদমগুলির জন্য স্কেল ইনভেরিয়েন্স সংরক্ষণ করা আরও সহজ"। একই বিভাগে, তারা নতুন ভেরিয়েবলগুলি নিয়ে কথা বলবেন যা মূল ভেরিয়েবলের আকারযুক্ত সংস্করণ, যা লাইন অনুসন্ধান এবং বিশ্বাস অঞ্চল উভয় ক্ষেত্রেই সহায়তা করতে পারে। আরেকটি পদ্ধতির পূর্বশর্ত। বিশ্বাস অঞ্চল পদ্ধতিগুলির জন্য, পূর্ব শর্তটি উপবৃত্তীয় বিশ্বাস অঞ্চলগুলির সমতুল্য এবং সুতরাং, স্কেল ইনভারিয়েেন্স সরবরাহ করে। যাইহোক, লাইন অনুসন্ধানের পূর্ব শর্তের জন্য অনুরূপ অন্তর্দৃষ্টি স্পষ্ট নয়। কোন উপায়ে লাইন অনুসন্ধান স্কেল চালানের জন্য আরও উপযুক্ত? কিছু ব্যবহারিক বিবেচনা আছে?

এছাড়াও, আমার কাছে আস্থা অঞ্চল পদ্ধতিগুলির পূর্বশর্ত সংক্রান্ত একটি প্রশ্ন রয়েছে। অত্যন্ত অসুস্থ শর্তযুক্ত সমস্যার জন্য, কোনও উত্তম পূর্বশর্তী বাইরের নিউটন পুনরাবৃত্তির সংখ্যা এবং অভ্যন্তরীণ সিজি পুনরাবৃত্তির সংখ্যা বা কেবল পরবর্তীগুলি উভয়ই হ্রাস করতে পারে? যেহেতু, বিশ্বাসের অঞ্চলটি মূল জায়গাতেই উপবৃত্তাকার, সুতরাং একটি ভাল পূর্বশর্তাকারী একটি উপবৃত্তাকার দিকে পরিচালিত হওয়া উচিত যা ল্যান্ডস্কেপের সাথে আরও ভাল মিলবে। আমি মনে করি এটি অ্যালগরিদমকে আরও ভাল দিকনির্দেশ নিতে বাধ্য করে বাইরের নিউটনের পুনরাবৃত্তির সংখ্যা হ্রাস করতে পারে। এটা কী ঠিক?

Answer 1

আমি মনে করি লাইন-অনুসন্ধান এবং আস্থা-অঞ্চল পদ্ধতিগুলি কীভাবে স্কেলিং পরিচালনা করে তার মধ্যে কিছুটা পার্থক্য থাকতে পারে, তবে যতক্ষণ না আমরা স্কেলিং সম্পর্কে অবগত আছি ততক্ষণ বাস্তবে এটি বাস্তবে দেখা যায় না। এবং, স্পষ্ট করে বলতে গেলে, নোসেডাল এবং রাইট বইটি অ্যাফাইন স্কেলিংয়ের কথা বলছিল। ননলাইনার স্কেলিং পরিমাণের জন্য কিছুটা জটিল।

কেন দেখতে, বলতে আমরা কমান চান , কিন্তু আমরা nonsingular স্ব-adjoint অপারেটর কোন ধরণের দ্বারা ভেরিয়েবল আকার পরিবর্তন করতে চান একটি ∈ এল ( এক্স ) । নির্ধারণ জে : এক্স → আর ছোটো উদ্দেশ্য ফাংশন হিসাবে। তারপর, জে ( এক্স ) = চ ( একটি এক্স ) ∇ জে ( এক্স ) = একটি ∇ চ ( একটি এক্স ) ∇ 2 জে ( এক্স $f:X\rightarrow \mathbb{R}$$A\in\mathscr{L}(X)$$J:X\rightarrow \mathbb{R}$ অ্যালগরিদমে আসল পার্থক্য হ'ল স্কেলিংএ এরকি ঘটে। নিউটনের পদ্ধতি, আমরা সমাধান ∇2জে(এক্স)δএক্স=-∇জে(এক্স) বা একটি∇2চ(একটিএক্স)একটিδএক্স=-একটি∇চ(একটিএক্স) ধরে নেওয়া যাক চট nonsingular হয়, আমরা আছে

$$\begin{align*} J(x) =& f(Ax)\\ \nabla J(x) =& A\nabla f(Ax)\\ \nabla^2 J(x) =& A\nabla^2 f(Ax) A \end{align*}$$ $A$ $$\nabla^2 J(x) \delta x = -\nabla J(x)$$ $$A\nabla^2 f(Ax) A \delta x = -A\nabla f(Ax)$$ মূলত, স্কেলিং বাতিল হয়ে যায় এবং অদৃশ্য হয়ে যায়, সুতরাং এটি দিকটিকে প্রভাবিত করে না। এজন্য আমরা বলি নিউটনের পদ্ধতিটি হল অ্যাফাইন স্কেল ইনগ্রানেন্ট। $$A \delta x = -\nabla^2 f(Ax)^{-1} \nabla f(Ax)$$

$$H \delta x = -\nabla J(x)$$ $H$ $$H \delta x = -A \nabla f(Ax)$$ $A$$H$

$\phi$

$$\delta x = \phi(-A\nabla f(Ax))$$ $\phi$$\phi$$\phi$$A$

$$\nabla^2 J(x) \delta x = -\nabla J(x)$$ অনর্থকভাবে সিজি ব্যবহার করে। এটি স্পষ্টভাবে স্টিহাগ-টোয়েন্টকে ট্রাষ্ট-অঞ্চল সেটিংয়ে (নোসেডাল এবং রাইটে 171 পৃষ্ঠা) বা লাইন-সন্ধানের জন্য নিউটন-সিজি (নোসেডাল এবং রাইটে 169 পৃষ্ঠা) ব্যবহার করছে। তারা একই সাথে খুব কাছাকাছি কাজ করে এবং তারা অ্যাফাইন স্কেলিংয়ের বিষয়ে চিন্তা করে না। তাদের হেসিয়ান সংরক্ষণ করার প্রয়োজন নেই, কেবল হেসিয়ান-ভেক্টর পণ্য প্রয়োজন। সত্যই, এই অ্যালগরিদমগুলি বেশিরভাগ সমস্যার জন্য ওয়ার্কহর্স হওয়া উচিত এবং তারা এফাইন স্কেলিংয়ের বিষয়ে চিন্তা করে না।

আস্থা-অঞ্চল সমস্যার পূর্ববর্তী শর্ত হিসাবে আমি মনে করি না যদি আপনি সামগ্রিকভাবে অপ্টিমাইজেশন পুনরাবৃত্তির সংখ্যার উন্নতি করতে যাচ্ছেন তবে এপ্রিওরিটি বলার কোনও সহজ উপায় নেই। সত্যই, দিন শেষে, অপ্টিমাইজেশন পদ্ধতি দুটি পদ্ধতিতে কাজ করে। এক মোডে, আমরা নিউটনের পদ্ধতি রূপান্তর ব্যাসার্ধ থেকে অনেক দূরে, তাই আমরা বিশ্বায়ন করেছি এবং কেবল পুনরাবৃত্তিকে বাধ্য হয়ে বাধ্য করি যে লক্ষ্যটি নিচে নেমে যায়। বিশ্বাস অঞ্চল এক উপায় one লাইন-অনুসন্ধান অন্য এক। মোড টুতে, আমরা নিউটনের মেথড কনভার্জেন্স রেডিয়াসে রয়েছি, সুতরাং আমরা এটির সাথে গণ্ডগোল না করার চেষ্টা করি এবং নিউটনের পদ্ধতিটি এটি কাজ করতে না দেয়। প্রকৃতপক্ষে, আমরা এটি আস্থা-অঞ্চল পদ্ধতিগুলির মতো জিনিসের রূপান্তর প্রমাণগুলিতে দেখতে পারি। উদাহরণস্বরূপ, উপপাদ্য 4.9 দেখুন (নোকডাল এবং রাইটে p.93)। খুব স্পষ্টতই, তারা বলে যে কীভাবে বিশ্বস্ত অঞ্চলটি নিষ্ক্রিয় হয়। এই প্রসঙ্গে, পূর্বশর্তীর ইউটিলিটি কী? অবশ্যই, যখন আমরা নিউটনের পদ্ধতি রূপান্তর ব্যাসার্ধে থাকি তখন আমরা অনেক কম কাজ করি এবং সিজি পুনরাবৃত্তির সংখ্যা হ্রাস পায়। আমরা যখন এই ব্যাসার্ধের বাইরে থাকি তখন কী হয়? এটি নির্ভর করে। যদি আমরা পূর্ণ নিউটন পদক্ষেপটি গণনা করি তবে সুবিধাটি হ'ল আমরা কম কাজ করেছি did যদি আমরা কাটা-সিজি থেকে কেটে ফেলার কারণে আমাদের পদক্ষেপটি তাড়াতাড়ি কেটে ফেলি, তবে আমাদের দিকটি ক্রিলোভ উপস্থানে থাকবে

$$\{-P\nabla J(x),-(PH)(P\nabla J(x)),\dots,-(PH)^k(P\nabla J(x))\}$$ $P$$H$ $$\{-\nabla J(x),-(H)(\nabla J(x)),\dots,-(H)^k(\nabla J(x))\}?$$

এর অর্থ এই নয় যে একটি ভাল পূর্বশর্ত নির্ধারণের কোনও মূল্য নেই। যাইহোক, আমি নিশ্চিত নই যে নিউটন এর পদ্ধতিটি রূপান্তর ব্যাসার্ধের দূরে পয়েন্টের জন্য অপ্টিমাইজেশনে সহায়তা করার জন্য কেউ কী পূর্বশর্তকে সংজ্ঞায়িত করে। সাধারণত, আমরা হেসিয়ান সান্নিধ্যের ইগেন্যুয়ালগুলি ক্লাস্টার করার জন্য একটি পূর্বশর্ত প্রস্তুত করি, যা একটি স্পষ্ট, পরিমাপযোগ্য লক্ষ্য।

tldr; ব্যবহারিকভাবে বলতে গেলে, একটি বিশ্বস্ত অঞ্চল পদ্ধতির চেয়ে পুনরাবৃত্তি উত্পন্ন করার জন্য লাইন-অনুসন্ধান পদ্ধতির বিভিন্ন ধরণের উপায় রয়েছে, সুতরাং এফাইন স্কেলিং পরিচালনা করার একটি দুর্দান্ত উপায় আছে এটি সম্ভব। তবে, কেবল একটি নিখুঁত নিউটন পদ্ধতি ব্যবহার করুন এবং এটি কোনও বিষয় নয়। একজন পূর্বশর্তকারী নিউটনের পদ্ধতি রূপান্তর ব্যাসার্ধ থেকে দূরে একটি অ্যালগরিদমের কার্যকারিতাগুলিকে প্রভাবিত করে, তবে কীভাবে তা নিশ্চিত করা শক্ত, সুতরাং কেবলমাত্র হেসিয়াসন আনুমানিকের ইগেন্যুয়ালগুলি ক্লাস্টার করার জন্য একটি পূর্বশর্ত প্রস্তুতকারী।