প্রাথমিক হেসিয়ান অনুমানের সাথে BFGS এর সংবেদনশীলতা

Question

আমি কোনও কার্যের ন্যূনতম সন্ধানের জন্য ব্রয়ডেন-ফ্লেচার-গোল্ডফার্ব-শান্নো পদ্ধতিটি প্রয়োগ করার চেষ্টা করছি। আমার প্রাথমিক দুটি অনুমান দরকার$x_{-1}$ & $x_0$ এবং একটি প্রাথমিক হেসিয়ান ম্যাট্রিক্স আনুমানিক $B_0$। একমাত্র প্রয়োজনীয়তাগুলি আমি খুঁজে পাই$B_0$ হেসিয়ান যদি প্রতিসম ধনাত্মক ধনাত্মক নির্দিষ্ট হয় তবে এটিও হওয়া উচিত should $B_0$। উইকিপিডিয়ায় দেখছি, আমি দেখতে পাচ্ছি যে একটি প্রাথমিক প্রাথমিক অনুমান$B_0=I$(পরিচয় ম্যাট্রিক্স)। এটি কি সর্বদা ভাল প্রাথমিক?$B_0$? আমি বাদে অন্য কিছু বেছে নিতে চাইলে এর কোনও কারণ আছে কি?$I$? একই ম্যাট্রিক্স বৈশিষ্ট্য সন্তুষ্ট করে বি এর অন্যান্য পছন্দগুলি কি পদ্ধতির রূপান্তরকে ব্যাপকভাবে প্রভাবিত করবে?

Answer 1

আপনার যদি ন্যায়সঙ্গত হেসিয়ান আনুমানিকতা থাকে তবে স্বেচ্ছাচারিতার চেয়ে এটি ব্যবহার করা ভাল $B_0=I$।

সম্পাদনা করুন: যুক্তিটি হ'ল যদি আপনি সমাধানের কাছাকাছি শুরু করেন $x^*$, রূপান্তর প্রাথমিক হার হ'ল (যে কোনও জন্য $r>0$) $r+1$ক সঙ্গে স্টেপ লিনিয়ার $r+1$ধাপে রূপান্তর কারক $q=\|B_0^{-1}f''(x^*)-G\|$এটি পরিচয় ম্যাট্রিক্সের কিছু র‌্যাঙ্ক সংশোধন এর জন্য হলে সুতরাং এই ছোট করতে চেষ্টা খুব মূল্যবান। (এটি সিস্টেমকে পূর্বশর্ত করার সমতুল্য।) সময়ের সাথে সাথে কনভার্জেন্স ফ্যাক্টরটি উন্নত হয় এবং শেষ পর্যন্ত শূন্যের (সুপারলাইনার কনভার্জেনশন) কাছে পৌঁছায় তবে অনেকগুলি সত্যিকারের সমস্যায় (বিশেষত উচ্চ-মাত্রিক সমস্যাগুলি) কোনও ব্যক্তিই সুপারলাইনারের শাসনে পৌঁছানোর জন্য পর্যাপ্ত পুনরাবৃত্তি করে না। সুতরাং প্রাথমিক গতিটি বেশ গুরুত্বপূর্ণ।$<1$$r$$G$

একটি সর্বনিম্ন স্কোয়ার সমস্যাগুলি হ্রাস করার সময় (মিনিমাইজ ), যেখানে প্রাথমিক হেসিয়ানের গাউস-নিউটনের আনুমানিক হতে পারে দ্বিতীয় ডেরিভেটিভস ছাড়া প্রয়োজন গণনা। এটি ব্যবহার করা বিএফজিএস পদ্ধতিটিকে অ্যাফাইন ইনগ্রেন্ট করে তোলে, যেমন নিউটনের পদ্ধতির মতো লিনিয়ার ট্রান্সফর্মেশনের আওতায় আক্রমণকারী , যা সাধারণত খুব উপকারী।$\|F(x)\|_2^2$$B_0=F'(x_0)^TF'(x_0)$$x$

আর একটি গুরুত্বপূর্ণ বিষয় হ'ল আপনি যখন সম্পর্কিত সমস্যার ক্রমটি সমাধান করেন। প্রায়শই, পূর্ববর্তী সমস্যার চূড়ান্ত হেসিয়ান অনুমানের সাথে সলভার পুনরায় চালু করা প্রয়োজনীয় পুনরাবৃত্তির সংখ্যা উল্লেখযোগ্যভাবে হ্রাস করে।

Comments

যদি হেসিয়ানকে প্রতিসম ধনাত্মক সুনির্দিষ্ট হিসাবে প্রত্যাশিত হয়, তবে যে কোনও প্রতিসাম্যমূলক ধনাত্মক সুনির্দিষ্ট ম্যাট্রিক্স এখনও রূপান্তরিত করতে পারে, তবে রূপান্তর হেসিয়ানের সাথে কতটা উপর নির্ভর করে ? $B_0$$B_0$

— পল

না, শেষ পর্যন্ত, বিএফজিএস শুরু ম্যাট্রিক্স সম্পর্কে ভুলে যায়, তাই সর্বদা একই ক্রম থাকে। তবে এটি অবশ্যই আকর্ষণীয় নয় কারণ আপনি কখনই অসীম বহু পদক্ষেপ করেন না। $k\rightarrow \infty$

— ওল্ফগ্যাং ব্যাঙ্গার্থ

@ পল: আমার সম্পাদনা দেখুন।

— আর্নল্ড নিউমায়ার