বিএফজিএস আপডেটের জন্য স্বজ্ঞাত প্রেরণা

Question

আমি একটি সংখ্যার বিশ্লেষণ জরিপ শ্রেণীর পাঠদান করছি এবং অপ্টিমাইজেশনের সীমিত পটভূমি / স্বজ্ঞাত শিক্ষার্থীদের জন্য BFGS পদ্ধতির জন্য অনুপ্রেরণা চাইছি!

আমার কাছে দৃ rig়তার সাথে প্রমাণ করার মতো সময় নেই যে সমস্ত কিছু রূপান্তরিত হয়, তবে আমি কেন বিএফজিএস হেসিয়ান আপডেট প্রদর্শিত হতে পারে তার জন্য যুক্তিসঙ্গত প্রেরণা দেওয়ার চেষ্টা করছি। সাদৃশ্য হিসাবে, ব্রোডেনের মূল অনুসন্ধানের পদ্ধতিটি (আমার লেখার ব্যবস্থাটি এখানে রয়েছে ) আপনার জ্যাকবীয়ের বর্তমান অনুমানের পার্থক্য হ্রাস করে বাধ্যতা পুরানো Jacobian বিষয় এটি একাউন্টে সর্বশেষ কর্তক লাগে সাথে J_k (\ গ্রাম শক্তি সমিতির x_k- \ গ্রাম শক্তি সমিতির x_ {K-1}) = চ (\ গ্রাম শক্তি সমিতির x_k) -f (\ গ্রাম শক্তি সমিতির x_ {K-1 }) । জে কে ( → x কে - → এক্স কে - 1 ) = চ ( → এক্স কে ) - এফ ( → x কে - 1$\|J_k-J_{k-1}\|^2_{\textrm{Fro}}$$J_k(\vec x_k-\vec x_{k-1})=f(\vec x_k)-f(\vec x_{k-1})$

বিএফজিএস আপডেটগুলির ডেরাইভেশনগুলি আরও বেশি জড়িত এবং দুর্বল বলে মনে হয়! বিশেষত, আমি একটি অগ্রাধিকার ধরে নিতে চাই না যে আপডেটটি র‌্যাঙ্ক -২ হওয়া উচিত বা কোনও নির্দিষ্ট ফর্ম নেওয়া উচিত। ব্রায়েডেনের মতো বিএফজিএস হেসিয়ান আপডেটের জন্য কি সংক্ষিপ্ত পরিবর্তনশীল-প্রেরণা আছে?

Comments

যদি আপনি একটি নির্বিচারে আপডেটের অনুমতি দেন তবে আপনি নিউটনের পদ্ধতিতে পুরো হেসিয়ান ব্যবহার করতে পারেন। নিম্ন র‌্যাঙ্কের আপডেটের একটি বড় গুণগত সুবিধা হ'ল এটি আপনাকে আনুমানিক হেসিয়ানটির কার্যকারিতা খুব দ্রুত আপডেট করার অনুমতি দেয়।

— ব্রায়ান বোর্চারস

Answer 1

বিএফজিএসের উত্পন্নকরণ আরও স্বজ্ঞাত হয় যখন কোনও ব্যক্তি (কঠোরভাবে) উত্তল ব্যয়ের ক্রিয়াকলাপ বিবেচনা করে:

তবে কিছু ব্যাকগ্রাউন্ডের তথ্য প্রয়োজনীয়: ধরুন, কেউ একটি উত্তল ক্রিয়ামূলক ছোট করতে চান বলুন এখানে একটি আনুমানিক সমাধান রয়েছে । তারপর, এক ন্যূনতম পরিমাপক ছেঁটে ফেলা টেলর সম্প্রসারণ ন্যূনতম দ্বারা অর্থাৎ, জন্য এমন একটি সন্ধান করুন যা ন্যূনতম এবং । এর গ্রেডিয়েন্ট গণনা - " " - এবং এটি শূন্যে সেট করা সম্পর্ক দেয় x k f f ( x k + p ) ≈ f ( x k ) + ∇ f ( x k ) টি পি +

$$f(x) \to \min_{x\in \mathbb R^n}.$$ $x_k$$f$পি ( ∗ ) x কে + 1 : = এক্স কে + পি ( ∗ ) পি এইচ ( এক্স কে ) [ এক্স কে + 1 - এক্স কে ] = ∇ চ ( এক্স কে + 1 ) - ∇ চ ( এক্স কে ) , $$f(x_k+p) \approx f(x_k) +\nabla f(x_k)^Tp + \frac{1}{2}p^T H(x_k)p. \quad(*)$$ $p$$(*)$$x_{k+1} := x_k + p$$(*)$$p$ $$H(x_k)[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k),$$ যেখানে 'গ্রেডিয়েন্টের ' বা হেসিয়ান ম্যাট্রিক্স।$H$

যেহেতু হেসিয়ান গণনা এবং বিপরীত ব্যয়বহুল ...

---

... একটি সংক্ষিপ্ত উত্তর

(সিএফ। ব্রোইডেনের আপডেট) হতে পারে যে বিএফজিএস আপডেট হ্রাস করে একটি নির্বাচিত ওজনযুক্ত আদর্শে, বিষযে$H_{k+1}^{-1}$

$$\|H_k^{-1} - H^{-1}\|_W$$

1. $H[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k)$ - এর জন্য এটিই বাইরে - এবং
2. $H^T = H$ , কারণ হেসিয়ান প্রতিসম হয়।

---

তারপর ওজন পছন্দমত মধ্যে যেমন বিপরীত গড় চট , সিএফ. এখানে বিবৃতি দেওয়ার জন্য তবে প্রমাণ ছাড়াই BFGS আপডেট সূত্র দেয় ( )।$W$$\|H\|_W := \|W^{1/2}HW^{1/2}\|_F$ $G:=\int_0^1 H(x_k + \tau p) d\tau$$\alpha_k = 1$

প্রধান বিষয়গুলি হ'ল:

• এক চতুর্ভুজ সমীকরণের জন্য সমাধান দ্বারা প্রকৃত ব্যয়ের জন্য সমাধানটিকে আনুমানিক করার চেষ্টা করে
• হেসিয়ান এবং তার বিপরীত গণনা ব্যয়বহুল। এক সহজ আপডেট পছন্দ।
• আপডেটটি আসল হেসিয়ানের চেয়ে বিপরীতটির জন্য অনুকূল চয়ন করা হয় ।
• এটি যে র‌্যাঙ্ক -২ আপডেট তা হ'ল ফ্রোবিনিয়াস আদর্শের ওজনগুলির নির্দিষ্ট পছন্দের ফলাফল।

একজন আর উত্তর , কিভাবে ওজন নির্বাচন করতে, nonconvex সমস্যার জন্য এই কাজ করতে কিভাবে অন্তর্ভুক্ত করা উচিত (যেখানে একটি বক্রতা শর্ত হচ্ছে যে সার্চ দিক একটি স্কেলিং প্রয়োজন ) আপডেটের জন্য আহরণ প্রকৃত সূত্রে, এবং কিভাবে। একটি রেফারেন্স এখানে (জার্মান ভাষায়)।$p$

Comments

অনেক ধন্যবাদ, এটি দুর্দান্ত (এবং নোডেসাল অ্যান্ড রাইটে আলোচনার ভিত্তিতে আমি যা প্রত্যাশা করেছি কম)) আমার কাছে বাকি একটি প্রশ্ন হ'ল: আমরা এবং আমাদের আদর্শকে কেন বেছে নেব ? আমি পেয়েছি এটি ইউনিটগুলির সাথে করার আছে তবে এবং নীতিগুলির প্রচুর সম্ভাবনা রয়েছে যা এটি করে। $W$$W$

— জাস্টিন সলোমন

হ্যা, সত্য. ভাল, আমি জানি না। একটি উত্তর হ'ল এটি গণনা করা সহজ এবং ভাল কাজের আপডেট সূত্র দেয়। Orতিহাসিকভাবে, আপডেটের এই পদ্ধতির - আপডেটের মধ্যে পার্থক্য হ্রাস - শান্নোর একটাই ছিল। এটি একটি রেফারি ছিল (গোল্ডফার্ব) যিনি দেখেছিলেন যে ওজনের একটি নির্দিষ্ট পছন্দ ব্রয়ডেন এবং ফ্লেচারের সূত্রে বাড়ে। বিএফজিএস এর বিকাশকারীদের স্বীকৃতি জানাতে এই পিএইচডি থিসিস বিএফজিএস সেকান্ট পদ্ধতির Histতিহাসিক বিকাশ দেখুন ... যাইহোক, সমস্ত 3 পন্থা বেশ বিমূর্ত।

— জানুয়ারী

আকর্ষণীয়, গাইডেন্সের জন্য ধন্যবাদ! আমার বর্তমান লেখার ব্যবস্থা (কিছু গণিতের ভুলের সাথে সাহায্যের দরকার রয়েছে) এখানে রয়েছে: গ্রাফিক্স.স্তানফোর্ড.ডু / কোর্সেস / সিসি 205 এ 13- ফলস / অ্যাসেটস / নোটস / ( (যদি আপনি আপনার সহায়তার জন্য creditণ চান তবে আমি এটি সরবরাহ করে খুশি - দয়া করে উপযুক্ত যোগাযোগের তথ্য সহ আমাকে ইমেল করুন)

— জাস্টিন সলোমন

@ জেন আপনার সমীকরণ এবং দ্বারা প্রদত্ত , যেখানে । ধন্যবাদ! $$H(x_k)[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k)$$ $$H(x_{k+1})[x_{k+1} - x_k] = \nabla f(x_{k+1}) - \nabla f(x_k)?$$ $H_{k+1}s_k =y_k$$s_k=x_{k+1}-x_k, y_k=\nabla f_{k+1}-\nabla f_k$

— জেফ ফারাসি 12'17