গ্রেডিয়েন্ট বংশদ্ভুত এবং সম্মিলিত গ্রেডিয়েন্ট বংশোদ্ভূত

Question

একটি প্রকল্পের জন্য, আমাকে এই দুটি পদ্ধতি বাস্তবায়ন করতে হবে এবং তারা বিভিন্ন ফাংশনে কীভাবে সম্পাদন করে তা তুলনা করতে হবে।

দেখে মনে হচ্ছে কনজুগেট গ্রেডিয়েন্ট পদ্ধতিটি এর জন্য রৈখিক সমীকরণের সিস্টেমগুলি সমাধান করে

$$A\mathbf{x} = \mathbf{b}$$

যেখানে $A$ হ'ল একটি এন-বাই-এন ম্যাট্রিক্স যা প্রতিসম, ধনাত্মক-নির্দিষ্ট এবং বাস্তব।

অন্যদিকে, যখন আমি গ্রেডিয়েন্ট বংশোদ্ভূত সম্পর্কে পড়ি তখন আমি রোজেনব্রোক ফাংশনের উদাহরণ দেখতে পাই , এটি is

$$f(x_1,x_2) = (1-x_1)^2+100(x_2-x_1^2)^2$$

আমি এটি দেখতে পেয়েছি, আমি এটি একটি সংযোগী গ্রেডিয়েন্ট পদ্ধতিতে সমাধান করতে পারছি না। নাকি আমি কিছু মিস করছি?

Answer 1

গ্রেডিয়েন্ট ডিসেন্ট এবং কনজুগেট গ্রেডিয়েন্ট পদ্ধতি হ'ল ননলাইনার ফাংশন হ্রাস করার জন্য উভয়ই অ্যালগরিদম, অর্থাৎ রোজনব্রোক ফাংশনের মতো ফাংশন

$f(x_1,x_2) = (1-x_1)^2 + 100(x_2 - x_1^2)^2$

বা একটি বহুবিধ চতুষ্কোণ ফাংশন (এক্ষেত্রে প্রতিসম চৌম্বক শব্দ সহ)

$f(x) = \frac{1}{2} x^T A^T A x - b^T A x.$

উভয় অ্যালগরিদমগুলি পুনরাবৃত্ত এবং অনুসন্ধানের দিকনির্দেশক। এই পোস্টের বাকী অংশের জন্য, , এবং d দৈর্ঘ্যের এন এর ভেক্টর হবে ; f ( x ) এবং α মাপকরা এবং সুপারস্প্রিপ্টগুলি পুনরাবৃত্তি সূচককে বোঝায়। গ্রেডিয়েন্ট বংশদ্ভুত এবং কনজুগেট গ্রেডিয়েন্ট পদ্ধতিটি x ∗ যে সলভ করে তার সন্ধানের জন্য ব্যবহার করা যেতে পারে$x$$d$$n$$f(x)$$\alpha$$x^*$

$\min f(x)$

দুটি পদ্ধতিই প্রাথমিক অনুমান, থেকে শুরু হয় এবং তারপরে ফর্মটির একটি ফাংশন ব্যবহার করে পরবর্তী পুনরাবৃত্তিটি গণনা করুন$x^0$

$x^{i+1} = x^i + \alpha^i d^i.$

কথায় কথায়, এর পরবর্তী মানটি বর্তমান অবস্থান থেকে শুরু করে এবং অনুসন্ধানের দিকে কিছু দূরত্বে moving । উভয় পদ্ধতিতে, স্থানান্তরিত করার দূরত্বটি একটি লাইন অনুসন্ধানের মাধ্যমে পাওয়া যেতে পারে (ছোট করে )। অন্যান্য মানদণ্ডও প্রয়োগ করা যেতে পারে। যেখানে দুটি পদ্ধতির ভিন্নতা রয়েছে তা তাদের পছন্দ অনুযায়ী । গ্রেডিয়েন্ট পদ্ধতির জন্য, । কনজুগেট গ্রেডিয়েন্ট পদ্ধতির জন্য, গ্রেহম-শ্মিড্ট পদ্ধতিটি গ্রেডিয়েন্ট ভেক্টরগুলিকে অরথোগোনাইজ করতে ব্যবহৃত হয়। বিশেষত, তবে সমানx i d $x$$x^i$$d^i$ f ( x i + α i d i ) α i d i d i = - ∇ f ( x i ) d 0 = - ∇ f ( x 0 ) d 1 - ∇ f $\alpha^i$$f(x^i + \alpha^i d^i)$$\alpha_i$$d^i$$d^i = -\nabla f(x^i)$$d^0 = -\nabla f(x^0)$$d^1$$-\nabla f(x^1)$ বিয়োগ সম্মুখের যে ভেক্টর এর অভিক্ষেপ যেমন যে । প্রতিটি পরবর্তী গ্রেডিয়েন্ট ভেক্টর পূর্ববর্তী সমস্তগুলির বিরুদ্ধে orthogonalized হয়, যা উপরের চতুষ্কোণ কার্যের জন্য খুব সুন্দর বৈশিষ্ট্যগুলির দিকে পরিচালিত করে। ( d 1 ) টি d $d^0$$(d^1)^Td^0 = 0$

উপরের চতুষ্কোণ ফাংশন (এবং সম্পর্কিত সূত্রগুলি) এছাড়াও যেখানে কনজুগেট গ্রেডিয়েন্ট পদ্ধতি ব্যবহার করে সমাধানের আলোচনা থেকে এসেছে, যেহেতু সেই ন্যূনতম বিন্দুটি বিন্দুতে অর্জন করা হয়েছে যেখানে ।$Ax = b$$f(x)$$x$$Ax = b$

Answer 2

এই প্রসঙ্গে, উভয় পদ্ধতিই ফাংশনটির ন্যূনতম সমস্যা হিসাবে ভাবা যেতে পারে: যখন প্রতিসম হয়, তাহলে কমিয়ে আনা হয় যখন ।

$$\phi(\boldsymbol{x}) = \frac{1}{2}\boldsymbol{x}^T\boldsymbol{A}\boldsymbol{x} - \boldsymbol{x}^T\boldsymbol{b}$$ $\boldsymbol{A}$$\phi$$\boldsymbol{A}\boldsymbol{x} = \boldsymbol{b}$

গ্রেডিয়েন্ট বংশোদ্ভূত হ'ল পদ্ধতিটি যা পুনরাবৃত্তভাবে গ্রেডিয়েন্ট দিকটি অনুসন্ধান করে একটি মিনিমাইজারের জন্য অনুসন্ধান করে। কনজুগেট গ্রেডিয়েন্ট একই, তবে অনুসন্ধানের দিকনির্দেশগুলি একে অপরের কাছে অর্থেগোনাল হওয়াও এই অর্থে প্রয়োজন যে ।$\boldsymbol{p}_i^T\boldsymbol{A}\boldsymbol{p_j} = 0 \; \; \forall i,j$