আরমিজো বিধি নিয়ে বিভ্রান্তি

লাইন অনুসন্ধানে আর্মিজো বিধি সম্পর্কে আমার এই বিভ্রান্তি আছে। আমি আবার ট্র্যাকিং লাইন অনুসন্ধানটি পড়ছিলাম কিন্তু এই আর্মিওজোর নিয়মটি কী তা পাইনি। আর্মিজো বিধি কি কেউ ব্যাখ্যা করতে পারে? উইকিপিডিয়া ভাল ব্যাখ্যা করার মতো মনে হচ্ছে না। ধন্যবাদ

optimization

— user34790
সূত্র

সমীকরণে ভ্যারিয়েবল এক্স ভেক্টর না হলেও ম্যাট্রিক্সের ক্ষেত্রে কী হবে? আরমিজো নিয়ম কীভাবে আপডেট করা উচিত?

— ফ্রাঙ্ক পুক

কিছুই পরিবর্তন. আপনার কেবলমাত্র আপনার

ম্যাট্রিক্সকে একটি (কলাম) ভেক্টর

আকারে পরিবর্তন করা উচিত ।

X_{k}

$X_k$

x_{k}

$x_k$

— GoHokies

সেখানেই আমি আটকে গেলাম। যখন

ম্যাট্রিক্সে পরিণত হয়, বাম হাতের মান (

) এখনও একটি স্কেলার। তবে ডান হাতের মানটি নয় - পরিবর্তে, এটি একটি ম্যাট্রিক্স (

একটি স্কেলার এবং

একটি ম্যাট্রিক্স))

x_{k}

$x_k$

f (x_{k} + α p_{k})

$f(x_k+\alpha p_k)$

f (x_{k})

$f(x_k)$

β α \nabla f (x_{k})^{T} p_{k}

$\beta\alpha∇f(x_k)^Tp_k$

— ফ্র্যাঙ্ক পুক

আপনার ম্যাট্রিক্স নয়, ভেক্টরের সাথে কাজ করা দরকার। সুতরাং আপনি নিয়ন্ত্রণের ভেরিয়েবলগুলির

ম্যাট্রিক্সকে পুনরায় আকার দিন (আমি এটি

)

উপাদানগুলির সাথে একটি ভেক্টর

রূপান্তর । অনুসন্ধানের দিক এবং গ্রেডিয়েন্টটি

উপাদানগুলির সাথে ভেক্টরও থাকবে । এইভাবে আরমিজো অবস্থার আরএইচএস এবং এলএইচএস উভয়ই স্কেলার এবং তুলনা করা যায়।

N \times N

$N \times N$

X_{k}

$X_k$

x_{k}

$x_k$

N^{2}

$N^2$

N^{2}

$N^2$

— GoHokies

উত্তর:

একবার আপনি একটি বংশদ্ভুত দিক প্রাপ্ত আপনার উদ্দেশ্য ফাংশন জন্য , আপনি একটি "ভালো" পদক্ষেপ দৈর্ঘ্য বাছাই করতে হবে। আপনি এমন একটি পদক্ষেপ নিতে চান না যা খুব বড় যে আপনার নতুন পয়েন্টের কার্যটি আপনার বর্তমান পয়েন্টের চেয়ে বড়। একই সময়ে, আপনি আপনার পদক্ষেপটি এত ছোট করতে চান না যে রূপান্তর করতে চিরকালের জন্য লাগে। $p$ $f(x)$

Armijo অবস্থার মূলত দাড়ায় যে একটি "ভালো" পদক্ষেপ দৈর্ঘ্য যেমন হয় আপনি "যথেষ্ট হ্রাস" এ আছে আপনার নতুন সময়ে। শর্ত গাণিতিকভাবে যেমন বলা যেখানে এ বংশদ্ভুত দিক হল এবং । $f$

f (x_{k} + α p_{k}) \leq f (x_{k}) + β α \nabla f (x_{k})^{T} p_{k}

$f(x_k+\alpha p_k)\leq f(x_k)+\beta\alpha\nabla f(x_k)^Tp_k$

p_{k}

$p_k$

x_{k}

$x_k$

β \in (0, 1)

$\beta\in(0,1)$

এর পেছনে স্বজ্ঞা যে নতুন সময়ে ফাংশন মান অধীনে হওয়া উচিত কমে এ "স্পর্শক লাইন ' দিক । নোসেডাল অ্যান্ড রাইটের বই "সংখ্যাসূচক অপটিমাইজেশন" দেখুন। ৩ য় অধ্যায়ে, আর্মিজোর পর্যাপ্ত হ্রাস শর্তের একটি দুর্দান্ত গ্রাফিকাল বিবরণ রয়েছে। $f(x_k+\alpha p_k)$ $x_k$ $p_k$

— পল
সূত্র

β

$\beta$

α

$\alpha$

পল যেভাবে বলেছিলেন এটির কারণেই এটি কেন্দ্রীভূত হওয়ার কারণ, কেন "ভাল" পদক্ষেপ প্রয়োজনীয় তা হ'ল অনেক অপ্টিমাইজেশন স্কিম ধীরে ধীরে রূপান্তরিত হবে বা সম্ভবত একেবারেই রূপান্তরিত হবে না। সুতরাং লাইন অনুসন্ধানগুলি - যা বিভিন্ন ধরণের মধ্যে আসে, আর্মিজো কেবল সর্বাধিক জনপ্রিয় - অ্যালগরিদমকে আরও দৃ rob় রূপান্তরিত বৈশিষ্ট্য হিসাবে ব্যবহার করতে ব্যবহার করা যেতে পারে।

— cjordan1

পল: আপনার ব্যাখ্যা অসম্পূর্ণ। এই অসমতা একা 'যথেষ্ট' হ্রাসের গ্যারান্টি দেয় না। আসলে, আপনার কাছে আলফা = 0 থাকতে পারে এবং আপনি লিখেছেন এমন অসমতা সন্তুষ্ট করে। একটি গুরুত্বপূর্ণ বৈশিষ্ট্য হ'ল আর্মিওো রুলটি হ'ল ধাপের আকারকে শূন্য থেকে দূরে সরিয়ে দেওয়া, যা অন্য একটি অসমতার দ্বারা সম্পন্ন হয়: f (গামা * x_ নতুন) -f (x_old)> বিটা * (গামা * এক্স_নিউ-এক্স_ল্ড) ^ টি * গ্রেড (চ (x_old))

f (x) = x^{2}

$f(x) = x^2$

x_{k} = - 1

$x_k = -1$

p_{k} = - 2

$p_k = -2$

α

$\alpha$

f (x_{k} + α p_{k})

$f(x_k + \alpha p_k)$

α = 1 / 2

$\alpha = 1/2$

β > 1 / 2

$\beta > 1/2$

f (x_{k} + 1 / 2 p_{k}) = 0 > 1 - 2 β = f (x_{k}) + β α f^{'} (x_{k}) p_{k}

$f(x_k + 1/2 p_k) = 0 > 1 - 2 \beta = f(x_k) + \beta \alpha f'(x_k) p_k$

β

$\beta$

β > 1 / 2

$\beta > 1/2$

β = 10^{- 4}

$\beta = 10^{-4}$

β

$\beta$

পাঁচ বছর পরে, এই প্রশ্নটি এখনও বৈধ।

এখানে (16 এবং 17 পৃষ্ঠাগুলি) আপনি একটি অ্যালগরিদম সহ দুর্দান্ত ব্যাখ্যা খুঁজে পেতে পারেন।

— বোজন হৃষ্কাস
সূত্র