বহুমাত্রিক স্থানে কোনও ফাংশনের পরম সর্বনিম্ন (সর্বাধিক) অনুসন্ধানের জন্য কি কোনও গ্রেডিয়েন্ট বংশোদ্ভূত ভিত্তিক কৌশল রয়েছে?

11

আমি গ্রেডিয়েন্ট বংশদ্ভুত অ্যালগরিদমের সাথে পরিচিত যা কোনও প্রদত্ত ফাংশনের স্থানীয় সর্বনিম্ন (সর্বাধিক) সন্ধান করতে পারে।

গ্রেডিয়েন্ট বংশোদ্ভূত কি এমন কোনও পরিবর্তন রয়েছে যা নিখুঁত ন্যূনতম (সর্বাধিক) সন্ধান করতে দেয়, যেখানে ফাংশনে বেশ কয়েকটি স্থানীয় চূড়ান্ততা রয়েছে?

কোন সাধারণ কৌশল আছে, কীভাবে একটি এলগরিদমকে বাড়ানো যায় যা স্থানীয় চূড়ান্ত খুঁজে পেতে পারে, পরম চূড়ান্ত সন্ধানের জন্য?

ds.algorithms approximation-algorithms machine-learning

— রোমান
সূত্র

আপনি ক্রস যাচাই বা FAQ থেকে সংযুক্ত এআই প্রশ্নোত্তর পরীক্ষা করতে চাইতে পারেন ।

— কাভেঃ

আমি মনে করি যে এটি গ্রেডিয়েন্ট বংশোদ্ভূত একটি অপূর্ণতা- এটি স্থানীয় চূড়ান্তভাবে আটকে যেতে পারে। সিমুলেটেড অ্যানিলিংয়ের মতো অন্যান্য কৌশলগুলি এতে কম সংবেদনশীল হতে পারে তবে আমি যা বুঝতে পারি তার থেকে গ্যারান্টি দিতে পারি না।

— জো

1

'বহুমাত্রিক স্থান' এর সাথে কী করবে তা আমি নিশ্চিত নই। এমনকি আর-তে কোনও ফাংশনে একাধিক স্থানীয় অতিরিক্ততা থাকতে পারে যে গ্রেডিয়েন্ট অনুসন্ধানে সমস্যা হবে।

— সুরেশ ভেঙ্কট

আমি নিশ্চিত যে লাইনগুলি বরাবর একটি উপপাদ্য রয়েছে যে ফাংশনটি যদি অবিচ্ছিন্ন থাকে এবং পর্যায়ে পর্যায়ে নমুনা দেওয়া হয় তবে আপনি গ্যারান্টি দিতে পারবেন যে গ্রেডিয়েন্ট বংশোদ্ভূত কোনও কোনও সময়ে বিশ্বব্যাপী সর্বনিম্ন শুরু হবে। অর্থাত্ পাওলের অ্যালগরিদমের লাইন বরাবর কিছু। সাহিত্য এত বিস্তৃত যে এর মত একটি উপপাদ্য সম্ভবত কোথাও প্রকাশিত হয়েছে, তবে তা শুনে নি। এটি প্রমাণিত করে যে স্থানীয় নমুনাটি নমুনাটি বাড়ার সাথে সাথে পর্যাপ্ত নমুনার অধীনে গ্লোবাল অপ্টিমের কাছে যেতে পারে।

— vzn

কিছুটা সাথে সম্পর্কিত দেখুন মন্তব্য এখানে যে জোরালোভাবে বলেন যে বিশ্বব্যাপী এন এন অথবা সংখ্যাসূচক পদ্ধতি / অনুসন্ধানমূলক প্রকার পন্থা হয় না "পড়তা আলগোরিদিম"

— vzn

17

আমার ধারণা আপনি অনিয়ন্ত্রিত ক্ষুদ্রায়নের কথা বলছেন। আপনি যদি কোনও নির্দিষ্ট সমস্যার কাঠামো বিবেচনা করছেন তবে আপনার প্রশ্নের উল্লেখ করা উচিত। অন্যথায়, উত্তর না হয়।

প্রথমে আমার একটি রূপকথা দূর করা উচিত। ক্লাসিকাল গ্রেডিয়েন্ট বংশোদ্ভূত পদ্ধতি (একে স্টিপেস্ট বংশদ্ভুত পদ্ধতিও বলা হয়) এমনকি স্থানীয় মিনিমাইজার খুঁজে পাওয়ার নিশ্চয়তা নেই। এটি থেমে যায় যখন এটি একটি প্রথম-ক্রমের সমালোচনামূলক বিন্দু পায়, যেমন, যেখানে গ্রেডিয়েন্ট অদৃশ্য হয়ে যায়। নির্দিষ্ট ফাংশনটি ছোট করা এবং শুরুর পয়েন্টের উপর নির্ভর করে আপনি খুব ভালভাবে একটি স্যাডল পয়েন্টে বা এমনকি বিশ্বব্যাপী ম্যাক্সিমাইজারে পৌঁছে যেতে পারেন!

$f(x,y) = x^2 - y^2$ $(x_0,y_0) := (1,0)$ $-\nabla f(1,0) = (-2,0)$ $(0,0)$ $f(x,y) = x^2 - 10^{-16} y^2$ $(0,0)$ $\nabla^2 f(x^*,y^*)$ $-10^{-16}$ $+10^{-16}$

চ (এক্স) = {\begin{cases} 1 & যদি এক্স \leq 0 \\ কোসাইন্ (এক্স) & যদি 0 < এক্স < π \\ - 1 & যদি এক্স \geq π । \end{cases}

$f(x) = \begin{cases} 1 & \text{if } x \leq 0 \\ \cos(x) & \text{if } 0 < x < \pi \\ -1 & \text{if } x \geq \pi. \end{cases}$

$x_0 = -2$

এখন কার্যত সমস্ত গ্রেডিয়েন্ট-ভিত্তিক অপ্টিমাইজেশন পদ্ধতিগুলি ডিজাইন দ্বারা এটি ভোগ করে। আপনার প্রশ্নটি সম্পর্কে সত্যিই বিশ্বব্যাপী অপ্টিমাইজেশান । আবার, উত্তরটি হ'ল না, কোনও পদ্ধতি সংশোধন করার জন্য কোনও সাধারণ রেসিপি নেই যাতে গ্লোবাল মিনিমাইজার সনাক্তকরণের গ্যারান্টি দেওয়া যায়। কেবল নিজেকে জিজ্ঞাসা করুন: যদি অ্যালগরিদম কোনও মান ফেরত দেয় এবং বলে যে এটি একটি বৈশ্বিক মিনিমাইজার, আপনি কীভাবে এটি পরীক্ষা করে দেখবেন?

গ্লোবাল অপ্টিমাইজেশনে পদ্ধতিগুলির শ্রেণি রয়েছে। কেউ কেউ এলোমেলোভাবে পরিচয় করিয়ে দেয়। কিছু মাল্টি-স্টার্ট কৌশল ব্যবহার করে। কিছু সমস্যার কাঠামো কাজে লাগায় তবে সেগুলি বিশেষ ক্ষেত্রে রয়েছে। গ্লোবাল অপ্টিমাইজেশান উপর একটি বই বাছাই। তুমি এটা উপভোগ করবে.

— ডমিনিক
সূত্র

@ রোমন: আপনাকে স্বাগতম।

— ডোমিনিক

3

আপনার প্রশ্নের কোনও এক-আকারের-ফিট-সব উত্তর নেই। তবে আপনি সিমুলেটেড অ্যানিলিং অ্যালগরিদমগুলি বা মার্কোভ চেইন মন্টি কার্লো (এমসিএমসি) পদ্ধতিগুলির উপর নির্ভর করে এমন অন্যান্য পদ্ধতির সন্ধান করতে চাইতে পারেন । এগুলি স্থানীয় পদ্ধতির সাথে গ্রেডিয়েন্ট বংশোদ্ভুতের সাথেও মিলিত হতে পারে।

— mrig
সূত্র

1

"নিউরাল নেটওয়ার্কগুলির গ্লোবাল অপ্টিমাইজেশন" সম্পর্কিত অনেকগুলি উল্লেখ রয়েছে। কৌশলগুলি সিমুলেটেড অ্যানিলিংয়ের অনুরূপ [অন্যান্য উত্তর দেখুন]। মূল ধারণাটি হল নেটওয়ার্ক গ্রেডিয়েন্ট বংশোদ্ভূত উত্সাহটি অনেকগুলি ওজন শুরুর পয়েন্ট থেকে শুরু করে, এলোমেলোভাবে বা নিয়মিতভাবে নমুনাযুক্ত। গ্রেডিয়েন্ট বংশদ্ভুত প্রতিটি ফলাফলের পরে একটি "নমুনা" এর মতো। যত বেশি নমুনা নেওয়া হয়, তত বেশি সম্ভাবনা যে নমুনাগুলির মধ্যে একটি বৈশ্বিক অনুকূল, বিশেষত যদি লক্ষ্য ফাংশনটি অবিচ্ছিন্ন, বিভেদযোগ্য, ইত্যাদির অর্থে "ভাল আচরণ করা হয়"।

অনলাইন রেফারেন্স

[1] হাম এবং এট দ্বারা নিউরাল নেটওয়ার্ক ওজনের গ্লোবাল অপ্টিমাইজেশন

[২] নিউরাল নেটওয়ার্ক প্রশিক্ষণ ভোগলিস / লাগারিসের জন্য একটি বৈশ্বিক অপ্টিমাইজেশন পদ্ধতি approach

[3] গ্লোবাল অপ্টিমাইজেশন পিন্টার দ্বারা কৃত্রিম নিউরাল নেটওয়ার্কগুলি ক্রমাঙ্কন করা

[৪] একটি নির্ণায়ক হাইব্রিড পদ্ধতির বেলিয়াকভ ব্যবহার করে নিউরাল নেটওয়ার্কগুলির গ্লোবাল অপ্টিমাইজেশন

[5] নিউরাল নেটওয়ার্ক প্রশিক্ষণের জন্য গ্লোবাল অপ্টিমাইজেশন শ্যাং / ওয়া

— vzn
সূত্র

1

সাধারণভাবে এটি মাল্টিভারিয়েট ননকোনভেক্স ফাংশনগুলি অনুকূল করে তুলতে গণ্যকরূপে শক্ত। কঠোরতা বিভিন্ন স্বাদে আসে (ক্রিপ্টোগ্রাফিক, এনপি-হার্ড)। এটি দেখার একটি উপায় হ'ল মিশ্রণ মডেলগুলি (যেমন গুশিয়ান বা এইচএমএমগুলির মিশ্রণ) শিখতে খুব কঠিন তবে সম্ভাবনাটি দক্ষতার সাথে সর্বাধিকতর করা সম্ভব হলে সহজ (*) হত। HMMs শেখার কঠোরতা উপর ফলাফলের জন্য, দেখুন http://alex.smola.org/journalclub/AbeWar92.pdf http://link.springer.com/chapter/10.1007%2F3-540-45678-3_36 HTTP: // www.math.ru.nl/~terwijn/publications/icgiFinal.pdf

(*) মডেলো হ'ল স্বাভাবিক অজস্রতা এবং শনাক্তকরণের শর্তসমূহ

— Aryeh
সূত্র

0

আমি অবশ্যই ডোমিনিকের সাথে একমত নই। এটি ১৯৮০ এর দশকের মাঝামাঝি হাইজেক দ্বারা দেখানো হয়েছিল যে নির্দিষ্ট কঠোর অবস্থার মধ্যে একটি ননকনভেক্স সমস্যা আনিলেজ করা গ্লোবাল ন্যূনতম পৌঁছানোর গ্যারান্টিযুক্ত: http://dx.doi.org/10.1287/moor.13.2.311

— হারুন ব্রিক
সূত্র

2

উপরে বর্ণিত কঠোরতার ফলাফলের আলোকে, এই শর্তগুলি অবশ্যই বেশ কঠোর হতে হবে!

— আরেহ