গ্রেডিয়েন্ট বংশোদ্ভূত নন-উত্তল ফাংশনগুলিতে প্রয়োগ করা যেতে পারে?

Question

আমি কেবল অপটিমাইজেশন সম্পর্কে শিখছি, এবং উত্তল এবং নন-উত্তল অপ্টিমাইজেশনের মধ্যে পার্থক্য বুঝতে সমস্যা হচ্ছি। আমার বোধগম্যতা থেকে একটি উত্তল ফাংশনটি এমন যেখানে "ফাংশনের গ্রাফের যে কোনও দুটি বিন্দুর মধ্যে রেখাংশটি উপরের বা গ্রাফের মধ্যে থাকে"। এই ক্ষেত্রে, গ্রেডিয়েন্ট বংশদ্ভুত অ্যালগরিদম ব্যবহার করা যেতে পারে কারণ একক ন্যূনতম রয়েছে এবং গ্রেডিয়েন্টগুলি সর্বদা আপনাকে সর্বনিম্ন এ নিয়ে যায়।

তবে এই চিত্রের কার্যকারিতাটি কী:

এখানে, নীল রেখার অংশটি লাল ফাংশনের নীচে অতিক্রম করে। তবে, ফাংশনটির এখনও একটি একক ন্যূনতম রয়েছে, এবং গ্রেডিয়েন্ট বংশোদ্ভূত অবতরণ এখনও আপনাকে এই সর্বনিম্নে নিয়ে যেতে পারে।

সুতরাং আমার প্রশ্নগুলি হ'ল:

1) এই চিত্রের উত্তল বা নন-উত্তলের মধ্যে ফাংশনটি কি?

2) এটি যদি উত্তল নয় তবে উত্তল অপ্টিমাইজেশন পদ্ধতিগুলি (গ্রেডিয়েন্ট বংশোদ্ভূত) এখনও প্রয়োগ করা যেতে পারে?

Answer 1

আপনি যে ফাংশনটি গ্রাফ করেছেন তা আসলে উত্তল নয়। তবে এটি কোয়েসিকনভেক্স ।

$x_1, x_2, \ldots$$f(x_1) > f(x_2) > \ldots$।

গ্রেডিয়েন্ট বংশোদ্ভূত অবশেষে বিন্দুমাত্র নির্বিশেষে ফাংশনের স্থির বিন্দুতে রূপান্তরিত হবে। যদি ফাংশনটি উত্তল হয়, তবে এটি বিশ্বব্যাপী সর্বনিম্ন হবে, তবে তা না হলে এটি স্থানীয় সর্বনিম্ন বা এমনকি একটি স্যাডল পয়েন্টও হতে পারে।

Quasiconvex ফাংশন একটি আকর্ষণীয় ক্ষেত্রে। কোন ক্যাসিকোনভেক্স ফাংশনের যে কোনও স্থানীয় ন্যূনতম এছাড়াও বিশ্বব্যাপী ন্যূনতম, তবে কাসিকোনভেক্স ফাংশনগুলির স্থির পয়েন্টগুলি থাকতে পারে যা স্থানীয় মিনিমা নয় (গ্রহণ করুন$f(x) = x^3$উদাহরণ স্বরূপ). সুতরাং গ্রেডিয়েন্ট বংশোদ্ভুতের পক্ষে এমন স্থির বিন্দুতে আটকা পড়ে বিশ্বব্যাপী অগ্রগতি না ঘটানো তাত্ত্বিকভাবে সম্ভব। আপনার উদাহরণে, যদি গ্রাফের বাম দিকের কাঁধটি পুরোপুরি বাইরে বেরিয়ে আসে তবে গ্রেডিয়েন্ট বংশোদ্ভূত অংশটি সেখানে আটকে যেতে পারে। তবে, ভারী বল পদ্ধতির মতো রূপগুলি "রোল মাধ্যমে" সক্ষম হয়ে বিশ্বব্যাপী সর্বনিম্ন পৌঁছাতে সক্ষম হতে পারে।

Answer 2

পল ইতিমধ্যে একটি গুরুত্বপূর্ণ বিষয় উল্লেখ করেছেন:

• যদি এফটি উত্তল হয় তবে কোনও স্যাডল পয়েন্ট নেই এবং সমস্ত স্থানীয় মিনিমাও বিশ্বব্যাপী। সুতরাং জিডি (উপযুক্ত স্টেপসাইজ সহ) একটি গ্লোবাল মিনিমাইজার সন্ধানের গ্যারান্টিযুক্ত।

নন-উত্তল অপ্টিমাইজেশনকে শক্ত করে তোলে তা হ'ল স্যাডল পয়েন্ট এবং স্থানীয় মিনিমার উপস্থিতি, যেখানে গ্রেডিয়েন্টটি (0, ..., 0) এবং এতে নির্বিচারে খারাপ উদ্দেশ্য মান রয়েছে।

এই জাতীয় সেটিংয়ে গ্লোবাল মিনিমাইজার সন্ধান করা সাধারণত এনপি-হার্ড হয় এবং এর পরিবর্তে স্থানীয় মিনিমাইজার সন্ধানের লক্ষ্য নিয়ে স্থির হয়।

তবে, নোট করুন:

• একটি জিনীতে আটকে যাওয়ার জিডির প্রোবিলিটি আসলে 0 ( এখানে দেখুন )।
• তবে স্যাডল পয়েন্টের উপস্থিতি জিডিগুলিকে তীব্রভাবে কমিয়ে দিতে পারে কারণ কম বক্রতার দিকগুলি খুব ধীরে ধীরে শোষণ করা হয় ( এখানে দেখুন )

আপনার সমস্যার মাত্রিকতার উপর নির্ভর করে এইভাবে দ্বিতীয়-আদেশের অপ্টিমাইজেশন রুটিনে যাওয়ার পরামর্শ দেওয়া যেতে পারে।