অজানা কোন ক্রিয়াকলাপটি অনুকূলিত করুন যা কেবল মূল্যায়ন করা যায়?

Question

একটি অজানা ফাংশন দেওয়া , আমরা এর ডোমেনের যে কোনও সময়ে এর মানটি মূল্যায়ন করতে পারি, তবে আমাদের এর প্রকাশ নেই। অন্য কথায়, চ আমাদের কাছে একটি কালো বক্সের মতো।$f:\mathbb R^d \to \mathbb R$$f$

এর মিনিমাইজার খুঁজে বের করার সমস্যার জন্য নাম কী ? সেখানে কিছু পদ্ধতি কী?$f$

সমীকরণের সমাধান খুঁজতে সমস্যাটির নাম কী ? সেখানে কিছু পদ্ধতি কী?$f(x)=0$

: দুটি সমস্যা উপরে, এটা চ কিছু মূল্যায়ন করতে প্রবেশ করান বা ফিট এর একটি ভাল ধারণা একটি ফাংশন ব্যবহার করে ছ θ এবং প্যারামিটার পরিচিত ফর্ম সঙ্গে θ নির্ধারণ করতে হবে, এবং তারপর কমান ছ θ বা তার রুট খুঁজে পাচ্ছেন না?$(x_i, f(x_i)), i=1, \dots, n$$g_\theta$$\theta$$g_\theta$

ধন্যবাদান্তে!

Comments

আপনি একটি নির্দিষ্ট বিন্দুতে এর গ্রেডিয়েন্ট মূল্যায়ন করতে পারেন?

— চৌহুয়াং

@ চাওহুয়াং: দুটি ক্ষেত্রে রয়েছে: অনুমানের উপর নির্ভর করে আপনি এর গ্রেডিয়েন্টটি মূল্যায়ন করতে বা করতে পারেন না।

— টিম

গ্রেডিয়েন্ট উপলভ্য থাকলে, আপনি যে কাজগুলি জিজ্ঞাসা করছেন সেগুলি গ্রেডিয়েন্ট ভিত্তিক অ্যালগরিদম দ্বারা সম্পাদন করা যেতে পারে। উদাহরণস্বরূপ, সর্বনিম্ন বা কমপক্ষে স্থানীয় ন্যূনতম, খাড়া বংশোদ্ভূত পদ্ধতি দ্বারা গণনা করা যায় এবং নিউটনের পদ্ধতিতে শিকড়গুলি খুঁজে পাওয়া যায়।

— চৌহুয়াং

এবং যদি গ্রেডিয়েন্টটি অজানা থাকে তবে এখানে মেটাওউরিস্টিক পদ্ধতি রয়েছে , যা ডেরাইভেটিভ-মুক্ত বা ব্ল্যাক-বাক্স পদ্ধতিও বলা হয় এবং সাধারণত স্টোকাস্টিক অপ্টিমাইজেশনের আকারে।

— চৌহুয়াং

আপনি কি জানেন যে ফাংশনটি মসৃণ কিনা (এমনকি যদি আপনি গ্রেডিয়েন্টটি মূল্যায়ন করতে না পারেন)? আপনি কি জানেন যে ফাংশন উত্তল কিনা? যদি এটি উত্তল না হয় তবে আপনি কি জানেন যে এটি কমপক্ষে লিপসিৎজ অবিচ্ছিন্ন কিনা? যদি ফাংশনটি সম্পূর্ণ সাধারণ হয়, তবে এটি হতাশার সমস্যা।

— ব্রায়ান বোর্চারস

Answer 1

আপনি যে পদ্ধতিগুলির সন্ধান করছেন - যেমন - কেবলমাত্র ফাংশন মূল্যায়নগুলি ব্যবহার করে তবে ডেরাইভেটিভগুলি নয় - ডেরাইভেটিভ ফ্রি অপ্টিমাইজেশন পদ্ধতি বলে । তাদের উপর সাহিত্যের একটি বৃহত সংস্থা রয়েছে এবং আপনি অপ্টিমাইজেশনের বেশিরভাগ বইয়ে এই জাতীয় পদ্ধতিগুলির একটি অধ্যায় খুঁজে পেতে পারেন। সাধারণ পদ্ধতির অন্তর্ভুক্ত

• সীমাবদ্ধ পার্থক্যের দ্বারা গ্রেডিয়েন্টের সমীকরণ করা যদি কেউ উপযুক্তভাবে ফাংশনটি মসৃণ এবং সম্ভবত উত্তল হিসাবে প্রত্যাশা করতে পারে;
• মন্টি কার্লো পদ্ধতি যেমন সিমুলেটেড অ্যানিলিং;
• জেনেটিক আলগোরিদিম.

Comments

আমি কি কেবল সেই তালিকায় "সারোগেট মডেলিং" যুক্ত করতে পারি? এগুলি ব্ল্যাক-বাক্স অপটিমাইজেশনের জন্য প্রযোজ্য, বিশেষত যদি ফাংশনটি মূল্যায়নের জন্য ব্যয়বহুল হয়।

— অস্কারব

হ্যাঁ, আপনি করতে পারেন :-) অবশ্যই একটি দুর্দান্ত সংযোজন।

— ওল্ফগ্যাং ব্যাঙ্গার্থ

অপ্টিমার ভাল অনুমানটি জানা থাকলেও কেউ নেল্ডার-মিড পদ্ধতি ব্যবহার করতে পারে।

— জেএম

হ্যাঁ, আপনি নেল্ডার-মাড ব্যবহার করতে পারেন তবে এটি অন্যান্য প্রত্যেকের তুলনায় এটি একটি ভয়ানক অ্যালগরিদম।

— ওল্ফগ্যাং ব্যাঙ্গারথ

@ ওল্ফগ্যাংবাংয়ের্থ: নেল্ডার-মাডের উপর আপনার মন্তব্যটি মাত্র মাত্র d> 2 এ বৈধ। দুটি মাত্রায়, এটি অনেক সমস্যার মুখোমুখি হওয়া একটি দুর্দান্ত এবং অত্যন্ত শক্ত পদ্ধতি।

— আর্নল্ড নিউমায়ার

Answer 2

আমি মনে করি আপনার সাথে এটি শুরু করা উচিত: রিয়েল-প্যারামিটার ব্ল্যাক-বক্স অপটিমাইজেশন বেঞ্চমার্কিং (বিবিওবি 2016) সম্পর্কিত জিইসিসিও ওয়ার্কশপ http://numbbo.github.io/workshops/index.html

আপনি অনেকগুলি বিভিন্ন অ্যালগোরিদম পাবেন যা পূর্ববর্তী প্রতিযোগিতাগুলিতে ব্যবহৃত হয়েছিল এবং এটি সাধারণ ভিত্তিতে তুলনা করা হয়েছে। যদি আপনি অন্য কোথাও শুরু করেন, শীঘ্রই আপনি কয়েকশ কাগজগুলিতে নিমজ্জিত হবেন যা দাবি করে যে তাদের পদ্ধতিগুলি এবং অ্যালগরিদমগুলি সেই দাবির জন্য খুব কম প্রকৃত প্রমাণ সহ অন্যদের চেয়ে ভাল সম্পাদন করে।

সাম্প্রতিক অবধি, এটা স্পষ্ট করে বলা উচিত, যুক্তিযুক্ত তুলনার জন্য একটি কাঠামো প্রতিষ্ঠায় তারা যে প্রচেষ্টা চালিয়েছিল তার জন্য ইএনআরআইএ, জিইসিসিও এবং আরও অনেকের কাছে এটি একটি অবজ্ঞাপূর্ণ পরিস্থিতি এবং সমস্ত ক্ষমতা ছিল।

Answer 3

আমি কেবল এটিকে যুক্ত করব যে এখানে কীগুলির একটি মাল্টিকোর সিপিইউগুলিতে অপ্টিমাইজেশন পদ্ধতি স্কেল করতে সক্ষম হচ্ছে । আপনি যদি একই সাথে বেশ কয়েকটি ফাংশন মূল্যায়ন করতে পারেন তবে এটি আপনাকে জড়িত বেশ কয়েকটি কোরের সমান একটি স্পিডআপ দেয়। এইটিকে সামান্য আরও নির্ভুল প্রতিক্রিয়া মডেলটি ব্যবহার করার সাথে তুলনা করুন যা আপনাকে 10% আরও দক্ষ বা আরও বেশি করে তোলে।

আমি এই কোডটি দেখার পরামর্শ দিই , এটি বহু কোরে অ্যাক্সেস পাওয়া লোকদের পক্ষে কার্যকর হতে পারে। এর পেছনের একটি গণিত এই কাগজে বর্ণিত হয়েছে ।

Comments

এই উত্তরটি দরকারী হওয়ার জন্য খুব ছোট (এবং দরকারী থাকুন, যেহেতু লিঙ্কগুলি কোনও পর্যায়ে চলে যেতে পারে)। এছাড়াও, দয়া করে উল্লেখ করুন যে আপনি এই সফ্টওয়্যারটির লেখক ।

— ক্রিশ্চান ক্ল্যাসন