59

গ্রেডিয়েন্ট বংশদ্ভুত এবং অন্যান্য অনেকগুলি পদ্ধতি ব্যয় কার্যক্রমে স্থানীয় মিনিমা সন্ধানের জন্য দরকারী। তারা কার্যকর হতে পারে যখন প্রতিটি বিন্দুতে ব্যয় কার্যকারিতা দ্রুত মূল্যায়ন করা যায়, সংখ্যাসূচক বা বিশ্লেষণাত্মক হোক না কেন।

আমার কাছে যা অস্বাভাবিক পরিস্থিতি বলে মনে হয় তা আমার কাছে রয়েছে। আমার ব্যয় ক্রিয়াকলাপের প্রতিটি মূল্যায়ন ব্যয়বহুল। আমি পরামিতিগুলির একটি সেট সন্ধান করার চেষ্টা করছি যা স্থল সত্যের পৃষ্ঠের বিরুদ্ধে 3 ডি পৃষ্ঠকে ন্যূনতম করে দেয়। আমি যখনই কোনও প্যারামিটার পরিবর্তন করি তখন এর প্রভাব পরিমাপের জন্য আমার পুরো নমুনা কোহোর্টের বিরুদ্ধে অ্যালগরিদম চালানো দরকার। গ্রেডিয়েন্ট গণনা করার জন্য, আমাকে সমস্ত 15 টি প্যারামিটার স্বাধীনভাবে পরিবর্তন করতে হবে, যার অর্থ আমাকে সমস্ত পৃষ্ঠতলটি পুনরায় জেনারেট করতে হবে এবং নমুনা কোহোর্টের সাথে গ্রেডিয়েন্টের তুলনায় অনেক বার তুলনা করতে হবে, এবং অবশ্যই অপ্টিমাইজেশনের কোর্সে অনেক বার যেতে হবে।

আমি এই সমস্যাটি নিরসনের জন্য একটি পদ্ধতি তৈরি করেছি এবং বর্তমানে এটি মূল্যায়ন করছি তবে আমি অবাক হয়েছি যে ব্যয়বহুল ব্যয়ের ফাংশন মূল্যায়নের ক্ষেত্রে আমি সাহিত্যে খুব বেশি কিছু পাই নি। এটি আমার বিস্মিত করে তোলে যে আমি যদি সমস্যাটি আরও কঠিনতর করে তুলছি এবং এর চেয়ে আরও ভাল উপায় ইতিমধ্যে পাওয়া যায়।

সুতরাং আমার প্রশ্নগুলি মূলত এটি: মূল্যায়ন ধীর গতিতে যখন কেউ ব্যয় কার্যকারিতা, উত্তল বা না অনুকূলকরণের পদ্ধতি সম্পর্কে জানেন? বা, আমি কি প্রথম স্থানে অ্যালগরিদম পুনরায় চালিত করে এবং এতবার নমুনা কোহোর্টের সাথে তুলনা করে নির্বোধ কিছু করছি?

gradient-descent optimization bayesian-optimization

— জ্যারেড বেকসফোর্ট
সূত্র

5

আপনি স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত শুনেছেন? বৃহত প্রশিক্ষণ সেটগুলিতে প্রয়োগ করা গভীর নিউরাল নেটওয়ার্কগুলির জন্য আপনার একই রকম সমস্যা রয়েছে (তবে বিশ্লেষণাত্মকভাবে মূল্যায়ন করতে পারেন) এবং মানক সমাধানটি কেবলমাত্র একটি একক নমুনার (স্টোকাস্টিক) বনাম পুরো

— কোহোর্ট

3

আমি এই অঞ্চলটির সাথে কেবল অস্পষ্টভাবে পরিচিত, সুতরাং এটি কোনও উত্তরের পরিবর্তে একটি মন্তব্য। তবে আপনি যা আলোচনা করছেন তা অনেকটা অনিশ্চয়তার পরিমাপের বিষয়টির মতো মনে হয়, প্রায়শই প্রকৌশলীরা মুখোমুখি হন, যেখানে করা টার্গেট ফাংশনটির একক মূল্যায়ণ মূল্যায়ণ করতে কয়েক সপ্তাহ সময় নেয় (কমপক্ষে আমার প্রকৌশল সহকর্মীদের দ্বারা উত্পন্ন সমস্যাগুলিতে)। এটি কীভাবে পরিচালিত হয় সে সম্পর্কে আমার খুব সীমিত ধারণাটি একটি সরোগেট আনুমানিকতা তৈরি করে যা অতীতের মূল্যায়ন এবং সহজ প্রকৌশল মডেলের উপর ভিত্তি করে মূল্যায়ন করা আরও সহজ এবং তারপরে পরবর্তী মূল্যায়নটি বেছে নিতে এই সরোগেট মডেলগুলি ব্যবহার করে ...

— ক্লিফ এবি

2

... আরও ব্যয়বহুল লক্ষ্য ফাংশন। আমি এটি বলতে ঘৃণা করি, তবে এই মুহুর্তে আমি আর বিষয়টি সম্পর্কে জানি না; ইঞ্জিনিয়ারদের সাথে গবেষণার বিষয়গুলি আলোচনা করার সময় আমাকে কেবল এটি সম্পর্কে সংক্ষেপে বলা হয়েছিল told মজার বিষয় হল এটি অত্যন্ত চ্যালেঞ্জিং গবেষণা ক্ষেত্রের মতো মনে হচ্ছে: আমি বিশ্বাস করি ভাল মডেলগুলির জন্য পদার্থবিজ্ঞান এবং পরিসংখ্যান উভয়েরই ভাল বোঝার প্রয়োজন ।

— ক্লিফ এবি

1

@ Seanv507 হ্যাঁ, ধন্যবাদ, তবে আমি এটি একই কারণে এড়াতে পেরেছি। একটি নমুনা চালাতে প্রায় 30 সেকেন্ড থেকে এক মিনিট সময় লাগে। আমার যদি 15 টি প্যারামিটার থাকে তবে আমি গ্রেডিয়েন্ট গণনায় প্রতি 8 মিনিটের দিকে তাকিয়ে থাকি এমনকি যদি আমি কেবল একটি নমুনা ব্যবহার করি। স্থানটি বড় হলে এটি খুব দীর্ঘ সময় নিতে পারে। আপনার মনে অন্য ধারণা থাকলে দয়া করে আমাকে সংশোধন করুন।

— জ্যারেড বেকসফোর্ট

5

"যা আমার কাছে অস্বাভাবিক পরিস্থিতি বলে মনে হয় my আমার ব্যয় কার্যকারণের প্রতিটি মূল্যায়ন ব্যয়বহুল। এটি মোটেও অস্বাভাবিক পরিস্থিতি নয়। এটি সমস্ত জায়গাতেই প্রদর্শিত হয়, উদাহরণস্বরূপ যখন কখন আপনার ব্যয় ফাংশনটি সিমুলেশন চালানো থেকে আসে (উদাহরণস্বরূপ: এই কাগজে: white.ucc.asn.au/publications/Wite2015PsoTransistorSizing.pdf আমরা স্পেসে একটি সার্কিট 10 সেকেন্ড গ্রহণ করে অনুকরণ করি)। আরও বোর্ডিয়াল, পরীক্ষামূলক বিজ্ঞানে, মূল্যায়নগুলিতে বয়স হতে পারে। আমার এক বন্ধু মাস্টার্স প্রকল্পটি মূলত ডিএনএ সন্নিবেশ করানোর সর্বোত্তম উপায় সন্ধানের জন্য 5 পরামিতিগুলি অনুকূল করেছে। প্রতিটি মূল্যায়ন 24 ঘন্টা সময় নেয়।

— লিন্ডন হোয়াইট

59

টি এল; ডিআর

আমি LIPO ব্যবহার করার পরামর্শ দিচ্ছি। খাঁটি র্যান্ডম অনুসন্ধান (পিআরএস) এর চেয়ে এটি যথাযথভাবে সঠিক এবং সম্ভবত কার্যকর। এটি প্রয়োগ করাও অত্যন্ত সহজ, এবং এর কোনও হাইপারপ্যারামিটার নেই। আমি কোনও বিশ্লেষণ পরিচালনা করি নি যা LIPO এর সাথে বিও এর সাথে তুলনা করে, তবে আমার প্রত্যাশাটি হল যে LIPO এর সরলতা এবং দক্ষতা বোঝায় যে এটি বিও-কে সম্পাদন করবে।

(আরও দেখুন: বায়সিয়ান হাইপার প্যারামিটার অপ্টিমাইজেশনের কিছুটা ব্যর্থতা কী? )

বায়েশিয়ান অপটিমাইজেশন

বায়সিয়ান অপ্টিমাইজেশন-ধরণের পদ্ধতিগুলি প্যারামিটারের স্থানটি অনুসন্ধান করতে গসিয়ান প্রক্রিয়া সারোগেট মডেল তৈরি করে। মূল ধারণাটি হ'ল প্যারামিটার টিউপসগুলি যা একত্রে খুব কাছাকাছি রয়েছে একই ধরণের ফাংশন মান থাকবে, সুতরাং পয়েন্টগুলির মধ্যে একটি সহ-বিবর্তনের কাঠামোর অনুমানের ফলে অ্যালগরিদমকে পরবর্তী পরামিতি সেরা প্যারামিটার টিপল কী সর্বাধিক সার্থক তা সম্পর্কে শিক্ষিত অনুমান করতে দেয় allows এই কৌশলটি ফাংশন মূল্যায়নের সংখ্যা হ্রাস করতে সহায়তা করে; প্রকৃতপক্ষে, বিও পদ্ধতিগুলির অনুপ্রেরণাটি হ'ল "সম্পূর্ণ মহিষ ব্যবহার করার সময়" পরবর্তী পরীক্ষাটি কী করবে সে সম্পর্কে ভাল অনুমান করার জন্য ফাংশন মূল্যায়নের সংখ্যা যতটা সম্ভব কম রাখা। যোগ্যতার বিভিন্ন পরিসংখ্যান রয়েছে (প্রত্যাশিত উন্নতি, প্রত্যাশিত কোয়ান্টাইল উন্নতি, উন্নতির সম্ভাবনা ...) যা পরবর্তী দেখার জন্য পয়েন্টগুলি তুলনা করতে ব্যবহৃত হয়।

এটি কোনও গ্রিড অনুসন্ধানের মতো বিপরীতে তৈরি করুন, যা এর আগের ফাংশন মূল্যায়ন থেকে কোনও তথ্য কখনই ব্যবহার করা হবে তা জানাতে হবে না next

ঘটনাচক্রে, এটি একটি শক্তিশালী বৈশ্বিক অপ্টিমাইজেশান কৌশলও এবং এর ফলে পৃষ্ঠের জঞ্জালতা সম্পর্কে কোনও অনুমান করা যায় না। অতিরিক্তভাবে, যদি ফাংশনটি স্টোকাস্টিক হয় (বলুন, মূল্যায়নের কিছু সহজাত এলোমেলো শব্দ আছে), এটি সরাসরি জিপি মডেল হিসাবে গণ্য হতে পারে।

অন্যদিকে, আপনাকে প্রতিটি পুনরাবৃত্তিতে কমপক্ষে একটি জিপি ফিট করতে হবে (বা বেশ কয়েকটি, "সেরা" বাছাই করা, বা বিকল্পগুলির উপরে গড়, বা সম্পূর্ণ বেইসিয়ান পদ্ধতিগুলি)। তারপরে, মডেলটি সাধারণত (বহু হাজার) পূর্বাভাস তৈরি করতে ব্যবহৃত হয়, সাধারণত মাল্টিস্টার্ট স্থানীয় অপ্টিমাইজেশনের আকারে, পর্যবেক্ষণ করে যে অপ্টিমাইজেশনের অধীনে ফাংশনটির তুলনায় জিপি পূর্বাভাস ফাংশনটি মূল্যায়ন করা অনেক সস্তা। তবে এই কম্পিউটেশনাল ওভারহেডের সাথেও এটি এমন প্রবণতা বজায় রাখে যে এমনকি ননকনভেক্স ফাংশনগুলি অপেক্ষাকৃত কম সংখ্যক ফাংশন কলগুলির সাথেও অনুকূলিত করা যায়।

এই বিষয়টির একটি বহুল আলোচিত কাগজ হ'ল জোন্স এট আল , "ব্যয়বহুল কালো-বাক্স কার্যকারিতার দক্ষ গ্লোবাল অপ্টিমাইজেশন"। তবে এই ধারণার মধ্যে অনেক বৈচিত্র রয়েছে।

র্যান্ডম অনুসন্ধান

এমনকি মূল্য ফাংশনটি মূল্যায়নের জন্য ব্যয়বহুল হলেও, এলোমেলো অনুসন্ধান এখনও কার্যকর হতে পারে। এলোমেলো অনুসন্ধান প্রয়োগ করা ময়লা-সহজ। গবেষক সেটিং না করা শুধু পছন্দ সম্ভাব্যতা আপনি আপনার ফলাফল কিছু থাকা চাই সমাংশক ; বাকিগুলি প্রাথমিক সম্ভাবনা থেকে ফলাফলগুলি স্বয়ংক্রিয়ভাবে এগিয়ে যায়। $p$ $q$

ধরুন আপনার কোয়ানটাইলটি এবং আপনি একটি সম্ভাবনা চান যে মডেল ফলাফলগুলি সমস্ত হাইপারপাটারমিটারের শতাংশের শীর্ষে রয়েছে । সমস্ত টিউপল চেষ্টা করে যে উইন্ডোটিতে সেই সম্ভাবনাটি not (কারণ তারা একই বিতরণ থেকে এলোমেলোভাবে স্বাধীনভাবে নির্বাচিত হয়), সুতরাং সেই অঞ্চলে কমপক্ষে একটি টুপল থাকার সম্ভাবনাটি । । সব একসাথে রাখা, আমাদের আছে $q = 0.95$ $p=0.95$ $100\times (1-q)=5$ $n$ $q^n = 0.95^n$ $1 - 0.95^n$

1 - {কুই}^{এন} \geq পি ⟹ এন \geq \frac{লগ ইন করুন (1 - পি)}{লগ ইন করুন (কুই)}

$1 - q^n \ge p \implies n \ge \frac{\log(1 - p)}{\log(q)}$

যা আমাদের নির্দিষ্ট ঘটনাতে উৎপাদনের মধ্যে । $n \ge 59$

এই ফলস্বরূপ বেশিরভাগ লোক এলোমেলো অনুসন্ধানের জন্য প্রয়াসের টিপলগুলির প্রস্তাব দেয় । এটি লক্ষণীয় যে গৌসিয়ান প্রসেস-ভিত্তিক পদ্ধতিগুলির সাথে একটি পরিমিত সংখ্যক পরামিতি রয়েছে যখন ভাল ফলাফল পেতে প্রয়োজনীয় পরীক্ষাগুলির সাথে তুলনামূলক। গাউসিয়ান প্রক্রিয়াগুলির বিপরীতে, অনুসন্ধানের টিউপসগুলির সংখ্যা অনুসন্ধানের জন্য হাইপারপ্যারামিটারের সংখ্যার সাথে পরিবর্তিত হয় না; প্রকৃতপক্ষে, প্রচুর সংখ্যক হাইপারপ্যারামিটারের জন্য, গাউসিয়ান প্রক্রিয়া-ভিত্তিক পদ্ধতিটি অগ্রগতিতে অনেকগুলি পুনরাবৃত্তি নিতে পারে। $n=60$ $n=60$

যেহেতু ফলাফলগুলি কতটা ভাল তার সম্ভাব্য গ্যারান্টি রয়েছে তাই আপনার বসকে বোঝানোর জন্য এটি একটি অনুপ্রেরণামূলক সরঞ্জাম হতে পারে যে আরও পরীক্ষা-নিরীক্ষা চালানোর প্রয়োজন নেই।

লিপো এবং এর রূপগুলি

এটি একটি উত্তেজনাপূর্ণ আগমন যা এটি যদি নতুন না হয় তবে তা অবশ্যই আমার কাছে নতুন। এটি ফাংশনটিতে অবহিত সীমা স্থাপনের মাধ্যমে এবং সেরা বাউন্ড থেকে নমুনা দেওয়ার মাধ্যমে এবং চতুর্ভুজীয় আনুমানিকতা ব্যবহার করে পর্যায়ক্রমে এগিয়ে যায়। আমি এখনও সমস্ত বিবরণ দিয়ে কাজ করছি, কিন্তু আমি মনে করি এটি খুব আশাব্যঞ্জক। এটি একটি দুর্দান্ত ব্লগ রাইটিং আপ এবং কাগজটি হলেন সিড্রিক ম্যালহের্বি এবং নিকোলাস ভায়াটিস "লিপসিৎজ ফাংশনগুলির গ্লোবাল অপ্টিমাইজেশন "।

— মনিকা পুনরায় স্থাপন করুন
সূত্র

1

এটি প্রতিক্রিয়া পৃষ্ঠের আধুনিক পদ্ধতির মতো মনে হচ্ছে!

— কেজেটিল বি হলওয়ার্সন

1

আসলে, এলোমেলো অনুসন্ধান উল্লেখযোগ্যভাবে ভাল কাজ করতে পারে: argmin.net/2016/06/20/ হাইপারটিনিং

— টিম

1

@ টিম হ্যাঁ, আপনার বক্তব্যটি যথাযথভাবে গ্রহণ করা হয়েছে। আমি এই পোস্টে আরও ভাল যে ইস্যুটি "সিদ্ধান্ত নিতে" চাইনি, যেহেতু বিও-তে মূলত অন্তহীন অনুমতি রয়েছে, প্রত্যেকে "সেরা" ব্ল্যাক-বাক্স অপটিমাইজার হিসাবে দাবি করছে - এটি নিশ্চিত হওয়া অসম্ভব হয়ে পড়েছে। আমি সম্মত হই যে এলোমেলো অনুসন্ধানগুলি বেশ ভালভাবে কাজ করতে পারে তবে আমি পিআরএসের চেয়ে আসলে লিপোকে সুপারিশ করব। LIPO প্রমাণিতভাবে সঠিক এবং আমার সমস্ত পরীক্ষায় পিআরএস (গড়ে) জোরালোভাবে সম্পাদন করে। LIPO এরও সর্বনিম্ন মূল্যায়ন ব্যয় থাকে: আপনি যদি কোনও QP ন্যূনতম করতে পারেন তবে আপনি LIPO ব্যবহার করতে পারেন এবং LIPO এর শূন্য হাইপারপ্যারামিটার রয়েছে (বিওর বিপরীতে)।

— মনোকিকা

আমি আনন্দিত আমি আবার এই প্রশ্নটি পরীক্ষা করে দেখেছি। LIPO দুর্দান্ত মনে হচ্ছে।

— জ্যারেড বেকসফোর্ট

LIPO দুর্দান্ত। আমার একটি মুহুর্ত থাকলে আমি LIPO এর আরও ভাল অ্যাকাউন্টিং দেওয়ার জন্য আমার উত্তরটি প্রসারিত করব।

— মনিকা পুনঃস্থাপন

40

$f(x)$ $x$

আমি বলব যে (খুব) ব্যয়বহুল ব্ল্যাক-বাক্স ফাংশন মূল্যায়নের জন্য বর্তমান সোনার মানটি (গ্লোবাল) বায়সিয়ান অপটিমাইজেশন (বিও)। সাইকোরাক্স বিও এর কয়েকটি বৈশিষ্ট্য ইতিমধ্যে বর্ণনা করেছে, তাই আমি কার্যকরভাবে কিছু তথ্য যুক্ত করছি।

একটি সূচনা পয়েন্ট হিসাবে, আপনি এই ওভারভিউ পেপার 1 পড়তে চাইতে পারেন । আরও একটি সাম্প্রতিক একটি [2 ]ও রয়েছে।

বায়েশিয়ান অপ্টিমাইজেশন সাম্প্রতিক বছরগুলিতে একটি ক্ষেত্র হিসাবে ধীরে ধীরে বর্ধমান হয়ে উঠছে, একনিষ্ঠভাবে নিবেদিত কর্মশালা (যেমন, বয়েসঅ্যাপ , এবং বিও-তে শেফিল্ড ওয়ার্কশপ থেকে এই ভিডিওগুলি দেখুন ), যেহেতু এটি মেশিন লার্নিংয়ে খুব ব্যবহারিক প্রয়োগ রয়েছে এমএল অ্যালগরিদমের হাইপার-প্যারামিটারগুলি অনুকূলকরণের জন্য - উদাহরণস্বরূপ এই কাগজটি দেখুন [3] এবং সম্পর্কিত সরঞ্জামবাক্স, স্পিয়ারমিন্ট । বিভিন্ন ভাষায় অন্যান্য অনেকগুলি প্যাকেজ রয়েছে যা বিভিন্ন ধরণের বায়েশিয়ান অপ্টিমাইজেশান অ্যালগরিদমগুলি প্রয়োগ করে।

যেমনটি আমি উল্লেখ করেছি, অন্তর্নিহিত প্রয়োজনীয়তাটি হ'ল প্রতিটি ফাংশন মূল্যায়ন খুব ব্যয়বহুল, যাতে বিও-সম্পর্কিত গণনাগুলি একটি তুচ্ছ ওভারহেড যুক্ত করে। একটি বলপার্ক দেওয়ার জন্য, বিও নিশ্চিতভাবে সহায়ক হতে পারে যদি আপনার ফাংশনটি কয়েক মিনিট বা তারও বেশি সময়ের ক্রমে মূল্যায়ন করে। আপনি এটি দ্রুত গণনাগুলির জন্য প্রয়োগ করতে পারেন (উদাহরণস্বরূপ দশক সেকেন্ড), তবে আপনি কোন অ্যালগরিদম ব্যবহার করেন তার উপর নির্ভর করে আপনাকে বিভিন্ন আনুমানিকতা গ্রহণ করতে হতে পারে। যদি আপনার ফাংশনটি সেকেন্ডের সময় স্কেলে মূল্যায়ন করে তবে আমি মনে করি আপনি বর্তমান গবেষণার সীমানা মারছেন এবং সম্ভবত অন্যান্য পদ্ধতিগুলি আরও কার্যকর হতে পারে। এছাড়াও, আমার বলতে হবে, বিও খুব কমই সত্যই ব্ল্যাক-বাক্স এবং আপনাকে প্রায়শই অ্যালগরিদমগুলি, কখনও কখনও প্রচুর পরিমাণে চিহ্নিত করতে হয়, যাতে এটি একটি নির্দিষ্ট বাস্তব-সমস্যার সাথে সম্পূর্ণ সম্ভাবনায় কাজ করে।

অন্যদিকে, সাধারণ ডেরাইভেটিভ-মুক্ত অপ্টিমাইজেশন পদ্ধতির পর্যালোচনার জন্য আপনি এই পর্যালোচনাটি একবার দেখতে পারেন [৪] এবং দ্রুত রূপান্তর করার ভাল বৈশিষ্ট্যযুক্ত অ্যালগরিদমগুলি পরীক্ষা করতে পারেন। উদাহরণস্বরূপ, মাল্টি-লেভেল কোঅর্ডিনেট সন্ধান (এমসিএস) সাধারণত খুব দ্রুত একটি ন্যূনতম (সর্বদা বিশ্বব্যাপী সর্বনিম্ন নয়, অবশ্যই) এর আশেপাশে পরিবর্তিত হয়। এমসিএসকে বিশ্বব্যাপী অপ্টিমাইজেশনের জন্য ভাবা হয়, তবে আপনি উপযুক্ত সীমাবদ্ধতাগুলি সেট করে এটিকে স্থানীয় করতে পারেন।

পরিশেষে, আপনি ব্যয়বহুল এবং কোলাহল উভয়ই লক্ষ্যযুক্ত ফাংশনগুলির জন্য বিওতে আগ্রহী , এই প্রশ্নের আমার উত্তরটি দেখুন ।

তথ্যসূত্র:

1 ব্রোচু এট অ্যাল।, "অ্যাক্টিভ ইউজার মডেলিং অ্যান্ড হায়ারার্কিকালাল রিইনফোর্সমেন্ট লার্নিং এপ্লিকেশন সহ ব্যয়সিয়ান অপটিমাইজেশন অফ ব্যয়বহুল ব্যয় সংক্রান্ত একটি টিউটোরিয়াল" (2010))

[২] শাহরিরি এট আল।, "দ্য হিউম্যান আউট অফ লুপ: অ্যা রিভিউ অফ বায়সিয়ান অপটিমাইজেশন" (২০১৫)।

[3] স্নোক এট আল।, "মেশিন লার্নিং অ্যালগরিদমগুলির ব্যবহারিক বায়েসিয়ান অপ্টিমাইজেশন", এনআইপিএস (২০১২)।

[৪] রিওস এবং সহিনিডিস, "ডেরিভেটিভ-মুক্ত অপ্টিমাইজেশন: অ্যালগরিদমের একটি পর্যালোচনা এবং সফ্টওয়্যার বাস্তবায়নের তুলনা", জার্নাল অফ গ্লোবাল অপটিমাইজেশন (২০১৩)।

— lacerbi
সূত্র

4

+1 এটি দুর্দান্ত উত্তর। বিশেষত, এই কাগজপত্রগুলি এই থ্রেডের দুর্দান্ত সংযোজন; আসলে, আমি জানতাম না যে আমি যে সাধারণ পদ্ধতিটি বর্ণনা করেছি তাকে বায়েশিয়ান অপটিমাইজেশন বলা হয়। তবে আমি উদ্বিগ্ন যে লিঙ্কগুলি সময়ের সাথে খারাপ হতে পারে। ভবিষ্যতের ব্যবহারকারীরা এই কাগজপত্রগুলিতে অ্যাক্সেস করতে সক্ষম হবেন যাতে আরও সম্পূর্ণ উদ্ধৃতি সম্পর্কিত তথ্য যুক্ত করতে আপত্তি করবেন?

— মনিকা পুনরায়

বায়েশিয়ান অপ্টিমাইজেশন কাগজপত্র বেশ সহায়ক। উত্তরের জন্য ধন্যবাদ.

— জ্যারেড বেকসফোর্ট

1

@ ব্যবহারকারী 77777: ভাল কথা। শেষে একটি স্পষ্ট রেফারেন্স তালিকা যুক্ত করা হয়েছে যা কাগজপত্রগুলি পুনরুদ্ধার করার জন্য পর্যাপ্ত হওয়া উচিত।

— লেসারবি

6

আমি নিজেই অ্যালগরিদম জানি না, তবে আমি বিশ্বাস করি যে আপনি যে ধরণের অপ্টিমাইজেশন অ্যালগরিদম খুঁজছেন তা হ'ল ডেরাইভেটিভ-মুক্ত অপ্টিমাইজেশন যা উদ্দেশ্য ব্যয়বহুল বা গোলমাল করার সময় ব্যবহৃত হয় ।

উদাহরণস্বরূপ, এই কাগজটি একবার দেখুন (Björkman, M. & Holmström, K. "রেডিয়াল বেসিস ফাংশন ব্যবহার করে ব্যয়বহুল ননকনভেক্স ফাংশনের গ্লোবাল অপ্টিমাইজেশন।" অপটিমাইজেশন এবং ইঞ্জিনিয়ারিং (2000) 1: 373. ডুই: 10.1023 / এ: 1011584207202) যার বিমূর্ততাটি ইঙ্গিত দেয় বলে মনে হচ্ছে এটি হ'ল আপনি যা চান:

কাগজটি ব্যয়বহুল উদ্দেশ্যমূলক ক্রিয়াকলাপগুলির বৈশ্বিক অপ্টিমাইজেশন বিবেচনা করে, যেমন বেশ কয়েকটি স্থানীয় মিনিমা রয়েছে এবং প্রতিটি ফাংশনের মান গণনা করতে যথেষ্ট সিপিইউ সময় নেয় যখন গ্লোবাল ন্যূনতম সন্ধানের সমস্যা। এই জাতীয় সমস্যাগুলি প্রায়শই শিল্প ও আর্থিক অ্যাপ্লিকেশনগুলিতে দেখা দেয়, যেখানে একটি ফাংশন মান একটি সময়সাপেক্ষ কম্পিউটার সিমুলেশন বা অপ্টিমাইজেশনের ফলাফল হতে পারে। ডেরাইভেটিভগুলি প্রায়শই পাওয়া শক্ত হয় এবং উপস্থাপিত অ্যালগরিদমগুলি এই জাতীয় তথ্যের কোনও ব্যবহার করে না।

— Mehrdad
সূত্র

2

লিঙ্কযুক্ত কাগজপত্র এবং অন্যান্য সংস্থানগুলির জন্য সম্পূর্ণ উদ্ধৃতি সম্পর্কিত তথ্য অন্তর্ভুক্ত করুন। আমরা তথ্যের একটি টেকসই সংগ্রহশালা তৈরি করতে চাই এবং লিঙ্কগুলি সময়ের সাথে সাথে খারাপ হতে থাকে।

— মনিকা পুনরায়

জর্জম্যান, এম। ও হল্মস্ট্রোম, কে। "রেডিয়াল বেসিস ফাংশন ব্যবহার করে ব্যয়বহুল ননকনভেক্স ফাংশনের গ্লোবাল অপ্টিমাইজেশন"। অপ্টিমাইজেশন এবং ইঞ্জিনিয়ারিং (2000) 1: 373. doi: 10.1023 / এ: 1011584207202

— জেকেদেব

4

তুমি একা নও.

ইঞ্জিনিয়ারিংয়ে ব্যয়বহুল থেকে মূল্যায়ন করার সিস্টেমগুলি খুব সাধারণ, যেমন সসীম উপাদান পদ্ধতি (এফইএম) মডেল এবং গণনীয় তরল ডায়নামিক্স (সিএফডি) মডেল। এই গুণাগুণ ব্যয়বহুল মডেলগুলির অপ্টিমাইজেশন খুব প্রয়োজন এবং চ্যালেঞ্জ, কারণ বিবর্তনমূলক অ্যালগরিদমগুলি প্রায়শই সমস্যার মূল্যায়ন কয়েক দশক প্রয়োজন যা ব্যয়বহুল থেকে মূল্যায়নের সমস্যার বিকল্প নয়। ভাগ্যক্রমে, এই সমস্যাটি সমাধান করার জন্য প্রচুর পদ্ধতি (অ্যালগোরিদম) উপলব্ধ। আমি যতদূর জানি, তাদের বেশিরভাগই সারোগেট মডেল (মেটোমোডেলস) এর উপর নির্ভরশীল। কিছু নীচে তালিকাভুক্ত করা হয়।

দক্ষ গ্লোবাল অপটিমাইজেশন (ইজিও) [1]। ইজিও অ্যালগরিদম উপরে উল্লিখিত হয়েছে এবং এটি সবচেয়ে বিখ্যাত সারোগেট-ভিত্তিক অপ্টিমাইজেশন অ্যালগরিদম হতে পারে। এটি ক্রিগিং মডেল এবং প্রত্যাশিত উন্নতি ফাংশন (ইআই) নামে পরিচিত একটি ইনফিল মানদণ্ডের উপর ভিত্তি করে। ইজিও অ্যালগরিদম সহ আর প্যাকেজগুলি হ'ল ডাইসঅপটিম এবং ডাইসক্রিগিং।
মোড-ফলোয়িং স্যাম্পলিং (এমপিএস) পদ্ধতি [২]। এমপিএস অ্যালগরিদম আরবিএফ মডেলের উপর নির্মিত এবং প্রার্থী পয়েন্টগুলি বাছাইয়ের জন্য একটি অভিযোজিত নমুনা কৌশল ব্যবহার করা হয়। ম্যাটল্যাব কোডটি http://www.sfu.ca/~gwa5/software.html এ লেখকগণ দ্বারা প্রকাশিত । এমপিএস অ্যালগরিদমের সর্বোত্তম পেতে আরও মূল্যায়নের প্রয়োজন হতে পারে তবে আমার ব্যক্তিগত অভিজ্ঞতা থেকে ইজিও অ্যালগরিদমের চেয়ে আরও জটিল প্রবাদগুলি পরিচালনা করতে পারে।
জুলিয়ান মুলার দ্বারা সুরক্ষিত মডেলগুলি এনসেম্বল []]। তিনি অনুসন্ধানের দক্ষতা বাড়াতে একাধিক সারোগেট ব্যবহার করেছেন। ম্যাটল্যাব টুলবক্স এমএটিএসএমওটো https://github.com/Piiloblondie/MATSuMoTo এ উপলব্ধ ।

সংক্ষেপে, এই সারোগেট-ভিত্তিক অপ্টিমাইজেশন অ্যালগরিদম যতটা সম্ভব কম মূল্যায়ন ব্যবহার করে সমস্যার গ্লোবাল সর্বোত্তম আবিষ্কার করার চেষ্টা করে। সার্গেট (সারোগেটস) যে তথ্য সরবরাহ করে তার সম্পূর্ণ ব্যবহার করে এটি অর্জন করা হয়। গুণগত ব্যয়বহুল সমস্যার অপ্টিমাইজেশন সম্পর্কিত পর্যালোচনাগুলি [4-6] এ রয়েছে -6

রেফারেন্স:

ডিআর জোনস, এম। শোনলাউ এবং ডব্লিউ জে ওয়েলচ, "ব্যয়বহুল ব্ল্যাক-বক্স ফাংশনের দক্ষ গ্লোবাল অপ্টিমাইজেশন," জার্নাল অফ গ্লোবাল অপটিমাইজেশন, খন্ড। 13, পিপি 455-492, 1998।
এল। ওয়াং, এস শান এবং জিজি ওয়াং, "ব্যয়বহুল ব্ল্যাক-বাক্স ফাংশনগুলিতে বিশ্বব্যাপী অপ্টিমাইজেশনের জন্য মোড-অনুসরণকারী স্যাম্পলিং পদ্ধতি," ইঞ্জিনিয়ারিং অপটিমাইজেশন, খণ্ড। 36, পৃষ্ঠা 419-438, 2004।
জে মুলার, "কমপিটেশনালি ব্যয়বহুল ব্ল্যাক-বক্স গ্লোবাল অপটিমাইজেশন সমস্যার জন্য সারোগেট মডেল অ্যালগরিদম," ট্যাম্পের ইউনিভার্সিটি অফ টেকনোলজি, ২০১২।
জিজি ওয়াং এবং এস শান, "ইঞ্জিনিয়ারিং ডিজাইনের অপ্টিমাইজেশনের সমর্থনে রূপান্তর কৌশলগুলির পর্যালোচনা," মেকানিকাল ডিজাইনের জার্নাল, খণ্ড। 129, পিপি 370-380, 2007।
এআই ফররেস্টার এবং এজে কেন, "সার্গেট-ভিত্তিক অপ্টিমাইজেশনে সাম্প্রতিক অগ্রগতি," এয়ারস্পেস সায়েন্সেসের অগ্রগতি, খণ্ড vol 45, পিপি 50-79, 2009।
এফএসি ভায়ানা, টিডাব্লু সিম্পসন, ভি। বালাবানভ এবং ভি। টোরোপভ, "মাল্টিডিসিপ্লিনারি ডিজাইনের অপ্টিমাইজেশনে রূপান্তর: আমরা কতটা সত্যি এসেছি ?," এআইএএ জার্নাল, খণ্ড। 52, পিপি 670-690, 2014/04/01 2014।

— ঝান দাওয়ে
সূত্র

3

অতীতে আমি দুটি সফল কৌশল সফলভাবে ব্যবহার করেছি:

যদি সম্ভব হয় তবে আপনার সম্পূর্ণ ব্যয়ের ফাংশন মূল্যায়নের প্রায় কাছাকাছি করে একটি সরল সার্গেট ফাংশন সন্ধান করার চেষ্টা করুন - সিমুলেশন প্রতিস্থাপনের বিশ্লেষণাত্মক মডেলটি আদর্শ। এই সহজ ফাংশনটি অনুকূলিত করুন। তারপরে আপনার সঠিক ব্যয় কার্যকারিতা সহ ফলাফলটি কার্যকর করুন এবং সূক্ষ্ম টিউন করুন।
যদি সম্ভব হয় তবে সঠিক "ডেল্টা-কস্ট" ফাংশনটি মূল্যায়নের জন্য কোনও উপায় অনুসন্ধান করার চেষ্টা করুন - ঠিক গ্রেডিয়েন্টটি ব্যবহার করা থেকে সান্নিধ্য হিসাবে বিপরীতে। এটি হল, প্রাথমিক 15-মাত্রিক বিন্দু থেকে যার জন্য আপনি সম্পূর্ণ ব্যয় মূল্যায়ন করেছেন, আপনার বর্তমান পয়েন্টের 15 টি উপাদানের একটিতে (বা বেশ কয়েকটি) একটি ছোট পরিবর্তন করে কীভাবে ব্যয়টি পরিবর্তিত হবে তা আবিষ্কার করার একটি উপায় আবিষ্কার করুন। আপনার কোনও বিশেষ ক্ষেত্রে যদি আপনার কোনও ক্ষুদ্র কৌতূহলের স্থানীয়করণের বৈশিষ্ট্যগুলি কাজে লাগানো প্রয়োজন এবং আপনাকে সম্ভবত পথে একটি অভ্যন্তরীণ রাষ্ট্র পরিবর্তনশীল সংজ্ঞা, ক্যাশে এবং আপডেট করতে হবে।

এই কৌশলগুলি খুব কেস নির্দিষ্ট, আমি জানি না যে সেগুলি আপনার ক্ষেত্রে প্রযোজ্য হবে কি না, দুঃখিত না থাকলে তা না করে। উভয়ই প্রযোজ্য হতে পারে (এটি আমার ব্যবহারের ক্ষেত্রে যেমন ছিল): একটি সহজ বিশ্লেষণাত্মক মডেলটিতে "ডেল্টা-কস্ট" কৌশল প্রয়োগ করুন - বেশ কয়েকটি আদেশের ক্রিয়াকলাপের উন্নতি হতে পারে।

আরেকটি কৌশলটি হ'ল দ্বিতীয় আদেশ পদ্ধতিটি ব্যবহার করা যা সাধারণত পুনরাবৃত্তির সংখ্যা হ্রাস করতে পারে (তবে প্রতিটি পুনরাবৃত্তি আরও জটিল) - যেমন লেভেনবার্গ – মার্কোয়ার্ড অ্যালগরিদম । তবে বিবেচনা করে আপনার কাছে গ্রেডিয়েন্টকে প্রত্যক্ষ ও দক্ষতার সাথে মূল্যায়নের কোনও উপায় বলে মনে হয় না, সম্ভবত এই ক্ষেত্রে এটি কার্যকর একটি বিকল্প নয়।

— প্যাট্রিক
সূত্র

3

অন্যান্য লোকেরা যেমন উল্লেখ করেছেন, একটি সারোগেট মডেল (এটি প্রতিক্রিয়া পৃষ্ঠও বলা হয়) একটি শক্তিশালী পদ্ধতি। আমার মতে, একটি গুরুত্বপূর্ণ বিষয় যা মানুষ ভুলে যায় তা হ'ল আপনি যদি মাল্টিকোর সিপিইউ ব্যবহার করেন তবে সমান্তরালে বেশ কয়েকটি ফাংশন মূল্যায়ন করতে পারেন ।

আমি এই কোডটি দেখার পরামর্শ দিচ্ছি , এটি সাধারণ প্রতিক্রিয়া মডেল ব্যবহার করে তবে মাল্টিকোর সিপিইউগুলিতে স্কেল করে, যা ব্যবহৃত কোরের পরিমাণের সমান একটি স্পিডআপ দেয়। পদ্ধতির পিছনে একটি গণিত এই কাগজে বর্ণিত হয়েছে ।

— পল
সূত্র

আমি ধরে নিলাম আপনি কাগজের প্রথম লেখক - আপনার সম্ভবত এটি উল্লেখ করা উচিত। কাগজে অত্যাধুনিক পদ্ধতি যেমন বায়েশিয়ান অপটিমাইজেশন বা অন্যান্য সরোগেট পদ্ধতিগুলির সাথে তুলনা নেই (আসলে এটি কোনও মানদণ্ড সরবরাহ করে না)। আপনি কি আরও কিছু বলতে পারেন?

— লেসারবি

আমি বলছি না যে সেখানে ব্যবহৃত মডেলটি আরও ভাল। আমি কেবল বলছি যে লোকেরা মডেলের মানের সম্পর্কে খুব উদ্বিগ্ন এবং কখনও কখনও সমান্তরালতা সম্পর্কে ভুলে যান যা অনেকগুলি কোর জড়িত থাকার সময় একটি বড় ব্যাপার হতে পারে ..

— পল

লিঙ্কযুক্ত কাগজপত্র এবং অন্যান্য সংস্থানগুলির জন্য সম্পূর্ণ উদ্ধৃতি সম্পর্কিত তথ্য অন্তর্ভুক্ত করুন। আমরা তথ্যের একটি টেকসই সংগ্রহশালা তৈরি করতে চাই এবং লিঙ্কগুলি সময়ের সাথে সাথে খারাপ হতে থাকে।

— মনিকা পুনরায়

2

সম্প্রদায়ের দ্বারা পরিভাষাটি কতটা পৃথক হয় তা আমি নিশ্চিত নই, তবে আমি সাধারণত এখানে "বহুভিত্তিক সার্োগেট মডেল" (সাধারণত একটি চতুষ্কোণ) এর প্রতিশব্দ হিসাবে ব্যবহৃত প্রতিক্রিয়া পৃষ্ঠ । সুতরাং আমি সারোগেট মডেলিংকে প্রতিক্রিয়া-পৃষ্ঠের মডেলিংয়ের সুপারসেট হিসাবে ভাবার প্রবণতা করি। (যদিও এটি ভুল হতে পারে))

— জিওম্যাটট 22

0

স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত অনেক কৌশল ব্যবহার করা হয় যা উদ্দেশ্যমূলক ফাংশন মূল্যায়নে প্রয়োগ করা যেতে পারে। সামগ্রিক ধারণা ডেটা একটি উপসেট ব্যবহার করে উদ্দেশ্য ফাংশন আনুমানিক চেষ্টা করার চেষ্টা করা হয় ।

এই দুটি পোস্টে আমার উত্তরগুলি আলোচনা করে যে স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত কেন কাজ করে: এর পিছনে স্বীকৃতি ডেটার একটি উপসেট ব্যবহার করে গ্রেডিয়েন্টের আনুমানিক হওয়া to

স্টকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত মান স্ট্র্যাডেন্ট ডিসেন্টের তুলনায় কীভাবে সময় বাঁচাতে পারে?

বড় ডেটা সেটিংয়ের জন্য সমান্তরাল / বিতরণ উপায়ে লিনিয়ার রিগ্রেশন কীভাবে চালানো যায়?

একই কৌশল কৌশলগত কার্যের জন্য প্রযোজ্য।

$\|Ax-b\|^2$ $A$ $A$ $b$

— হাইতাও ডু
সূত্র

অনুকূল কার্যকারিতা মূল্য নির্ধারণ করতে যখন ধীর গতি কমায়

টি এল; ডিআর

বায়েশিয়ান অপটিমাইজেশন

র্যান্ডম অনুসন্ধান

লিপো এবং এর রূপগুলি