হাইপার প্যারামিটার টিউনিং: বয়েশিয়ান অপ্টিমাইজেশন বনাম এলোমেলো অনুসন্ধান search


14

সুতরাং, আমরা জানি যে গ্রিড অনুসন্ধানের চেয়ে এলোমেলো অনুসন্ধানগুলি আরও ভাল কাজ করে, তবে একটি সাম্প্রতিক পদ্ধতির ব্যয়েসিয়ান অপ্টিমাইজেশন (গাউসিয়ান প্রক্রিয়াগুলি ব্যবহার করে)। আমি উভয়ের মধ্যে একটি তুলনা সন্ধান করেছি, এবং কিছুই পাইনি। আমি জানি যে স্ট্যানফোর্ডের সিএস 231n এ তারা কেবল এলোমেলো অনুসন্ধানের কথা উল্লেখ করেছে, তবে সম্ভবত তারা জিনিসগুলি সহজ রাখতে চেয়েছিল।

আমার প্রশ্নটি: কোন পদ্ধতিরটি সাধারণত ভাল, এবং যদি উত্তরটি "কখনও কখনও এলোমেলো অনুসন্ধান, কখনও কখনও বায়েশিয়ান" হয় তবে আমি কখন অন্য পদ্ধতির চেয়ে কোনও পদ্ধতির পছন্দ করব?


2
গুগল এখন তাদের গভীর শেখার ক্লাউড পরিষেবাদি বিক্রি করছে এবং এমন একটি বৈশিষ্ট্য ঠেলে দিচ্ছে যা বায়েশিয়ান অপ্টিমাইজেশানের সাথে স্বয়ংক্রিয়ভাবে আপনার হাইপারপ্যারামিটারগুলিকে সুর দেয় ... অবশ্যই দাবি করছে যে এটি সবচেয়ে ভাল করে এবং দ্রুততর (হাইপারস্পেসকে আরও দক্ষতার সাথে অনুসন্ধান করা) searching সেখানে বেশ কয়েকটি কাগজপত্র রয়েছে যা বিও বনাম আরএসের মূল্যায়ন করে পাশাপাশি বিওকে কিছুটা আরও ভাল করে দেখায়। আইএমও আমি যা দেখেছি তার থেকে ভিন্নতা হ'ল বাস্তব জীবনের চেয়ে কেগল প্রতিযোগিতায় আপনি বেশি যত্ন নিতে চান।
জেপিজে

উত্তর:


9

আমি মনে করি যে এখানে উত্তরটি বিজ্ঞানের সমস্ত জায়গার মতো একই: এটি ডেটার উপর নির্ভর করে :-)

এটি ঘটতে পারে যে একটি পদ্ধতি অন্যটিকে ছাড়িয়ে যায় (এখানে https://arimo.com/data-s ज्ञान/2016/bayesian-optimization-hyperparameter-tuning/ লোকেরা বাইয়েশিয়ার হাইপারপ্রেমিটার অপ্টিমাইজেশানের তুলনা করে এবং সান ফ্রান্সিসকো অপরাধের ক্যাগল চ্যালেঞ্জের চেয়ে আরও ভাল ফলাফল অর্জন করে) এলোমেলো অনুসন্ধান সহ) তবে আমি সন্দেহ করি যে এর জন্য একটি সাধারণ নিয়ম রয়েছে। আপনি এখানে একটি সুন্দর জিআইএফ দেখতে পারেন ( http://blog.revolutionanalytics.com/2016/06/bayesian-optimization-of-machine-learning-models.html ) যেখানে লোকেরা 'পথ' দেখায় যা বেয়েসিয়ান অপ্টিমাইজেশান ল্যান্ডস্কেপটিতে নেয় হাইপারপ্যারামিটারগুলির, বিশেষত, এটি মনে হয় না যে এটি সাধারণভাবে এলোমেলো অনুসন্ধানকে ছাড়িয়ে যায় ...

আমি মনে করি যে লোকেরা বায়সিয়ান হাইপারপ্যারামিটার অপ্টিমাইজেশন ব্যবহার করার ঝোঁক রাখে তা হ'ল পর্যাপ্ত পরিমাণে পরীক্ষার সাথে এলোমেলো অনুসন্ধানের তুলনায় তুলনামূলক ফলাফল অর্জনের জন্য এটি কেবলমাত্র কম প্রশিক্ষণের পদক্ষেপ গ্রহণ করে।

একটি বাক্যে সংক্ষিপ্তসার:

* প্রশিক্ষণের সময় যখন সমালোচনামূলক হয় তখন বেইসিয়ান হাইপারপ্যারামিটার অপ্টিমাইজেশন ব্যবহার করুন এবং যদি সময় কোনও সমস্যা না হয় তবে উভয়ের মধ্যে একটি নির্বাচন করুন ... *

সাধারণত আমি গাউসিয়ান প্রক্রিয়াগুলির সাথে বয়েশিয়ান স্টাফগুলি বাস্তবায়িত করতে খুব অলস হয়ে পড়ে যদি আমি এলোমেলো অনুসন্ধানের মাধ্যমে একই ফলাফল অর্জন করতে পারি ... আমি কেবল গ্রেডিয়েন্ট বোস্টিংয়ের এনসেমবেলগুলিকে 'কয়েকটি' ডেটাতে প্রশিক্ষণ দিই, তাই আমার পক্ষে সময় কোনও সমস্যা নয় ...


5

বায়েশিয়ান অপ্টিমাইজেশন আরও ভাল, কারণ এটি স্মার্ট সিদ্ধান্ত নেয়। আরও জানতে আপনি এই নিবন্ধটি পরীক্ষা করতে পারেন: নিউরাল নেটওয়ার্কগুলির জন্য হাইপারপ্যারামিটার অপ্টিমাইজেশন । এই নিবন্ধগুলিতে উভয় পদ্ধতিতে গ্রিড অনুসন্ধান এবং বৃক্ষ-কাঠামোগত পারজেন অনুমানকারীগুলির মতো কিছু অতিরিক্ত কৌশলগুলির পক্ষে উপকারিতা এবং বুদ্ধি সম্পর্কে তথ্য রয়েছে। যদিও এটি নিউরাল নেটওয়ার্কগুলির জন্য বিভিন্ন পদ্ধতির উপকারিতা এবং বিপরীতে দেখানোর জন্য লিখিত হয়েছিল তবে অন্য কোনও মেশিন লার্নিং ডোমেনগুলির জন্য মূল জ্ঞানটি সাধারণকরণযোগ্য


1
আমি শুধু থেকে দেখান যে আপনার প্রথম বাক্যে কেন Bayesian অপ্টিমাইজেশান উত্তম জন্য প্রকৃত কারণ সিদ্ধান্ত হচ্ছে নয় চেয়েছিলেন দক্ষতা সহকারে , এটি সম্পর্কে সিদ্ধান্ত হচ্ছে এ সব তৈরি
আলেকজান্ডার রোসা

1

লক্ষণীয় বিষয়, বায়েসিয়ান হাইপারপ্যারামিটার অপ্টিমাইজেশন একটি অনুক্রমিক প্রক্রিয়া, সুতরাং এটি অনুসন্ধান করতে সক্ষম বা সমান্তরালে পরিচালিত হতে পারে এমন কিছু অন্যান্য পদ্ধতির চেয়ে বেশি সময় নিতে পারে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.