ডিপ লার্নিংয়ের হাইপারপ্যারামিটারগুলি নির্বাচন করার জন্য গাইডলাইন

Question

আমি এমন একটি কাগজ সন্ধান করছি যা একটি গভীর আর্কিটেকচারের হাইপারপ্যারামিটারগুলি কীভাবে স্ট্যাকড অটো-এনকোডার বা গভীর বিশ্বাস নেটওয়ার্কগুলির মতো চয়ন করতে পারে তার গাইডলাইন দেওয়ার ক্ষেত্রে সহায়তা করতে পারে। প্রচুর হাইপারপ্যারামিটার রয়েছে এবং সেগুলি কীভাবে চয়ন করা যায় সে সম্পর্কে আমি খুব বিভ্রান্ত। এছাড়াও ক্রস-বৈধতা ব্যবহার করা কোনও বিকল্প নয় কারণ প্রশিক্ষণটিতে সত্যই অনেক সময় লাগে!

Comments

আমি ইয়ান গুডফেলোর

— ভাদিম স্মোল্যাভভ

Answer 1

মূলত চারটি পদ্ধতি রয়েছে:

1. ম্যানুয়াল অনুসন্ধান: সমস্যা সম্পর্কে আপনার জ্ঞান ব্যবহার করে প্যারামিটারগুলি অনুমান করুন এবং ফলাফলটি পর্যবেক্ষণ করুন। ফলাফলের উপর ভিত্তি করে প্যারামিটারগুলি টুইঙ্ক করে। যতক্ষণ না আপনার প্যারামিটারগুলি ভালভাবে কাজ করে বা আপনার সময়সীমা শেষ না হয় ততক্ষণ এই প্রক্রিয়াটি পুনরাবৃত্তি করুন।
2. গ্রিড অনুসন্ধান: সমস্যা সম্পর্কে আপনার জ্ঞান ব্যবহার করে হাইপারপ্যারামিটারগুলির ব্যাপ্তিগুলি চিহ্নিত করুন। তারপরে এই রেঞ্জগুলি থেকে বেশ কয়েকটি পয়েন্ট নির্বাচন করুন, সাধারণত অভিন্নভাবে বিতরণ করা হয়। প্রতিটি প্যারামিটারের সংমিশ্রণ ব্যবহার করে আপনার নেটওয়ার্ককে প্রশিক্ষণ দিন এবং সর্বোত্তম পারফর্মেন্স সংমিশ্রণটি নির্বাচন করুন। বিকল্পভাবে আপনি আরও কার্যকর পরামিতিগুলির চারপাশে আরও সংকীর্ণ ডোমেনে আপনার অনুসন্ধানের পুনরাবৃত্তি করতে পারেন।
3. এলোমেলো অনুসন্ধান: গ্রিড অনুসন্ধানের মতো হাইপারপ্যারামিটারগুলির ব্যাপ্তি সনাক্ত করতে আপনি সমস্যার জ্ঞান ব্যবহার করেন। তবে এই পদ্ধতিগুলি থেকে পদ্ধতিগত পদ্ধতিতে মানগুলি বাছাই করার পরিবর্তে এগুলি এলোমেলোভাবে নির্বাচন করুন। যতক্ষণ না আপনি ভালভাবে কাজ করে এমন পরামিতিগুলি খুঁজে পান বা আপনার অনুসন্ধানকে সংকীর্ণ করতে আপনি যা শিখেন তা ব্যবহার না করা পর্যন্ত এই প্রক্রিয়াটি পুনরাবৃত্তি করুন। হাইপার-প্যারামিটার অপটিমাইজেশনের জন্য র্যান্ডম সন্ধানের কাগজে ড। বেঞ্জিও প্রস্তাব করেছেন এটি এমন বেসলাইন পদ্ধতি যার বিরুদ্ধে অন্যান্য সমস্ত পদ্ধতির তুলনা করা উচিত এবং এটি দেখায় যে এটি অন্যান্য পদ্ধতির তুলনায় আরও ভাল কাজ করে।
4. বয়েসিয়ান অপটিমাইজেশন: পরবর্তী পরীক্ষার জন্য হাইপার প্যারামিটারগুলি কীভাবে সামঞ্জস্য করা যায় তা স্থির করার জন্য কোনও সামান্য পরীক্ষা-নিরীক্ষা করে প্রাপ্ত তথ্য ব্যবহার করে আরও সাম্প্রতিক কাজগুলি এই অন্যান্য পদ্ধতির উন্নতির দিকে মনোনিবেশ করেছে। এই কাজের উদাহরণ হ'ল অ্যাডামস এট আল দ্বারা মেশিন লার্নিং অ্যালগরিদমগুলির ব্যবহারিক বায়েসিয়ান অপটিমাইজেশন ।

Answer 2

বিভিন্ন ধরণের পদ্ধতি বিদ্যমান। এগুলিকে মূলত এলোমেলো / পুনর্নির্দেশিত অনুসন্ধান পদ্ধতি (গ্রিড অনুসন্ধান বা এলোমেলো অনুসন্ধানের মতো) এবং সরাসরি পদ্ধতিগুলিতে বিভাজন করা যেতে পারে। আপনারা ভাগ্যবান না হন তবে তাদের সবার জন্য যথেষ্ট পরিমাণে হাইপারপ্রেমিটার সেটিংস পরীক্ষা করা প্রয়োজন (কমপক্ষে শত শত, পরামিতির সংখ্যার উপর নির্ভর করে) Be

সরাসরি পদ্ধতির শ্রেণিতে বিভিন্ন স্বতন্ত্র পন্থাগুলি চিহ্নিত করা যায়:

• ডেরাইভেটিভ ফ্রি পদ্ধতি, উদাহরণস্বরূপ নেল্ডার-মাড সিমপ্লেক্স বা ডাইরেক্ট
• বিবর্তন পদ্ধতি, যেমন সিএমএ-ইএস এবং কণা জলাবদ্ধতা
• মডেল ভিত্তিক পন্থা, যেমন ইজিও এবং ক্রমিক ক্রিগিং

আপনি অপ্টিনিটি , একটি পাইথন প্যাকেজটি দেখতে চাইতে পারেন যা হাইপারপ্যারামিটার টিউনিংয়ের জন্য বিভিন্ন ধরণের সল্ভার অফার করে ( আপাতত ইজিও এবং ক্রিগিং বাদে আমি যা কিছু উল্লেখ করেছি)। অপ্টিনিউশন শীঘ্রই ম্যাটল্যাব এবং আর এর জন্য উপলব্ধ হবে। দাবি অস্বীকার: আমি এই প্যাকেজটির প্রধান বিকাশকারী।

আমার ব্যক্তিগত অভিজ্ঞতার ভিত্তিতে, বিবর্তনীয় পদ্ধতিগুলি এই ধরণের সমস্যার জন্য খুব শক্তিশালী।

Answer 3

সামনে তাকিও না! যোশুয়া বেনজিও আমার পছন্দের প্রয়োগকৃত একটি কাগজপত্র প্রকাশ করেছেন, একটি যেটি আমি সমস্ত নতুন মেশিন লার্নিং ইঞ্জিনিয়ারদের স্নায়ু জাল প্রশিক্ষণ শুরু করার সময় সুপারিশ করি : গভীর আর্কিটেকচারের গ্রেডিয়েন্ট-ভিত্তিক প্রশিক্ষণের জন্য ব্যবহারিক প্রস্তাবনা। হাইপারপ্যারামিটার টার্নিং সম্পর্কে তার দৃষ্টিভঙ্গি পেতে: শিখার হার, শেখার হারের শিডিয়ুল, প্রারম্ভিক স্টপিং, মিনিব্যাচের আকার, লুকানো স্তরের সংখ্যা ইত্যাদি সহ, বিভাগ 3 দেখুন।