আমি কিছুক্ষণের জন্য নিউরাল নেটওয়ার্ক ব্যবহার করে আসছি। তবে, একটি বিষয় যা আমি ক্রমাগত লড়াই করে তা হ'ল নেটওয়ার্ক প্রশিক্ষণের জন্য একটি অপ্টিমাইজার নির্বাচন করা (ব্যাকপ্রপ ব্যবহার করে)। আমি সাধারণত যা করি তা হ'ল একটি (যেমন স্ট্যান্ডার্ড এসজিডি) দিয়ে শুরু করা এবং তারপরে অন্যকে অন্যরকম চেষ্টা করুন try আমি ভাবছিলাম একটি ভাল অপ্টিমাইজার সন্ধানের জন্য আরও ভাল (এবং কম এলোমেলো) উপায় আছে কিনা, যেমন এই তালিকা থেকে:
- এসজিডি (গতির সাথে বা ছাড়াই)
- AdaDelta
- AdaGrad
- RMSProp
- আদম
বিশেষত, আমি আগ্রহী যদি ট্রেনিং ডেটার কিছু সম্পত্তি থাকে যেমন একে অপরের উপর তুলে ধরার জন্য কিছু তাত্ত্বিক ন্যায়সঙ্গততা থাকে তবে এটি খুব কমই থাকে। আমি আরও কল্পনা করব যে কিছু অপ্টিমাইজার নির্দিষ্ট ডোমেইনের ক্ষেত্রে অন্যদের চেয়ে ভাল কাজ করে, যেমন যখন কনভোলশনাল নেটওয়ার্ক বনাম ফিড-ফরোয়ার্ড নেটওয়ার্কগুলি বা শ্রেণিবিন্যাস বনাম রিগ্রেশন প্রশিক্ষণ দেওয়া হয়।
আপনি যদি অপ্টিমাইজারগুলি কীভাবে বেছে নেন সে সম্পর্কে যদি আপনার কোনও কৌশল এবং / বা স্বজ্ঞাততা বিকাশ করে থাকে তবে আমি এটি শুনতে আগ্রহী। তদ্ব্যতীত, যদি এমন কিছু কাজ থাকে যা একে অপরের উপরে বাছাইয়ের জন্য তাত্ত্বিক ন্যায়সঙ্গততা সরবরাহ করে তবে এটি আরও ভাল।