1
আমরা কেন তখনকার অন্যান্য নিউরাল নেটওয়ার্কগুলির জন্য গ্রেডিয়েন্ট শালীনতার জন্য অ ধ্রুবক শিক্ষার হারগুলি ব্যবহার করি না?
গভীর শেখার সাহিত্য গ্রেডিয়েন্ট বংশোদ্ভূত অ-ধ্রুবক শিক্ষার হার ব্যবহার করে চতুর কৌশল দ্বারা পূর্ণ। ক্ষতিকারক ক্ষয়, আরএমএসপ্রপ, অ্যাডাগ্রাড ইত্যাদির মতো বিষয়গুলি কার্যকর করা সহজ এবং প্রতিটি গভীর শেখার প্যাকেজে পাওয়া যায়, তবুও এগুলি নিউরাল নেটওয়ার্কগুলির বাইরে অস্তিত্বহীন বলে মনে হয়। এটির জন্যে কোন কারণ আছে কি? যদি এটি হয় যে …