উত্তর:
আপনি বেশিরভাগই সঠিক! গ্রেডিয়েন্ট নিখোঁজ হওয়ার সাথে রিলুতে সমস্যা আছে তবে কেবল একদিকে, তাই আমরা একে অন্য কিছু বলি: 'ডাইং রিলু সমস্যা'। আরও তথ্যের জন্য এই স্ট্যাক ওভারফ্লো প্রতিক্রিয়াটি দেখুন: নিউরাল নেটওয়ার্কগুলিতে "ডাইং রিলু" সমস্যাটি কী?
এটি একটি ছোট শব্দার্থক পার্থক্য। প্রচুর ফাংশন (তান এবং লজিস্টিক / সিগময়েড) যখন আপনি স্ট্যান্ডার্ড অপারেটিং সীমার বাইরে থাকেন তখন ডেরিভেটিভগুলি শূন্যের খুব কাছাকাছি থাকে। এটি 'বিলুপ্ত গ্রেডিয়েন্ট' ইস্যু। আপনি যত খারাপ হন, ভাল জোনে ফিরে আসা ততই শক্ত। আপনি যে দিক থেকে ইতিবাচক দিকে এগিয়ে যাচ্ছেন তেমনই রিলু খারাপ হয় না , সুতরাং কোনও বিলুপ্ত গ্রেডিয়েন্ট সমস্যা নেই (সেই দিকে)। এই অসম্পূর্ণতা এটিকে ভিন্ন কিছু বলার ন্যায়সঙ্গত করার পক্ষে যথেষ্ট হতে পারে তবে ধারণাগুলি বেশ একই রকম।
অদৃশ্য হওয়ার অর্থ এটি 0 এর দিকে যায় তবে আসলে কখনই 0 হয় না 0 0 গ্রেডিয়েন্ট থাকা খুব সহজ গণনার জন্য তৈরি করে 0 গ্রেডিয়েন্ট থাকা মানে কিছু পরিবর্তন রয়েছে যার অর্থ ধীরে ধীরে শেখা এবং সংখ্যাগত সমস্যা issues 1 এবং 0 হ'ল এই ধরণের অপটিমাইজেশনের সমস্যায় গণনা করা সবচেয়ে সহজ দুটি নম্বর।