উত্তর:
আপনি যখন গ্রেডিয়েন্টগুলি বিলুপ্ত বা গ্রেডিয়েন্ট বিস্ফোরিত হওয়ার সমস্যা পান তখন আপনি গ্রেডিয়েন্ট ক্লিপিং সম্পাদন করতে চান। যাইহোক, উভয় পরিস্থিতির জন্য, আরও ভাল সমাধান রয়েছে:
গ্রেডিয়েন্ট বিস্তৃত হয় যখন গ্রেডিয়েন্ট খুব বড় হয়ে যায় এবং আপনি সংখ্যার ওভারফ্লো হয়ে যান। নেটওয়ার্কের ওজনকে ছোট মানগুলিতে শুরু করে সহজেই এটি ঠিক করা যায়। যদি এটি কাজ না করে তবে সম্ভবত কোডটিতে একটি ত্রুটি রয়েছে।
অপরিবর্তনীয় গ্রেডিয়েন্ট ঘটে যখন অপ্টিমাইজেশন একটি স্যাডল পয়েন্টে আটকে যায়, অপ্টিমাইজেশনের অগ্রগতির জন্য গ্রেডিয়েন্ট খুব ছোট হয়ে যায়। এটি গতিবেগ বা আরএমএস প্রপ বা উভয় (অ্যাডাম অপ্টিমাইজার হিসাবে পরিচিত) দিয়ে গ্রেডিয়েন্ট বংশদ্ভুত ব্যবহার করে স্থির করা যেতে পারে।
গ্রেডিয়েন্ট ক্লিপিংয়ের উপরের সীমানার জন্য মানগুলি শুরু করা ভেরিয়েবলের গ্রহণযোগ্য বৃহত্তম সংখ্যার চেয়ে কিছু ছোট হবে। নিম্ন সীমাবদ্ধতার জন্য, আমি বলব এটি সমস্যা নির্দিষ্ট তবে সম্ভবত 1e-10 এর মতো কিছু দিয়ে শুরু করুন।