ব্যাকপ্রোপেজেশন অ্যালগরিদমকে গতিবেগের সাথে ব্যবহার করে নিউরাল নেটওয়ার্কের ওজনগুলি আপডেট করার সময়, শেখার হারটিও গতিবেগের মেয়াদে প্রয়োগ করা উচিত?
গতিবেগ ব্যবহার সম্পর্কে আমি যে বেশিরভাগ তথ্য সন্ধান করতে পারি তার মধ্যে সমীকরণগুলি দেখতে এরকম কিছু দেখায়:
যেখানে হচ্ছে শিক্ষার হার এবং হচ্ছে গতিময় শব্দ।
যদি শব্দটি শব্দটির চেয়ে বড় হয় তবে পরবর্তী পুনরাবৃত্তিতে পূর্ববর্তী পুনরাবৃত্তির থেকে বর্তমানের তুলনায় ওজনের উপর আরও বেশি প্রভাব ফেলবে।
এটি কি গতিময় মেয়াদের উদ্দেশ্য? বা সমীকরণটি আরও দেখতে এইরকম হওয়া উচিত?
অর্থাত। শেখার হার দিয়ে সবকিছু স্কেলিং?