5
নিউরাল নেটওয়ার্কগুলিতে "ডাইং রিলু" সমস্যাটি কী?
ভিজ্যুয়াল স্বীকৃতির জন্য কনভলিউশনাল নিউরাল নেটওয়ার্কগুলিতে স্ট্যানফোর্ড কোর্সের নোটগুলি উল্লেখ করে একটি অনুচ্ছেদ বলে: "দুর্ভাগ্যক্রমে, প্রশিক্ষণ চলাকালীন রিলু ইউনিটগুলি ভঙ্গুর হতে পারে এবং" মরা "হতে পারে For উদাহরণস্বরূপ, আরএলইউ নিউরনের মধ্য দিয়ে প্রবাহিত একটি বৃহত্তর গ্রেডিয়েন্ট ওজনকে এমনভাবে আপডেট করতে পারে যে নিউরনটি আর কোনও ডেটাপয়েন্টে আবার সক্রিয় না হয় …