ডেড রিলু নিউরনগুলির জন্য কীভাবে চেক করবেন


10

পটভূমি: রিলু অ্যাক্টিভেশন সহ স্নায়বিক নেটওয়ার্কগুলি ফিট করার সময়, আমি দেখতে পেলাম যে কখনও কখনও পূর্বাভাস ধ্রুবকের কাছাকাছি হয়ে যায়। আমি বিশ্বাস করি যে এখানে যেমন বলা হয়েছে প্রশিক্ষণের সময় মারা যাওয়া রিলু নিউরনগুলির কারণে এটি ঘটে। ( নিউরাল নেটওয়ার্কগুলিতে "ডাইং আরএলইউ" সমস্যাটি কী? )

প্রশ্ন: আমি যা করতে চাইছি তা হ'ল নিউরনগুলি মারা গেছে কিনা তা পরীক্ষা করার জন্য কোডটিতে নিজেই একটি চেক প্রয়োগ করা। এর পরে, কোডটি প্রয়োজনে নেটওয়ার্কটিকে রিফিট করতে পারে।

যেমন, মৃত নিউরনগুলি পরীক্ষা করার জন্য ভাল সিটিরিয়া কী? বর্তমানে আমি সিটিরিয়া হিসাবে ভবিষ্যদ্বাণীতে কম বৈকল্পিকের জন্য পরীক্ষা করার কথা ভাবছি।

যদি এটি সাহায্য করে তবে আমি কেরাস ব্যবহার করছি।


একটি যোগ করুন সারসংক্ষেপ : tensorboard মধ্যে গোঁড়ামির জন্য tensorflow.org/get_started/summaries_and_tensorboard
Emre

উত্তর:


6

একটি মৃত রিলু ঠিক এর অর্থ এটির যুক্তিটির মানটি নেতিবাচক যে গ্রেডিয়েন্ট 0 এ থাকে; আপনি যে বিন্দু থেকে এটি প্রশিক্ষণ কোন ব্যাপার। কোনও রিলু মারা গেছে কি না তা দেখার জন্য প্রশিক্ষণের সময় আপনি কেবল গ্রেডিয়েন্টটি দেখতে পারেন।

অনুশীলনে আপনি সহজেই ফাঁস হওয়া রিলু ব্যবহার করতে চাইতে পারেন, যেমন f (x) = সর্বাধিক (0, x) এর পরিবর্তে আপনি f (x) = x সেট করে x> 0 এবং f (x) = 0.01x যদি x <= 0 এই ভাবে আপনি সর্বদা একটি ছোট অ-শূন্য গ্রেডিয়েন্টকে অনুমতি দিন এবং ইউনিটটিকে আর প্রশিক্ষণে পুরোপুরি আটকে দেওয়া উচিত নয়।


1

একটি মৃত নিউরন একটি নিউরন যা প্রশিক্ষণের সময় আপডেট হয় না, যেমন ie 0 গ্রেডিয়েন্ট।

কেরাস ডেটা প্রদত্ত সারির জন্য সরাসরি গ্রেডিয়েন্ট নিষ্কাশন করার অনুমতি দেয় । (আর একটি চমৎকার উদাহরণ)

অথবা আপনি নিউরন
ওজনগুলি আহরণ করতে পারেন এবং নিজেই গ্রেডিয়েন্ট গণনা করতে পারেন (যেমন, রেলুর জন্য, রিলুতে নেতিবাচক যুক্তি -> 0 গ্রেডিয়েন্ট।)

দুর্ভাগ্যক্রমে, গ্রেডিয়েন্টটি ডেটা পয়েন্ট নির্দিষ্ট specific প্রশিক্ষণের ডেটাগুলির প্রতিটি সারিটির জন্য গ্রেডিয়েন্ট 0 হলেই আপনি নিশ্চিত হতে পারেন যে কোনও প্রশিক্ষণ পর্বের সময় নিউরন সমস্ত মিনিবেচের জন্য আপডেট করবেন না।

ফাঁস রেইউ একটি কার্যকর কৌশল হতে পারে যেহেতু গ্রেইটিভ 0 সমান যেখানে ফাঁসী রেপুর কোনও মূল্য নেই।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.