এখানে উত্তরটি বিলুপ্ত হওয়া এবং বিস্ফোরিত গ্রেডিয়েন্টকে বোঝায় যেগুলি অ- sigmoidসক্রিয় ক্রিয়াকলাপে ছিল তবে আমার ধারণা, Reluএর একটি অসুবিধা রয়েছে এবং এটি তার প্রত্যাশিত মান। আউটপুটটির জন্য কোনও সীমাবদ্ধতা নেই Reluএবং সুতরাং এর প্রত্যাশিত মানটি শূন্য নয়। আমি সময় মনে রাখবেন সামনে জনপ্রিয়তা Reluযে tanhসবচেয়ে জনপ্রিয় ছিল মধ্যে মেশিন বিশেষজ্ঞদের শেখার বদলে sigmoid। কারণটি ছিল যে এর প্রত্যাশিত মানটি tanhশূন্যের সমান এবং এটি নিউরাল জালে আরও গভীর হতে গভীর স্তরগুলিতে শিখতে সহায়তা করে। Reluএর বৈশিষ্ট্যটি নেই, তবে আমরা যদি এর ব্যয়কর সুবিধাটি একপাশে রাখি তবে এটি কেন এত ভাল কাজ করছে। তদুপরি, আমি অনুমান করি যে ডেরাইভেটিভও প্রভাবিত হতে পারে। কারণ অ্যাক্টিভেশন (আউটপুটRelu) আপডেটের বিধি গণনা করার জন্য জড়িত।
কিছুটা নরমালাইজেশন (যেমন ব্যাচ নরমালাইজেশন, লেয়ার নরমালাইজেশন) রিলু সাথে একত্রে রাখা সাধারণ। এটি আউটপুট পরিসীমা সামঞ্জস্য করে।
—
ncasas
@ কনসাস তবে সাধারণভাবে সাধারণের
—
মিডিয়া
CNNআউটপুটটি reluসাধারণ হয় না? কমপক্ষে আমি এটি কখনও দেখিনি।
আপনি ঠিক বলেছেন, খুব গভীর সিএনএন-তে নয় ব্যাচের সাধারণীকরণ না করাই স্বাভাবিক। আপনি কি ওজনের প্রাথমিক মানগুলির ভূমিকা বিবেচনা করেছেন? (যেমন তিনি আরম্ভ)
—
এনকাসাস
হ্যাঁ, প্রকৃতপক্ষে এগুলি কোনওরকভাবে নিখোঁজ হওয়া / বিস্ফোরিত গ্রেডিয়েন্টগুলি রোধ করার জন্য রয়েছে, কিছু পুনরাবৃত্তির পরে ফলাফলগুলি বড় হয় বলে আমার ধারণা।
—
মিডিয়া