আমার প্রয়োজন আউটপুট এবং অ্যাক্টিভেশন ফাংশনের বৈশিষ্ট্য যা আমি জানি তার উপর নির্ভর করে আউটপুট স্তরটির জন্য অ্যাক্টিভেশন ফাংশনটি নির্বাচন করি। উদাহরণস্বরূপ, আমি সিগময়েড ফাংশনটি যখন আমি সম্ভাবনাগুলি নিয়ে কাজ করি, যখন আমি ইতিবাচক মানগুলি নিয়ে কাজ করি তখন একটি আরএলইউ এবং যখন আমি সাধারণ মানগুলি নিয়ে কাজ করি তখন একটি লিনিয়ার ফাংশন বেছে নিই।
লুকানো স্তরগুলিতে, আমি রিলু পরিবর্তনের পরিবর্তে মৃত নিউরন এবং সিগময়েডের পরিবর্তে তানহ এড়ানোর জন্য একটি ফাঁস হওয়া আরএলইউ ব্যবহার করি। অবশ্যই, আমি লুকানো ইউনিটগুলিতে লিনিয়ার ফাংশন ব্যবহার করি না।
তবে, লুকানো স্তরে তাদের জন্য পছন্দটি বেশিরভাগ ক্ষেত্রে পরীক্ষা এবং ত্রুটির কারণে হয়।
অ্যাক্টিভেশন ফাংশনটি কিছু পরিস্থিতিতে ভাল কাজ করার সম্ভাবনা রয়েছে যার কোনও থাম্বের কোনও নিয়ম আছে? পরিস্থিতিগুলি যথাসম্ভব সাধারণ হিসাবে নিন : এটি স্তরটির গভীরতা, এনএন এর গভীরতা, সেই স্তরটির জন্য নিউরনের সংখ্যাকে, আমরা যে অপটিমাইজারটিকে বেছে নিয়েছি, তার ইনপুট বৈশিষ্ট্যগুলির সংখ্যার প্রতি নির্দেশ করতে পারে এই স্তরটি, এই এনএন ইত্যাদির জন্য
ইন তার / তার উত্তর , cantordust অন্যান্য অ্যাক্টিভেশন ফাংশন বোঝায় যে, আমি উল্লেখ না ELU এবং SELU মত। এই ইনফোগুলি স্বাগত চেয়েও বেশি। যাইহোক, আরও সক্রিয়করণের ফাংশনগুলি আমি আবিষ্কার করি যে আমি লুকানো স্তরগুলিতে ব্যবহার করার জন্য ফাংশনের পছন্দগুলিতে আরও বিভ্রান্ত। এবং আমি মনে করি না যে একটি মুদ্রা উল্টানো একটি অ্যাক্টিভেশন ফাংশন চয়ন করার একটি ভাল উপায়।