ঐতিহাসিক দৃষ্টিকোণ
জাভিয়র ইনিশিয়ালাইজেশন , মূলত জ্যাভিয়ার গ্লোরোট এবং যোশুয়া বেঙ্গিও দ্বারা "ডিপ ফিডফোরওয়ার্ড নিউরাল নেটওয়ার্ক প্রশিক্ষণের অসুবিধা বোঝার" জন্য প্রস্তাবিত হ'ল ওয়েট ইনিশিয়েশন প্রযুক্তি যা কোনও স্তরের আউটপুটগুলির বৈকল্পিককে তার ইনপুটগুলির বৈকল্পিকের সমান করতে চেষ্টা করে is । এই ধারণাটি বাস্তবে খুব কার্যকর হতে দেখা গেছে। স্বাভাবিকভাবেই, এই সূচনাটি স্তর অ্যাক্টিভেশন ফাংশনের উপর নির্ভর করে। এবং তাদের কাগজে, গ্লোরোট এবং বেনজিও লজিস্টিক সিগময়েড অ্যাক্টিভেশন ফাংশন হিসাবে বিবেচনা করেছিলেন , যা এই মুহুর্তে ডিফল্ট পছন্দ ছিল।
পরে, সিগময়েড অ্যাক্টিভেশনটি রেলু দ্বারা অতিক্রম করে, কারণ এটি বিলুপ্ত / বিস্ফোরিত গ্রেডিয়েন্টগুলির সমস্যা সমাধানের অনুমতি দেয়। ফলস্বরূপ, একটি নতুন সূচনা কৌশল উপস্থিত হয়েছিল, যা এই নতুন সক্রিয়করণ কার্যে একই ধারণা (অ্যাক্টিভেশনের বিভিন্নতার ভারসাম্য) প্রয়োগ করেছিল। এটি "ডেলিভিং ডিপ ইন রেকটিফায়ার্স: ইমেজনেট শ্রেণিবিন্যাসে মানব-স্তরের পারফরম্যান্সকে ছাড়িয়ে যাওয়ার " ক্ষেত্রে কাইমিং হির প্রস্তাব করেছিলেন এবং এখন এটি প্রায়শই তাঁকে আরম্ভ হিসাবে অভিহিত করা হয় ।
টেনস্রোফ্লোতে, তিনি ইনিশিয়ালাইজেশন variance_scaling_initializer()কার্যকরীভাবে প্রয়োগ করা হয় (এটি আসলে আরও সাধারণ আরম্ভকারী, তবে ডিফল্টরূপে তিনি আরম্ভ করেন), আর জ্যাভিয়ার ইনিশিয়ালাইজারটি যৌক্তিকভাবে হয় xavier_initializer()।
সারসংক্ষেপ
সংক্ষেপে, মেশিন লার্নিং অনুশীলনকারীদের প্রধান পার্থক্যটি হ'ল:
- তিনি ইনিশিয়ালাইজেশন রিলু অ্যাক্টিভেশন সহ স্তরগুলির জন্য আরও ভাল কাজ করে ।
- জাভিয়ার ইনিশিয়ালাইজেশন সিগময়েড অ্যাক্টিভেশন সহ স্তরগুলির জন্য আরও ভাল কাজ করে ।