ধরা যাক আমি 2-স্তরযুক্ত স্ট্যাকড অটোরকোডার এবং 2-স্তরগুলির নিউরাল নেটওয়ার্ক তৈরির জন্য একটি অ্যালগরিদম লিখছি। তারা কি একই জিনিস বা পার্থক্য?
আমি যা বুঝতে পারি তা হ'ল আমি যখন একটি স্ট্যাকড অটোরকোডার তৈরি করি তখন আমি স্তর দ্বারা স্তর তৈরি করতাম। নিউরাল নেটওয়ার্কের জন্য, আমি নেটওয়ার্কের সমস্ত পরামিতিগুলিকে আরম্ভ করব এবং তারপরে প্রতিটি ডাটা পয়েন্টের জন্য, আমি এটি নেটওয়ার্কের মাধ্যমে পাস করেছিলাম এবং ক্ষতির গণনা করি (যেমন, ইউক্যুলিয়ান দূরত্ব) এবং ব্যাকপ্রোপেশন করি।
উত্তর:
সজ্জিত অটোরকোডার এবং মাল্টি-লেয়ার নিউরাল নেটওয়ার্কগুলি আলাদা। অনুশীলনে, আপনার কাছে দুটি নেটওয়ার্কের ওজন ভাগ করা এবং মেমরি বাফারগুলি সম্ভবত ভাগ করা সম্ভব। সুতরাং আপনার প্রয়োগে দুটি নেটওয়ার্ক আবদ্ধ হয়ে যায়।
সাধারণত, অটোরকোডারগুলি নিরক্ষিত, লোভী, স্তর-ভিত্তিক ফ্যাশনে প্রশিক্ষিত হয়। (কোনও লেবেল নেই, নেটওয়ার্কের প্রথম স্তরের সাথে প্রশিক্ষণ শুরু করুন এবং তারপরে আপনি নতুন স্তরগুলি যুক্ত করুন)) "ব্যাচ" গ্রেডিয়েন্ট বংশোদ্ভূত থেকে শুরু করে বিভিন্ন কৌশল ব্যবহার করে ওজনগুলি শেখা যায় (দয়া করে এটি করবেন না), মিনি-ব্যাচের স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত (এসজিডি) থেকে, এল-বিএফজিএসের মতো অর্ধ-নিউটন পদ্ধতিতে।
ধারণাটি হ'ল উপস্থাপনা শেখার কার্যটির জন্য পুনর্গঠনের ত্রুটি কমাতে একটি অপ্রচলিত পদ্ধতিতে শিখানো ওজনগুলি শ্রেণিবদ্ধকরণ বা মিলের মতো তত্ত্বাবধানমূলক বৈষম্যমূলক কাজের জন্য একটি নেটওয়ার্ক সূচনা করার জন্য একটি ভাল সূচনা পয়েন্ট সরবরাহ করে। অর্থাত, নেটওয়ার্ক লেবেলযুক্ত ডেটার মধ্যে পার্থক্য করতে দেয়, লেবেলযুক্ত ডেটা দেখে এই অন্তর্নিহিত বিতরণ সম্পর্কে কিছু শিখেছে। তবে এই নতুন কাজের জন্য ওজনকে এখনও "সূক্ষ্ম সুরক্ষা" করা দরকার be সুতরাং নেটওয়ার্কের শীর্ষে একটি লজিস্টিক রিগ্রেশন স্তর যুক্ত করুন এবং তারপরে একটি লেবেলযুক্ত ডেটাসেটের সাহায্যে তদারকি শেখা করুন। সূক্ষ্ম টিউনিং পদক্ষেপটি গ্রেডিয়েন্ট বংশদ্ভুত করবে এবং একই সাথে নেটওয়ার্কের সমস্ত স্তরগুলির জন্য ওজন সামঞ্জস্য করবে ।
স্নায়বিক জাল প্রশিক্ষণের এই উপায়ের সুবিধাগুলি হ'ল:
কাগজটির জন্য, স্ট্যাকড ডিএনওাইজিং অটোইনকোডারগুলি দেখুন: একটি স্থানীয় নেটওয়ার্ক হিসাবে চিহ্নিত মানদণ্ডের সাথে একটি গভীর নেটওয়ার্কে দরকারী উপস্থাপনা শেখা ।