বেশিরভাগ নেটওয়ার্কগুলিতে আমি দেখেছি চূড়ান্ত সফটম্যাক্স স্তরটির আগে এক বা দুটি ঘন স্তর রয়েছে।
উত্তর:
সবার আগে:
ইনপুট এবং আউটপুটগুলির সংখ্যা থেকে কোনও ভাল নেটওয়ার্ক টপোলজি নির্ধারণ করার কোনও উপায় নেই। এটি প্রশিক্ষণের উদাহরণগুলির সংখ্যা এবং আপনি যে শ্রেণিবিন্যাসটি শিখার চেষ্টা করছেন তার জটিলতার উপর নির্ভর করে [[1]
এবং যোশুয়া বেনজিও খুব সাধারণ নিয়মের প্রস্তাব দিয়েছে:
পরীক্ষার ত্রুটিটি আর উন্নতি না হওয়া পর্যন্ত কেবল স্তরগুলি যুক্ত করা চালিয়ে যান [[2]
তাছাড়া:
কনভনেটের আগের বৈশিষ্ট্যগুলিতে আরও জেনেরিক বৈশিষ্ট্য রয়েছে (যেমন প্রান্ত ডিটেক্টর বা রঙ ব্লব ডিটেক্টর) যা অনেকগুলি কাজের জন্য কার্যকর হওয়া উচিত, তবে পরবর্তী সময়ে কনভনেটের স্তরগুলি মূল ডাটাবেসে থাকা ক্লাসগুলির বিশদগুলির সাথে ক্রমবর্ধমান আরও নির্দিষ্ট হয়ে যায় [[ 3]
উদাহরণস্বরূপ, বৈশিষ্ট্য সনাক্তকারী শেখার জন্য একটি পদ্ধতিতে:
প্রথম স্তরটি এজ ডিটেক্টরগুলি শিখে এবং পরবর্তী স্তরগুলি আরও জটিল বৈশিষ্ট্যগুলি শিখতে এবং উচ্চ স্তরের স্তরগুলি আরও বিমূর্ত বৈশিষ্ট্যগুলিকে এনকোড করে। [4]
সুতরাং, দুটি ঘন স্তর ব্যবহার করা এক স্তরের চেয়ে বেশি পরামর্শ দেওয়া হয়।
অবশেষে:
ড্রপআউটের মূল কাগজটি অনুশীলনে ড্রপআউট ব্যবহার করার সময় বিবেচনা করার জন্য অনেকগুলি দরকারী হুরিস্টিক্স সরবরাহ করে। এর মধ্যে একটি হ'ল: আগত (দৃশ্যমান) পাশাপাশি লুকানো ইউনিটগুলিতে ড্রপআউট ব্যবহার করুন। নেটওয়ার্কের প্রতিটি স্তরে ড্রপআউট প্রয়োগ ভাল ফলাফল দেখিয়েছে। [5]
সিএনএন-এ সাধারণত একটি পুলিং স্তর প্রতিটি পুলিং স্তরের পরে এবং আপনার ঘন স্তর পরে প্রয়োগ করা হয়। একটি ভাল টিউটোরিয়াল এখানে [6]
তথ্যসূত্র:
[1] https://www.cs.cmu.edu/Groups/AI/util/html/faqs/ai/neura/faq.html
[২] বেঞ্জিও, যোশুয়া। "গভীর স্থাপত্যগুলির গ্রেডিয়েন্ট-ভিত্তিক প্রশিক্ষণের জন্য ব্যবহারিক প্রস্তাবনা" " নিউরাল নেটওয়ার্ক: ব্যবসায়ের কৌশল। স্প্রিঞ্জার বার্লিন হাইডেলবার্গ, 2012. 437-478।
[3] http://cs231n.github.io/transfer-learning/
[৪] http://firening.eng.cam.ac.uk/pub/Public/Turner/ টিচিং / এমএম- ইলেকচার ৩-- স্লাইড.পিডিএফ
[5] https://machinelearningmastery.com/DPout-regulariization-DP-learning-models-keras/