"ড্রপআউট" কৌশল কী?
উত্তর:
ড্রপআউট মানে প্রতিটি পৃথক ডেটা পয়েন্ট কেবলমাত্র নিউরনের একটি এলোমেলো উপসেট ফিট করতে ব্যবহৃত হয়। এটি নিউরাল নেটওয়ার্কটিকে আরও একটি এনসেম্বল মডেলের মতো করে তুলতে করা হয়।
এটি, যেমন একটি এলোমেলো বন অনেকগুলি পৃথক সিদ্ধান্ত গাছের ফলাফলকে একসাথে গড়ে তোলে, আপনি ড্রপআউট ব্যবহার করে প্রশিক্ষিত একটি নিউরাল নেটওয়ার্ক দেখতে পাচ্ছেন অনেকগুলি পৃথক নিউরাল নেটওয়ার্কের ফলাফলকে একসাথে গড়ে তোলার জন্য ('ফলাফলগুলি' প্রতিটি স্তরের ক্রিয়াকলাপ বোঝার জন্য বোঝা যায়) পরিবর্তে কেবল আউটপুট স্তর)।
নিউরাল নেটওয়ার্ক ড্রপআউটের প্রস্তাব দেওয়া মূল পেপার 1 এর শিরোনাম: ড্রপআউট: নিউরাল নেটওয়ার্কগুলিকে অতিরিক্ত ফিট করা থেকে রোধ করার একটি সহজ উপায় । এই শিরোনাম ড্রপআউট কী করে তা একটি বাক্যে বেশ ব্যাখ্যা করে। প্রশিক্ষণ পর্বের সময় নিউরোনগুলিতে এলোমেলোভাবে নির্বাচন এবং অপসারণের মাধ্যমে ড্রপআউট কাজ করে। নোট করুন যে পরীক্ষার সময় ড্রপআউট প্রয়োগ করা হয় না এবং ফলস্বরূপ নেটওয়ার্কটি ভবিষ্যদ্বাণী করার অংশ হিসাবে ড্রপআউট হয় না।
নিউরনের এই এলোমেলো অপসারণ / ড্রপআউট নিউরনের অত্যধিক সহ-অভিযোজন প্রতিরোধ করে এবং এর ফলে নেটওয়ার্কের ওভারফাইটিংয়ের সম্ভাবনা হ্রাস পায় ।
প্রশিক্ষণের সময় নিউরনগুলি এলোমেলোভাবে অপসারণের অর্থ হ'ল যে কোনও সময়, মূল নেটওয়ার্কের কেবল একটি অংশই প্রশিক্ষিত। এটির প্রভাব রয়েছে যে আপনি একাধিক সাব-নেটওয়ার্ক প্রশিক্ষণ শেষ করেছেন, উদাহরণস্বরূপ:
এটি সাব-নেটওয়ার্কগুলির এই পুনরাবৃত্তি প্রশিক্ষণ থেকে পুরো নেটওয়ার্কের বিপরীতে যেখানে নিউরাল নেটওয়ার্ক ড্রপআউটকে একজাতীয় কৌশল হিসাবে বিবেচনা করা হয় I অর্থ উপ-নেটওয়ার্কগুলির প্রশিক্ষণ অসংখ্য, অপেক্ষাকৃত দুর্বল অ্যালগরিদম / মডেলগুলি এবং তাদের একত্রিত করে একটি পৃথক অ্যালগরিদম গঠন করে যা পৃথক অংশগুলির চেয়ে বেশি শক্তিশালী।
তথ্যসূত্র:
1 : শ্রীবাস্তব, নীতীশ, ইত্যাদি। "ড্রপআউট: স্নায়বিক নেটওয়ার্কগুলিকে অত্যধিক মানসিক চাপ থেকে রোধ করার একটি সহজ উপায়।" জার্নাল অফ মেশিন লার্নিং রিসার্চ 15.1 (2014): 1929-1958।
আমি জেফ্রি হিন্টনের ধারণাগুলি ড্রপআউট পেপার এবং তার কোরাসেরা ক্লাসে ব্যবহার করে আপনার প্রশ্নের উত্তর দেওয়ার চেষ্টা করব।
"ড্রপআউট" পদ্ধতিটি কী উদ্দেশ্যে কাজ করে?
বিপুল সংখ্যক প্যারামিটার সহ গভীর নিউরাল নেটগুলি খুব শক্তিশালী মেশিন লার্নিং সিস্টেম। তবে এই জাতীয় নেটওয়ার্কগুলিতে ওভারফিটিং একটি গুরুতর সমস্যা। বড় নেটওয়ার্কগুলি ব্যবহারেও ধীর হয়, পরীক্ষার সময় বিভিন্ন বড় বড় নিউরাল জালগুলির ভবিষ্যদ্বাণীগুলির সংমিশ্রণ করে ওভারফিটিংয়ের সাথে মোকাবিলা করতে অসুবিধা হয়। ড্রপআউট এই সমস্যাটি সমাধানের একটি কৌশল।
সুতরাং এটি একটি নিয়মিতকরণ কৌশল যা ওভারফিটিংয়ের সমস্যা (উচ্চতর বৈকল্পিকতা) এর সমাধান করে।
কীভাবে এটি সামগ্রিক কর্মক্ষমতা উন্নত করে?
ভাল জেনারালাইজেশন দ্বারা এবং ওভার ফিটিংয়ের ফাঁদে না পড়ে।
এখানে কিছু দুর্দান্ত উত্তর আছে। ড্রপআউটের জন্য আমি যে সহজ ব্যাখ্যা দিতে পারি তা হ'ল এটি প্রশিক্ষণকালে কিছু নিউরন এবং তাদের সংযোগগুলি নেটওয়ার্ক থেকে এলোমেলোভাবে বাদ দেয়, প্রশিক্ষণের সময়, নিউরনগুলিকে খুব বেশি "কো-অ্যাডাপ্টিং" থেকে থামানো। এটি প্রতিটি নিউরনকে আরও সাধারণভাবে প্রয়োগ করার প্রভাব ফেলে এবং বৃহত নিউরাল নেটওয়ার্কগুলির জন্য ওভারফিটিং বন্ধ করার জন্য দুর্দান্ত।