এমন কি কোনও পত্রিকা প্রকাশিত হয়েছে যা নিউরাল নেটওয়ার্কগুলির নিয়মিতকরণ পদ্ধতির পার্থক্য দেখায়, বিশেষত বিভিন্ন ডোমেনগুলিতে (বা কমপক্ষে বিভিন্ন ডেটাসেট)?
আমি জিজ্ঞাসা করছি কারণ বর্তমানে আমার এই অনুভূতিটি রয়েছে যে বেশিরভাগ লোকেরা কম্পিউটার ভিশনকে নিয়মিতকরণের জন্য কেবল ড্রপআউট ব্যবহার করেন। নিয়মিতকরণের বিভিন্ন উপায় ব্যবহার করার কোনও কারণ আছে (না) আছে কিনা তা আমি খতিয়ে দেখতে চাই।
উত্তর:
দুটি বিন্দু:
যাইহোক, আমি নিউরাল নেটওয়ার্ক অভিজ্ঞতামূলক স্টাডিজ সম্পর্কে কিছুটা সংশয়ী। নেটওয়ার্কের টপোলজি থেকে গ্রেডিয়েন্ট বংশোদ্ভূত অপ্টিমাইজেশন প্রক্রিয়া থেকে অ্যাক্টিভেশন ফাংশন এবং আপনি যা কিছু তা নিয়মিতকরণের মতো পরীক্ষা করছেন এমন সূক্ষ্ম সুরক্ষার জন্য অনেকগুলি হাইপারপ্রেমিটার রয়েছে। তারপরে, পুরো জিনিসটি স্টোকাস্টিক এবং সাধারণত পারফরম্যান্স লাভগুলি এত ছোট যে আপনি পার্থক্যগুলির জন্য খুব কমই পরিসংখ্যান পরীক্ষা করতে পারেন। অনেক লেখক এমনকি পরিসংখ্যান পরীক্ষাও বিরত করেন না। তারা কেবল ক্রস-বৈধকরণের গড় গড় ঘোষণা করে এবং বিজয়ী হওয়ার জন্য যে কোনও মডেলের সর্বোচ্চ দশমিক পয়েন্ট লাভ ছিল তা ঘোষণা করে।
আপনি ড্রপআউটকে উত্সাহিত করার জন্য অধ্যয়নটি কেবলমাত্র অন্য কোনও নিয়মিত প্রচারকে অস্বীকার করার জন্য খুঁজে পেতে পারেন।
আমি মনে করি এটি সমস্ত নান্দনিকতার পছন্দগুলিতে ফোটে। ড্রপআউট আইএমএইচও নিয়মিতকরণের চেয়ে আরও জৈবিক প্রশ্রয়জনক শোনায়। এটি ক্যালিব্রেট করা সহজ বলে মনে হয়। সুতরাং, টেনসরফ্লোর মতো কাঠামো ব্যবহার করার সময় আমি ব্যক্তিগতভাবে এটিকে পছন্দ করি। আমাদের যদি আমাদের নিজস্ব নিউরাল নেটওয়ার্ক ব্যবহার করতে হয় যা আমরা প্রায়শই করি, আমরা নিয়মিতকরণ ব্যবহার করব কারণ এটি কার্যকর করা সহজ ছিল।
স্পষ্টভাবে. নির্মাতা নিজেই এই কাগজটি, জেফ্রি হিন্টন। https://www.cs.toronto.edu/~hinton/absps/JMLRroidout.pdf এটি পড়ুন। তবে আমি আপনাকে এটি প্রয়োগ করে নিজেই পার্থক্যটি দেখতে উত্সাহিত করি।