আমি ব্যাচের নরমালাইজেশন (বিএন) কাগজটি পড়ছিলাম (1) এবং মডেলের যথার্থতা ট্র্যাক করার জন্য চলন্ত গড় ব্যবহারের প্রয়োজনীয়তা বুঝতে পারি নি এবং এমনকি যদি আমি এটি স্বীকার করি যে এটি করা ঠিক ছিল তবে আমি বুঝতে পারি না তারা ঠিক কি করছে।
আমার বোঝার (যা আমার ভুল হতে পারে), কাগজে উল্লেখ করা হয়েছে যে এটি মিনি-ব্যাচের চেয়ে জনসংখ্যার পরিসংখ্যান ব্যবহার করে, মডেলটি একবার প্রশিক্ষণ শেষ করার পরে statistics পক্ষপাতহীন অনুমানের কিছু আলোচনা করার পরে (এটি আমার কাছে স্পর্শকাতর বলে মনে হচ্ছে এবং কেন এটি সম্পর্কে কথা বলে তা বুঝতে পারছেন না) তারা গিয়ে বলে:
পরিবর্তে চলমান গড় ব্যবহার করে আমরা মডেলটির প্রশিক্ষণের সাথে সাথে যথার্থতা ট্র্যাক করি।
এটি আমার কাছে বিভ্রান্তিকর অংশ। তারা মডেলটির যথার্থতা এবং কোন ডেটা সেট সেট করে তার যথাযথতা অনুমান করতে গড় চালান কেন করে?
সাধারণত লোকেরা তাদের মডেলটির সাধারণীকরণের অনুমানের জন্য যা করেন, তারা কেবল তাদের মডেলের বৈধতা ত্রুটিটি ট্র্যাক করে (এবং সম্ভবত নিয়মিতভাবে তাদের গ্রেডিয়েন্ট বংশদ্ভুত থামিয়ে দেন)। তবে, দেখে মনে হচ্ছে ব্যাচ নরমালাইজেশন সম্পূর্ণ আলাদা কিছু করছে। কেউ কী এবং কেন এটির কিছু আলাদা করছে তা স্পষ্ট করতে পারে?
1 : আইওফএফ এস এবং সিজেজি সি। (2015),
"ব্যাচ নর্মালাইজেশন: ইন্টার্নাল কোভারিয়েট শিফট হ্রাস করে ডিপ নেটওয়ার্ক প্রশিক্ষণ ত্বরান্বিত করা" , ফ্রান্স, লিলি , ফ্রান্স, 2015
সালে 32 তম আন্তর্জাতিক সম্মেলনের কার্যক্রম
: মেশিন লার্নিং রিসার্চ: ডাব্লু ও সিসিপি ভলিউম 37