নিউরাল নেটওয়ার্কগুলি প্রশিক্ষণ দেওয়ার সময়, একটি হাইপারপ্যারামিটার হ'ল একটি মিনিব্যাচের আকার। সাধারণ পছন্দগুলি প্রতি মিনি ব্যাচটিতে 32, 64 এবং 128 টি উপাদান।
মিনি-ব্যাচ কত বড় হতে হবে এমন কোনও নিয়ম / নির্দেশিকা রয়েছে? কোন প্রকাশনা যা প্রশিক্ষণের উপর প্রভাবটি তদন্ত করে?
স্মৃতিতে ফিটিং ছাড়া আর কি?
—
এহসান এম। কেরমানি
হ্যাঁ. উদাহরণস্বরূপ, এমন কোনও প্রকাশনা কি বলেছে যে "ব্যাচের আকারটি আরও বড়, তত ভাল" (যতক্ষণ এটি স্মৃতিতে ফিট থাকে)?
—
মার্টিন থোমা
@ এহসানএম.কর্মানি আমার কাছে মনে হয় এটি কার্যকর হয় না। আমি সিআইএফএআর -100 এ বেশ কয়েকটি রান করেছি এবং ব্যাচের আকারের উপর নির্ভর করে আমি বিভিন্ন ফলাফল পেয়েছি (তাড়াতাড়ি থামার সাথে সাথেই যাতে ওভারফিটিং কোনও সমস্যা না হয়)
—
মার্টিন থোমা
বড় গণনাগুলি দ্রুত (দক্ষ), আরও কম দ্রুত রূপান্তরিত হয়, আরও ভাল করে তোলে; cf. স্টোকাস্টিক অপটিমাইজেশন এবং এই আরএনএন সমীক্ষার জন্য দক্ষ মিনি ব্যাচের দক্ষ প্রশিক্ষণ । একটি মিষ্টি স্পট আছে যা আপনি আপনার সমস্যার জন্য অনুগতভাবে খুঁজে পান।
—
এমরে
ব্লি এট আল-এর এই অতি অন্তর্দৃষ্টিপূর্ণ কাগজটি সবেমাত্র প্রকাশিত হয়েছে: স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত হিসাবে আনুমানিক বায়েশিয়ান অনুমান
—
এমের