আমি যতদূর জানি, স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূতটিকে অ্যালগরিদম শেখার ক্ষেত্রে গ্রহণ করার সময়, কেউ পুরো ডেটাসেটের জন্য 'মহাকাব্য' এবং একক আপডেটের ধাপে ব্যবহৃত ডেটার জন্য 'ব্যাচ' ব্যবহার করেন, অন্য একজন যথাক্রমে 'ব্যাচ' এবং 'মিনিব্যাচ' ব্যবহার করেন এবং অন্যরা 'যুগ' এবং 'মিনিব্যাচ' ব্যবহার করে। এটি আলোচনার সময় অনেক বিভ্রান্তি এনে দেয়।
তাহলে সঠিক কথাটি কী? বা এগুলি কেবল উপভাষা যা সমস্ত গ্রহণযোগ্য?
উত্তর:
এক যুগের অর্থ সাধারণত আপনার অ্যালগরিদম প্রতিটি প্রশিক্ষণের উদাহরণ একবার দেখে । এখন অভিমানী আপনি প্রশিক্ষণ দৃষ্টান্ত:
আপনি যদি ব্যাচ আপডেট চালনা করেন তবে প্রতিটি প্যারামিটার আপডেটের জন্য আপনার অ্যালগরিদমকে প্রশিক্ষণের প্রতিটি উদাহরণ একবারে দেখতে পাওয়া যায়, অর্থাত্ প্রতিটি পর্ব আপনার প্যারামিটার একবার আপডেট হয়।
আপনি ব্যাচ আকার = সঙ্গে মিনি- ব্যাচ আপডেট চালানোর তাহলে , যে পরামিতি আপডেটটি আপনার অ্যালগরিদম দেখুন প্রয়োজন এর প্রশিক্ষণ দৃষ্টান্ত, অর্থাত, যে যুগান্তকারী আপনার পরামিতি সম্পর্কে আপডেট করা হয় বার।
আপনি SGD আপডেট চালানোর পারেন, যে পরামিতি আপডেটটি আপনার আলগোরিদিম 1 দেখুন প্রয়োজন প্রশিক্ষণ দৃষ্টান্ত, অর্থাত, যে যুগান্তকারী আপনার পরামিতি সম্পর্কে আপডেট করা হয় বার।
"এপোক" অর্থ সাধারণত প্রশিক্ষণের ডেটার পুরো সেটটিতে একটি শেখার অ্যালগরিদমকে প্রকাশ করা। আমরা কখনও কখনও ডেটা তৈরি করি বলে এটি সর্বদা অর্থপূর্ণ হয় না।
"ব্যাচ" এবং "মিনিব্যাচ" বিভ্রান্তিকর হতে পারে।
প্রশিক্ষণের উদাহরণগুলি মাঝে মাঝে "বাচানো" হওয়া দরকার কারণ সমস্ত ডেটা অ্যালগরিদমের সাথে অগত্যা একযোগে প্রকাশ করা যায় না (সাধারণত স্মৃতির সীমাবদ্ধতার কারণে)।
এসজিডি প্রসঙ্গে, "মিনিব্যাচ" এর অর্থ হচ্ছে ওজন আপডেট করার আগে গ্রেডিয়েন্টটি পুরো ব্যাচ জুড়ে গণনা করা হয়। আপনি যদি "মিনিব্যাচ" ব্যবহার না করে থাকেন তবে "ব্যাচ" -র প্রতিটি প্রশিক্ষণ উদাহরণ শিক্ষার অ্যালগরিদমের প্যারামিটারগুলি স্বাধীনভাবে আপডেট করে।