অনলাইন গ্রেডিয়েন্ট যে কারণে দরকারী তা বড় স্কেল অ্যাপ্লিকেশনগুলির জন্য। যাই হোক না কেন, এখন এমন গ্রন্থাগার রয়েছে যা এটি প্রয়োগ করে যাতে আপনার এটি প্রোগ্রাম করার দরকার নেই। জিনিসগুলি কীভাবে কাজ করে তা শেখার এটি একটি ভাল উপায়।
ইঞ্জিনিয়ারিং সমস্যা হিসাবে প্রথমে বড় আকারের মেশিন লার্নিংয়ের সাথে যোগাযোগ করা হয়েছিল। উদাহরণস্বরূপ, একটি বৃহত প্রশিক্ষণের সেটটি অর্জন করার জন্য, আমরা একটি পরিচিত মেশিন লার্নিং অ্যালগরিদম চালাতে একটি সমান্তরাল কম্পিউটার ব্যবহার করতে পারি বা একটি পরিচিত মেশিন লার্নিং অবজেক্টিভ ফাংশনটি অনুকূল করতে আরও উন্নত সংখ্যাসূচক পদ্ধতিগুলি গ্রহণ করতে পারি। এই জাতীয় দৃষ্টিভঙ্গি আবেদনকারী অনুমানের উপর নির্ভর করে যে কেউ মেশিন লার্নিং সমস্যার গুনগত দিক থেকে পরিসংখ্যানিক দিকগুলি ডিক্লুপ করতে পারে।
এই কাজটি দেখায় যে এই অনুমানটি ভুল, এবং এটি ছেড়ে দেওয়া যথেষ্ট কার্যকর শেখার অ্যালগরিদমের দিকে পরিচালিত করে। একটি নতুন তাত্ত্বিক কাঠামোটি অ্যালগরিদম শেখার ক্ষেত্রে আনুমানিক অপ্টিমাইজেশনের প্রভাব বিবেচনা করে।
বিশ্লেষণটি ছোট-স্কেল এবং বৃহত-স্কেল শেখার সমস্যার ক্ষেত্রে স্বতন্ত্র ট্রেড অফকে দেখায়। ক্ষুদ্র-স্কেল শেখার সমস্যাগুলি সাধারণ আনুমানিক – অনুমান ট্রেড অফের সাপেক্ষে। বৃহত্তর স্কেল লার্নিং সমস্যাগুলি একটি গুণগতভাবে পৃথক ট্রেড অফের সাথে জড়িত যা অপ্রান্তিক উপায়ে অন্তর্নিহিত অপ্টিমাইজেশন অ্যালগরিদমগুলির গণ্য জটিলতার সাথে জড়িত। উদাহরণস্বরূপ, স্টোচাস্টিক গ্রেডিয়েন্ট ডেসেন্ট (এসজিডি) অ্যালগরিদমগুলি মাঝারি মানের অপ্টিমাইজেশনের অ্যালগরিদম হিসাবে উপস্থিত বলে মনে হয় এবং তবুও বড় আকারের শিখন সমস্যাগুলিতে অত্যন্ত ভাল পারফর্ম করার জন্য প্রদর্শিত হয়।