গভীর শেখার সাহিত্য গ্রেডিয়েন্ট বংশোদ্ভূত অ-ধ্রুবক শিক্ষার হার ব্যবহার করে চতুর কৌশল দ্বারা পূর্ণ। ক্ষতিকারক ক্ষয়, আরএমএসপ্রপ, অ্যাডাগ্রাড ইত্যাদির মতো বিষয়গুলি কার্যকর করা সহজ এবং প্রতিটি গভীর শেখার প্যাকেজে পাওয়া যায়, তবুও এগুলি নিউরাল নেটওয়ার্কগুলির বাইরে অস্তিত্বহীন বলে মনে হয়। এটির জন্যে কোন কারণ আছে কি? যদি এটি হয় যে লোকেরা কেবল যত্ন করে না, এমন কোনও কারণ আছে যা আমাদের নিউরাল নেটওয়ার্কগুলির বাইরে যত্ন নিতে হবে না?
2
আমি মনে করি লাইন অনুসন্ধান বা বিশ্বাসের অঞ্চল পদ্ধতিটি "অ-ধ্রুবক" শেখার হার।
—
হাইটাও ডু
অনেকগুলি অ-ধ্রুবক গ্রেডিয়েন্ট পদ্ধতি রয়েছে যা এনএন থেকে স্বাধীনভাবে বিকাশ করা হয়েছিল। বারজিলাই-বোরউইন জিডি এবং নেস্টারভ জিডি দুটি বিশিষ্ট উদাহরণ।
—
সাইকোরাক্স বলছেন
@ সাইকোরাক্স কিন্তু তারা কি এনএনএস এর বাইরে প্রতিদিন ভিত্তিতে ব্যবহার হয়?
—
টিম
@ টিম আমি বলতে পারি না। যখন আমাকে এনএন এর বাইরে স্থানীয় অনুসন্ধান করার দরকার পড়ে তখন আমার কাছে দ্বিতীয়-আদেশের পদ্ধতিগুলি ব্যবহার করার বিলাসিতা থাকে। তবে আমি এই উপলক্ষে দ্রুত জিডি পদ্ধতি সম্পর্কে জানতে পেরে আগ্রহী ছিলাম যে আমার পিছনে পকেটে একটি সুন্দর কৌশল থাকতে পারে।
—
সাইকোরাক্স বলছেন 18-29 এ পুনরায় ইনস্টল করুন মনিকা
এটি লক্ষণীয় যে (আমার আশ্চর্যরূপে) আমি এমন কেস পেয়েছি যেগুলি জিবিএমগুলি স্থিরভাবে শেখার হারগুলি ব্যবহার করে না, কিছুটা লোকের অবাক করে দেয়। একটি বিশেষ উদাহরণ হ'ল লাইটজিবিএম-তে ডার্ট বাস্তবায়ন। যদিও মূল কাগজপত্রগুলি ক্রমবর্ধমান ছোট এলআর ব্যবহার করে না প্রকৃত প্রয়োগটি ডিফল্টরূপে করে।
—
usεr11852