[দ্রষ্টব্য 5 এপ্রিল 2019: কাগজের একটি নতুন সংস্করণ অনেক নতুন ফলাফলের সাথে আরএক্সআইভিতে আপডেট হয়েছে। আমরা মোমেন্টাম এবং এনএজি এর ব্যাকট্র্যাকিং সংস্করণগুলিও প্রবর্তন করি এবং ব্যাকট্র্যাকিং গ্রেডিয়েন্ট বংশোদ্ভূত হিসাবে একই অনুমানের অধীনে রূপান্তর প্রমাণ করি।
সোর্স কোডগুলি লিঙ্কটিতে গিটহাবে উপলভ্য: https://github.com/hank-nguyen/MBT-optimizer
আমরা ডিএনএন-তে আবেদন করার জন্য অ্যালগরিদমগুলিকে উন্নত করেছি এবং এমএমটি, এনএজি, অ্যাডাম, অ্যাডাম্যাক্স, অ্যাডগ্র্যাড, ... এর মতো অত্যাধুনিক আলগোরিদিমগুলির চেয়ে আরও ভাল পারফরম্যান্স পেয়েছি ...
আমাদের অ্যালগরিদমের সর্বাধিক বিশেষ বৈশিষ্ট্য হ'ল এগুলি স্বয়ংক্রিয়, আপনাকে সাধারণ অনুশীলন হিসাবে শিক্ষার হারের ম্যানুয়াল ফিন-টিউন করার দরকার নেই। আমাদের স্বয়ংক্রিয় সূক্ষ্ম সুরকরণ অ্যাডাম, অ্যাডাম্যাক্স, অ্যাডাগ্রেড, ... ইত্যাদি থেকে প্রকৃতিতে আলাদা। আরও বিশদটি কাগজে রয়েছে।
]
খুব সাম্প্রতিক ফলাফলের ভিত্তিতে: এই কাগজে আমার যৌথ কাজে https://arxiv.org/abs/1808.05160
চ
উপরের উপর ভিত্তি করে, আমরা গভীর শিক্ষার ক্ষেত্রে একটি নতুন পদ্ধতি প্রস্তাব করেছি যা বর্তমানের অত্যাধুনিক পদ্ধতির সাথে সমান এবং শিক্ষার হারগুলির ম্যানুয়াল ফাইন টুনিংয়ের প্রয়োজন নেই does ( সংক্ষেপে , ধারণাটি হ'ল আপনি কিছুটা সময় ব্যাকট্র্যাকিং গ্রেডিয়েন্ট বংশোদ্ভূত হন, যতক্ষণ না আপনি দেখতে পান যে প্রতিটি শিক্ষার হারের সাথে পরিবর্তিত শিক্ষার হারগুলি স্থিতিশীল হয়ে যায় abil আমরা এই স্থিতিশীলতার প্রত্যাশা করি, বিশেষত একটি সমালোচনামূলক বিন্দুতে যা সি ^ 2 এবং অবনতিহীন, কারণ আমি পূর্বে উল্লিখিত রূপান্তর ফলাফলের কারণে। এই সময়ে, আপনি স্ট্যান্ডার্ড গ্রেডিয়েন্ট বংশদ্ভুত পদ্ধতিতে স্যুইচ করুন more আরও বিশদ জন্য উদ্ধৃত কাগজটি দেখুন Thisএই পদ্ধতিটি অন্যান্য অনুকূল অ্যালগরিদমেও প্রয়োগ করা যেতে পারে ।)
পিএস স্ট্যান্ডার্ড গ্রেডিয়েন্ট বংশোদ্ভূত পদ্ধতি সম্পর্কে আপনার মূল প্রশ্নটি সম্পর্কে, আমার জ্ঞানের ক্ষেত্রে কেবলমাত্র সেই ক্ষেত্রে যেখানে মানচিত্রের ডেরিভেটিভ বিশ্বব্যাপী লিপস্চিট্জ এবং শিক্ষার হার যথেষ্ট ছোট যে মানক গ্রেডিয়েন্ট বংশোদ্ভূত পদ্ধতিটি রূপান্তরিত প্রমাণিত। [যদি এই শর্তগুলি সন্তুষ্ট না হয় তবে এমন সহজ পাল্টা উদাহরণ রয়েছে যা দেখায় যে কোনও রূপান্তর ফলাফল সম্ভব নয়, কিছুটির জন্য উদ্ধৃত কাগজটি দেখুন]] উপরে বর্ণিত কাগজে আমরা যুক্তি দিয়েছিলাম যে দীর্ঘকাল ধরে ব্যাকট্র্যাকিং গ্রেডিয়েন্ট বংশোদ্ভূত পদ্ধতি হয়ে উঠবে স্ট্যান্ডার্ড গ্রেডিয়েন্ট বংশোদ্ভূত পদ্ধতি, যা স্ট্যান্ডার্ড গ্রেডিয়েন্ট বংশোদ্ভূত পদ্ধতি সাধারণত অনুশীলনে কেন ভালভাবে কাজ করে তার ব্যাখ্যা দেয়।