সম্প্রতি আমি ইয়ান ডাউফিন এট আল-র একটি কাগজ পড়েছি। হাই-ডাইমেনশনাল নন-কনভেক্স অপটিমাইজেশনে স্যাডল পয়েন্ট সমস্যার সনাক্তকরণ এবং আক্রমণ করা , যেখানে তারা স্যাডল-ফ্রি নিউটন নামে একটি আকর্ষণীয় বংশদ্ভুত অ্যালগরিদম প্রবর্তন করে , যা ঠিক নিউরাল নেটওয়ার্ক অপ্টিমাইজেশনের জন্য উপযুক্ত বলে মনে হয় এবং স্যাডল পয়েন্টগুলিতে আটকা পড়তে হবে না ভ্যানিলা এসজিডি হিসাবে প্রথম অর্ডার পদ্ধতিগুলির মতো।
কাগজটি ২০১৪ সালের পুরানো, সুতরাং এটি একেবারেই নতুন কিছু নয় তবে, "বুনোতে" এটি ব্যবহার করতে দেখিনি। কেন এই পদ্ধতি ব্যবহার করা হচ্ছে না? বাস্তব বিশ্বের আকারের সমস্যা / নেটওয়ার্কগুলির জন্য কি হেসিয়ান গণনা খুব নিষিদ্ধ? এই অ্যালগরিদমের কিছু উন্মুক্ত উত্স বাস্তবায়নও সম্ভবত কিছু বড় গভীর শেখার ফ্রেমওয়ার্কের সাথে ব্যবহার করা যেতে পারে?
ফেব্রুয়ারী 2019 আপডেট করুন: এখন একটি বাস্তবায়ন উপলব্ধ: https://github.com/dave-fernandes/SaddleFreeOptimizer )