LSTM- এর জন্য কোন অপ্টিমাইজেশন পদ্ধতিগুলি সবচেয়ে ভাল কাজ করে?

Question

আমি এলএসটিএমগুলির সাথে পরীক্ষার জন্য থিয়ানো ব্যবহার করছি, এবং ভাবছিলাম যে এলটিএসটিএম এর জন্য কোন অপ্টিমাইজেশন পদ্ধতি (এসজিডি, অ্যাডগ্রাড, অ্যাডাডেলটা, আরএমএসপ্রপ, অ্যাডাম ইত্যাদি) সবচেয়ে ভাল কাজ করে? এই বিষয়ে কোন গবেষণা কাগজপত্র আছে?

এছাড়াও, আমি কী ধরণের প্রয়োগের জন্য এলএসটিএম ব্যবহার করছি তার উপরে কি উত্তর নির্ভর করে? যদি তা হয় তবে আমি পাঠ্য শ্রেণিবিন্যাসের জন্য এলএসটিএম ব্যবহার করছি (যেখানে পাঠ্যটি প্রথমে শব্দ ভেক্টরে রূপান্তরিত হয়)।

শেষ অবধি, আরএনএনগুলির জন্য উত্তরগুলি কি একই বা ভিন্ন হবে? গবেষণামূলক কাগজগুলির কোনও পয়েন্টার বা ব্যক্তিগত অন্তর্দৃষ্টি অত্যন্ত প্রশংসা হবে!

এলএসটিএমগুলি বেশ শক্তিশালী বলে মনে হচ্ছে এবং সেগুলি কীভাবে সর্বোত্তমভাবে ব্যবহার করা যায় সে সম্পর্কে আমি আরও জানতে আগ্রহী।

Answer 1

হাস্যকরভাবে LSTMs এর জন্য সেরা অপটিমাইজারগুলি হ'ল এলএসটিএম: https://arxiv.org/abs/1606.04474 গ্রেডিয়েন্ট বংশোদ্ভূত দ্বারা গ্রেডিয়েন্ট বংশোদ্ভূত দ্বারা শিখতে শেখা।

মূল ধারণাটি হ'ল মূল নেটওয়ার্কের গ্রেডিয়েন্টগুলি সহ-শিখতে এবং শেখাতে একটি নিউরাল নেটওয়ার্ক (বিশেষত এখানে একটি এলএসটিএম নেটওয়ার্ক) ব্যবহার করা। একে মেটা লার্নিং বলা হয়।

এই পদ্ধতিটি, যখন 2000 সালে জুয়ারজেন শ্মিধুবার দ্বারা প্রস্তাবিত হয়েছিল, সম্প্রতি সম্প্রতি আরএনএন প্রশিক্ষণে অন্যান্য অপ্টিমাইজারকে আরও কার্যকর করার জন্য দেখানো হয়েছিল। (একটি দুর্দান্ত গ্রাফিকের জন্য মূল কাগজটি দেখুন)

Comments

লিঙ্কটি কী বলে তা আমাদের জানিয়ে দিয়ে আপনি প্রসারিত করতে পারেন?

— mdewey

আপনার আনন্দের জন্য সংশোধিত। যেহেতু মূল প্রশ্নটি ছিল "এলটিএসএম-এর জন্য কোন অপ্টিমাইজেশন পদ্ধতিগুলি সবচেয়ে ভাল কাজ করে?" "LSTMs এর জন্য সর্বোত্তম অপ্টিমাইজেশন পদ্ধতিগুলি কীভাবে কাজ করে না" নয় আমি এটি এ ছেড়েছি।

— Anona112

Answer 2

কোন দৃশ্যে কোন অপ্টিমাইজেশন পদ্ধতিটি ব্যবহার করা উচিত তা সম্পর্কে সাধারণভাবে কোনও স্পষ্ট প্রমাণ নেই is বিভিন্ন পরিস্থিতিতে এই পদ্ধতির আচরণে কিছু বিশ্লেষণ হয়েছে তবে কিছুই চূড়ান্ত নয়। আপনি যদি এই স্টাফটিতে ডুব দিতে চান তবে আমি প্রস্তাব দিচ্ছি: http://papers.nips.cc/paper/5486- পরিচয় - এবং-attacking-the-saddle-Point-problem-in-high-d પરિমিতি- নন- কনভেক্স- optimization.pdf

কমপক্ষে আপনাকে কিছুটা উত্তর দেওয়ার জন্য আমি যুক্তি দিয়ে বলতে পারি যে প্রায়শই আপনার অপ্টিমাইজেশন রুটিনের কনফিগারেশনটি আসল রুটিনের চেয়ে বেশি গুরুত্বপূর্ণ।

তাছাড়া আমি আপনাকে কী কৌশল ব্যবহার করা হচ্ছে তা দেখার জন্য আপনাকে কাগজপত্রগুলি সন্ধান করার পরামর্শ দিচ্ছি। উদাহরণস্বরূপ অ্যালেক্স গ্রাভগুলি তার প্রকাশনাগুলির বেশিরভাগ প্রকাশনা জুড়ে উত্পাদনের সিক্যুয়েন্সে আরএমএসপ্রপ ব্যবহার করতে পারে।