লিনিয়ার রিগ্রেশন গ্রেডিয়েন্ট বংশোদ্ভূত জন্য সর্বোত্তম শেখার হার নির্ধারণ করুন

Question

গ্রেডিয়েন্ট বংশোদ্ভূত হওয়ার জন্য কেউ কীভাবে সর্বোত্তম শেখার হার নির্ধারণ করতে পারে? আমি ভাবছি যে পূর্ববর্তী পুনরাবৃত্তির তুলনায় ব্যয় ফাংশনটি যদি বৃহত্তর মান দেয় তবে আমি স্বয়ংক্রিয়ভাবে এটিকে সামঞ্জস্য করতে পারি (অ্যালগরিদম রূপান্তরিত হবে না) তবে কী নতুন মান নেওয়া উচিত তা আমি নিশ্চিত নই।

Comments

willamette.edu/~gorr/classes/cs449/momrate.html স্থানীয় হার অভিযোজন একটি ফর্ম সঙ্গে annealing চেষ্টা: µ (টি) = µ (0) / (1 + টি / টি); বৃদ্ধি টি যখন ত্রুটির চিহ্ন পরিবর্তন হয়।

— ক্রিস

Answer 1

(বছর পরে) বার্জিলাই-বোরউইন ধাপ আকার পদ্ধতিটি দেখুন; onmyphd.com এর একটি 3-পৃষ্ঠার সুন্দর বর্ণনা রয়েছে। লেখক বলেছেন

এই পদ্ধতির এমনকি বড় মাত্রিক সমস্যার জন্যও ভাল কাজ করে

তবে এটি 2 ডি রোজেনব্রোক ফাংশনের অ্যাপলেটটির জন্য ভয়ানক। কেউ যদি বারজিলাই-বোরওইন ব্যবহার করে থাকে তবে মন্তব্য করুন।

Answer 2

তুমি কি সঠিক পথে আছো. একটি সাধারণ পন্থা হ'ল ধাপের আকার দ্বিগুণ করা যখনই আপনি সফল ডাউনহিল পদক্ষেপ নেন এবং যখন আপনি দুর্ঘটনাক্রমে "খুব দূরে" যান তখন ধাপের আকার অর্ধেক করে দেওয়া হয়। আপনি অবশ্যই 2 ব্যতীত অন্য কোনও কারণ দ্বারা স্কেল করতে পারেন, তবে এটি সাধারণত কোনও বড় পার্থক্য করে না।

আরও পরিশীলিত অপ্টিমাইজেশন পদ্ধতিগুলি সম্ভবত কনভার্ভেশনটিকে কিছুটা গতি বাড়িয়ে তুলবে, তবে যদি আপনাকে কোনও কারণে নিজের আপডেটটি রোল করতে হয় তবে উপরেরটি আকর্ষণীয়ভাবে সহজ এবং প্রায়শই যথেষ্ট ভাল।

Comments

আমি পাশাপাশি দুটি দ্বারা গুণন / ভাগ করার কথা ভাবছিলাম। যাইহোক, আমি উদ্বিগ্ন যে একটি সফল পদক্ষেপ প্রতিবার দুটি দ্বারা গুণ করা অনেক বেশি পুনরাবৃত্তির মধ্যে শেষ হবে। আমি আশা করছিলাম যে গ্রেডিয়েন্টটি ব্যবহার করে এটি করার একটি উপায় আছে, যেহেতু এটি slালটি কত খাড়া রয়েছে তার কিছু তথ্য সরবরাহ করে।

— ভ্যালেন্টিন রাদু

এটি আমার কাছে প্রশংসনীয় বলে মনে হয় না, আপনি গ্রেডিয়েন্টের কাছ থেকে এই জাতীয় তথ্য পেতে পারেন। একাকী গ্রেডিয়েন্ট আপনাকে বলতে দেয় না যে আপনি সর্বোত্তম থেকে কতটা দূরে রয়েছেন এবং এর চেয়ে বেশি গুরুত্বপূর্ণ - কীভাবে গ্রেডিয়েন্ট নিজেই পরিবর্তিত হয়$x$পরিবর্তন। তার জন্য আপনার একটি হেসিয়ান দরকার।

— sjm.majewski

আপনি যদি অন্তর্নিহিত স্টেশনারি প্রক্রিয়া নিয়ে কাজ করছেন, সর্বাধিক শিক্ষার হারটি পারস্পরিক সম্পর্ক ম্যাট্রিক্সের বর্ণালী দ্বারা পরিচালিত হয়, তাই না?

— উজ্জ্বল তারকা