গ্রেডিয়েন্ট এবং গ্রেডিয়েন্ট ব্যবহারের ক্ষেত্রে পার্থক্য


15

গ্রেডিয়েন্ট বংশদ্ভুত অ্যালগরিদমের সাধারণ সেটিংয়ে, আমরা যেখানে বর্তমান পয়েন্ট, হ'ল ধাপের আকার এবং গ্রেডিয়েন্ট এ মূল্যায়ন । এক্স এন η জি আর ডি আমি এন টি এক্স এন এক্স এনএক্সএন+ +1=এক্সএন-η*Rএকটিআমিএনটিএক্সএনএক্সএনηRএকটিআমিএনটিএক্সএনএক্সএন

আমি কিছু অ্যালগোরিদমের মধ্যে দেখা যায়, মানুষ ব্যবহার সাধারণ গ্রেডিয়েন্ট পরিবর্তে গ্রেডিয়েন্ট । আমি জানতে চেয়েছিলাম যে নরমালাইজড গ্রেডিয়েন্ট এবং স্রেফ গ্রেডিয়েন্ট ব্যবহারের ক্ষেত্রে পার্থক্য কী ।


1
আমি কি একটি প্রশ্ন করতে পারি? আমি যদি ইতিমধ্যে গ্রেডিয়েন্ট ভেক্টরটি পেয়েছি তবে আমি কীভাবে সাধারণীকরণের গ্রেডিয়েন্ট গণনা করতে পারি? গ্রেডিয়েন্ট ভেক্টর যদি সংখ্যাসূচক হয় তবে আমার গ্রেডিয়েন্টটি স্বাভাবিক করতে হবে। গ্রেডিয়েন্টকে স্বাভাবিক করার বিষয়ে আপনি কিছু স্বজ্ঞাত উদাহরণ দিতে পারেন? ধন্যবাদ!

উত্তর:


12

গ্রেডিয়েন্ট বংশদ্ভুত অ্যালগরিদমে, অ্যালগরিদম একটি দিক খুঁজে বের করে এগিয়ে যায় যার সাথে আপনি অনুকূল সমাধানটি খুঁজে পেতে পারেন। অনুকূল দিকটি গ্রেডিয়েন্টে পরিণত হয়। তবে, যেহেতু আমরা কেবল দিকের প্রতি আগ্রহী এবং প্রয়োজনীয়ভাবে আমরা সেই দিকটি কতটা এগিয়ে নিয়েছি তা নয়, তাই আমরা সাধারণত গ্রেডিয়েন্টের মাত্রায় আগ্রহী না। এর মাধ্যমে, সাধারণীকরণের গ্রেডিয়েন্টটি আমাদের উদ্দেশ্যগুলির জন্য যথেষ্ট ভাল এবং আমরা ηনির্ধারিত দিক থেকে আমরা কতদূর এগিয়ে যেতে চাই। তবে, আপনি যদি অস্বাভাবিক গ্রেডিয়েন্ট বংশোদ্ভুত ব্যবহার করেন তবে যে কোনও বিন্দুতে আপনি সর্বোত্তম দিকের দিকে যে দূরত্বটি সরিয়েছেন সেটি গ্রেডিয়েন্টের দৈর্ঘ্যের দ্বারা নির্ধারিত হয় (মূলত উদ্দেশ্য কার্যের পৃষ্ঠ দ্বারা নির্ধারিত অর্থাৎ খাড়া পৃষ্ঠের একটি বিন্দুতে থাকবে) উচ্চ মাত্রা যেখানে মোটামুটি সমতল পৃষ্ঠের একটি পয়েন্টের দৈর্ঘ্য কম থাকবে)।


η
η
3] আপনি যদি গ্রেডিয়েন্টের মাত্রাটি ধাপের আকারটি নির্ধারণ করতে চান তবে আপনি অস্বাভাবিক গ্রেডিয়েন্ট বংশোদ্ভূত ব্যবহার করবেন। অন্যান্য বেশ কয়েকটি রূপ রয়েছে যেমন আপনি গ্রেডিয়েন্টের মাত্রাটি ধাপের আকারটি নির্ধারণ করতে দিতে পারেন, তবে আপনি এটিতে একটি ক্যাপ রেখেছিলেন।

এখন, ধাপের আকারের অভিব্যক্তি এবং স্থায়িত্বের গতিতে স্পষ্টভাবে প্রভাব রয়েছে। উপরের ধাপের মাপগুলির মধ্যে কোনটি সর্বোত্তমভাবে আপনার অ্যাপ্লিকেশনের উপর নির্ভর করে (যেমন উদ্দেশ্যমূলক কার্য)। কিছু ক্ষেত্রে, অভিযানের গতি, স্থিতিশীলতা এবং ধাপের আকারের মধ্যকার সম্পর্ক বিশ্লেষণ করা যেতে পারে। এই সম্পর্কটি তখন আপনি স্বাভাবিক বা অস্বাভাবিক গ্রেডিয়েন্ট বংশোদ্ভূত উত্থানের সাথে যেতে চান কিনা সে সম্পর্কে একটি ইঙ্গিত দিতে পারে।

সংক্ষিপ্তসার হিসাবে, সাধারণকরণ এবং অস্বাভাবিক গ্রেডিয়েন্ট বংশোদ্ভূত (অ্যালগোরিদমের পিছনে তত্ত্ব যতদূর যায়) এর মধ্যে কোনও পার্থক্য নেই। তবে এটি রূপান্তর এবং স্থিতিশীলতার গতিতে ব্যবহারিক প্রভাব ফেলে। একে অপরের উপরের পছন্দটি নিখুঁতভাবে প্রয়োগ / উদ্দেশ্যটির উপর ভিত্তি করে।


উদাহরণস্বরূপ, আপনি মধ্যবর্তী পদ্ধতির দিকে যেতে পারেন যেখানে আপনি প্রথম গ্রেডিয়েন্টের উপর ভিত্তি করে স্বাভাবিক করেন। এটি এখনও পদক্ষেপের আকারের ক্ষেত্রে তুলনামূলক গ্রেডিয়েন্ট আকারের বিষয়টি তৈরি করবে।
dashnick


2

(এক্স)=এক্সটিএক্সY(টি)=এক্স0/||এক্স0||*-টি। সুতরাং, আপনি সমালোচনামূলক বিন্দুর কাছে যাওয়ার সাথে সাথে গ্রেডিয়েন্টের রীতিটি দ্রুত দ্রুত হ্রাস পায়। এরকম ক্ষেত্রে খুব আস্তে আস্তে এগিয়ে যাওয়ার চেয়ে কয়েক বার ন্যূনতম জুড়ে পিছনে পিছনে ফেলা ভাল। যদিও সাধারণভাবে, প্রথম অর্ডার পদ্ধতিগুলি সমালোচনামূলক পয়েন্টগুলির আশেপাশে খুব ধীরে ধীরে একত্রিত হয়ে যায় তাই আপনি যদি সত্যতা সম্পর্কে সত্যই যত্ন নেন তবে আপনার সত্যই এগুলি ব্যবহার করা উচিত নয়। যদি আপনি বিশ্লেষণাত্মকভাবে আপনার উদ্দেশ্যটির হেসিয়ান গণনা করতে না পারেন তবে আপনি এখনও এটি (বিএফজিএস) আনুমানিক করতে পারেন।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.