গ্রেডিয়েন্ট বংশোদ্ভূত অবসানের শর্তটিকে কীভাবে সংজ্ঞায়িত করবেন?

আসলে, আমি আপনাকে জিজ্ঞাসা করতে চেয়েছিলাম যে আমি গ্রেডিয়েন্ট বংশোদ্ভূত হওয়ার জন্য কীভাবে স্থায়ী শর্তটি সংজ্ঞায়িত করতে পারি।

আমি কি পুনরাবৃত্তির সংখ্যার উপর ভিত্তি করে এটি থামাতে পারি, অর্থাৎ 100 টি পুনরাবৃত্তির জন্য প্যারামিটারের মান বিবেচনা করে?

বা আমার কি এমন অপেক্ষা করা উচিত যে দুটি নতুন প্যারামিটারের মান 'নতুন' এবং 'পুরাতন' এর মধ্যে খুব ছোট, say বলতে দেয় ? এটি অবশ্যই অনেক সময় নেবে। $10^{-6}$

সবচেয়ে ভালো উপায় কি? আমার ক্ষেত্রে এমনকি একটি পুনরাবৃত্তি উল্লেখযোগ্য সময় নেয়। এই পরিস্থিতিতে যদি আমি ২ য় শর্তের জন্য অপেক্ষা করি তবে আমার অনুমান হতে পারে এটি এমনকি কয়েক সপ্তাহ সময় নিতে পারে।

সুতরাং আমি কোন পদ্ধতির ব্যবহার করা উচিত। কীভাবে এই পরিস্থিতি সামাল দিতে?

algorithms optimization gradient-descent

— user31820
সূত্র

এটি সুস্পষ্টভাবে বলা হয়নি, তবে আমি ধরে নিচ্ছি যে আপনি কোনও এমএলই খোঁজার চেষ্টা করছেন। আপনার ফলাফলটি পুরোপুরি আপনার প্যারামিটার জায়গার উপর নির্ভর করে, আপনার সম্ভাবনা ফাংশন এবং আপনার প্রয়োজনগুলি (ওরফে, সেরাটি ভালভাবে সংজ্ঞায়িত হয় না)। আপনি যদি অ্যাসিপোটোটিক দক্ষতার মতো তাত্ত্বিক ন্যায়সঙ্গততার সন্ধান করছেন; লে'ক্যামের শর্তে আপনি কেবলমাত্র এক-পদক্ষেপের এমএলই ব্যবহার করতে পারেন (আরও অনুমানের অধীনে আপনি নিউটনের পদ্ধতিটি এবং আপনার গ্রেডিয়েন্ট বংশদ্ভুতের জন্য স্কোর ফাংশনটি ব্যবহার করছেন)। এটির জন্য আপনার প্রারম্ভিক মানটি এমন যে সম্ভাব্যতার মধ্যে ।

n^{1 / 2} {\hat{θ}}_{0} \to θ

$n^{1/2}\hat{\theta}_0 \rightarrow \theta$

— জোনাথন লিসিক

সুতরাং অপেক্ষা করুন, যখন আপনি বলেছিলেন "নতুন" - "পুরাতন" যথেষ্ট পরিমাণে ছোট, এটি কি গ্রেডিয়েন্ট বংশোদ্ভূত হওয়ার জন্য একটি ভুল সমাপ্তির শর্ত? (যদি উপপাদকের মতো স্থির বিন্দু প্রয়োগ হয় তবে সেই অবস্থাটি ঠিক হওয়া উচিত?)

— চার্লি পার্কার

যে কোনও একটি থামাতে পারে যখন ফাংশন মান , বা গ্রেডিয়েন্টস , বা প্যারামিটার , আপেক্ষিক বা নিখুঁতভাবে চলাচল বন্ধ করে দেয় বলে মনে হয়। তবে অনুশীলনে প্যারামিটার .. এটি অনেক বেশি যাতে তারা ভাজ করা হয় তবে প্রতিটি প্রোগ্রাম এটি আলাদাভাবে করে। কোনও চিত্রের জন্য ম্যাথওয়ার্কস সহনশীলতা এবং স্টপিং মানদণ্ড দেখুন ।

f_{i}

$f_i$

\nabla f_{i}

$\nabla f_i$

x_{i}

$x_i$

3 \times 2

$3 \times 2$ ftolabs ftolrelxtolabs

— ডেনিস

দুর্দান্ত প্রশ্ন। আমি সাহিত্যে প্রচুর থামার নিয়মগুলি দেখেছি এবং প্রসঙ্গে উপর নির্ভর করে প্রত্যেকের বিভিন্ন সুবিধা এবং অসুবিধাগুলি রয়েছে। optimউদাহরণস্বরূপ, আর- এ ফাংশনটির কমপক্ষে তিনটি পৃথক স্টপিং বিধি রয়েছে:

maxit, অর্থাত্ পূর্ব নির্ধারিত সর্বাধিক সংখ্যা rations আর একটি অনুরূপ বিকল্প আমি সাহিত্যে দেখেছি সময় নির্ধারণের আগে সেকেন্ডের একটি সংখ্যা of আপনার যা দরকার তা যদি একটি আনুমানিক সমাধান হয় তবে এটি খুব যুক্তিসঙ্গত হতে পারে। আসলে, এখানে মডেলগুলির (বিশেষত রৈখিক মডেল) ক্লাস রয়েছে যার জন্য প্রথম দিকে থামানো আপনার প্যারামিটারের মানগুলির আগে গাউসিয়ান রাখার সমান। একজন ঘনঘনবাদী বলতেন আপনার পূর্বের পরিবর্তে "এল 2 আদর্শ" রয়েছে তবে তারা এটি করার পক্ষে যুক্তিসঙ্গত জিনিস হিসাবেও ভাবেন। আমি কেবল এই কাগজটি স্কাইম করেছি , তবে এটি তাড়াতাড়ি থামানো এবং নিয়মিতকরণের মধ্যে সম্পর্কের কথা বলে এবং আপনাকে আরও তথ্যের দিকে নির্দেশ করতে পারে might তবে সংক্ষিপ্ত সংস্করণটি হ্যাঁ, আপনি যা করছেন তার উপর নির্ভর করে তাড়াতাড়ি থামানো একটি উপযুক্ত সম্মানজনক জিনিস হতে পারে
abstol, অর্থাত্, ফাংশনটি "যথেষ্ট কাছে" শূন্যের হয়ে গেলে থামুন। এটি আপনার পক্ষে প্রাসঙ্গিক নাও হতে পারে (এটি আপনি শূন্যের আশা করছেন বলে মনে হচ্ছে না), তাই আমি এড়িয়ে যাব।
reltol, যা আপনার দ্বিতীয় পরামর্শের মতো - যখন উন্নতি একটি প্রান্তিকের নীচে নেমে যায় তখন থামুন। আমি আসলে এটিতে কতটা তত্ত্ব আছে তা জানি না, তবে আপনি সম্ভবত সর্বনিম্ন সংখ্যার পুনরাবৃত্তির চেয়ে কম মিনিমা পাবেন। যদি এটি আপনার কাছে গুরুত্বপূর্ণ, তবে এটি আরও পুনরাবৃত্তির জন্য কোড চালানো উপযুক্ত।

নিয়ম বন্ধ করার অন্য একটি পরিবারকে প্রশিক্ষণের ডেটা না করে বৈধতা ডেটা সেট (বা ক্রস-বৈধকরণ সহ) ব্যয় কার্যকারিতাটি অনুকূল করতে হবে। আপনি কীসের জন্য আপনার মডেলটি ব্যবহার করতে চান তার উপর নির্ভর করে আপনার প্রশিক্ষণের ডেটাতে স্থানীয় সর্বনিম্নে পৌঁছানোর আগে আপনি ভালভাবে থামতে চাইতে পারেন, কারণ এটি অত্যধিক মানসিকতার সাথে জড়িত থাকতে পারে। আমি নিশ্চিত যে ট্রেভর হাসিটি এটি করার ভাল উপায় সম্পর্কে লিখেছেন, তবে আমি উদ্ধৃতিটি মনে করতে পারি না।

যুক্তিসঙ্গত পরিমাণে কম মিনিমা সন্ধানের অন্যান্য সম্ভাব্য বিকল্পগুলির মধ্যে অন্তর্ভুক্ত থাকতে পারে:

স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত, যার জন্য আপনার ডেটার ক্ষুদ্র অংশের জন্য গ্রেডিয়েন্টগুলি একবারে অনুমান করা প্রয়োজন (উদাহরণস্বরূপ "খাঁটি" এসজিডি বা একটি ছোট মিনি-ব্যাচগুলির জন্য একটি ডেটা পয়েন্ট)।
আরও উন্নততর অপ্টিমাইজেশান ফাংশন (যেমন নিউটন-ধরণের পদ্ধতি বা কনজুগেট গ্রেডিয়েন্ট), যা আপনাকে আরও ভাল দিক নির্দেশ করতে এবং উতরাইয়ের পথে আপনি আরও ভাল পদক্ষেপ গ্রহণের জন্য আরও ভাল পদক্ষেপের আকার নিতে সহায়তা করতে আপনার উদ্দেশ্য ফাংশনের বক্রতা সম্পর্কে তথ্য ব্যবহার করেন।
আপনার আপডেটের নিয়মে একটি "গতিশীল" শব্দ, যাতে আপনার অপটিমাইজার আপনার উদ্দেশ্যমূলক কার্যক্রমে গিরিখাত প্রাচীরকে আবদ্ধ করার পরিবর্তে উতরাইয়ের দিকে ঘোরানোর আরও ভাল কাজ করে।

আমি অনলাইনে পাওয়া এই বক্তৃতা নোটগুলিতে এই পদ্ধতির সমস্ত আলোচনা করা হয়েছে ।

আশাকরি এটা সাহায্য করবে!

ওহ সম্পাদনা করুন এবং আপনি আরও ভাল মানের মান পেতে চেষ্টা করতে পারেন (উদাহরণস্বরূপ সমস্যার একটি সহজ সংস্করণ সমাধান করে) যাতে আপনার "উষ্ণ শুরু" থেকে সর্বোত্তমের কাছাকাছি যেতে কম পুনরাবৃত্তি লাগে।

— ডেভিড জে হ্যারিস
সূত্র

নির্দিষ্ট সংখ্যক পুনরাবৃত্তিগুলি বেছে নেওয়ার সমস্যাটি হ'ল যদি না আপনি আপনার ব্যয় বক্ররেখা পরিষ্কারভাবে উদ্ঘাটিত করতে না পারেন (এবং এটিতে খুব কম শব্দ হয়) তবে কতগুলি পুনরাবৃত্তি খুব বেশি তা জানা মুশকিল, বিশেষত যদি অপ্টিমাইজেশন ফাংশন জটিল এবং কে জানে এর কত স্থানীয় নূন্যতম রয়েছে এবং যদি আপনি এলোমেলোভাবে ইনিশিয়ালাইজেশন পেয়ে থাকেন তবে এটি সমস্যাটিকে আরও খারাপ করে দেয়, কারণ এটি একটি ভাল "ছোট" সংখ্যার পুনরাবৃত্তিটি কী তা অনুমান করা আরও শক্ত করে তোলে। আপনি যদি প্রাথমিকভাবে থামানো ব্যবহার করতে চান তবে আপনি কীভাবে এই সমস্যাগুলিকে বাস্তবে সমাধান করবেন? আপনি কীভাবে নিশ্চিত হন যে আপনি খুব বেশি অঙ্কুর বা আন্ডারশুট করবেন না?

— চার্লি পার্কার

আমি স্পষ্ট করে বলতে চাই reltol(অর্থাত্‍ যখন "উন্নতি" হওয়া বন্ধ হবে) এর অর্থ কী। প্রথম উন্নতি অর্থ হ্রাস কমানোর অর্থ। সুতরাং আমি ধরে নেব যে আপনি যা বলতে চাইছেন তা হ'ল, যখন ব্যয় ফাংশনটি কমতে থাকে (বা বাড়তে শুরু করে) এক থামে, তাই না? কেউ আসলে "| পুরাতন - নতুন |" করে না আপডেটের নিয়মের ধরণ, তাই না?

— চার্লি পার্কার

abstolপ্যারামিটার শুধুমাত্র জ্ঞান করে তোলে যদি আপনি খরচ ফাংশন, না খরচ ফাংশন নিজেই গ্রেডিয়েন্টের সহনশীলতা গ্রহণ করছেন। স্থানীয় অপ্টিমাইজারে, গ্রেডিয়েন্টের মান শূন্য হয়; তবে ফাংশনের মান নয়।

— মারিও বেরসার

"ওয়ার্ম স্টার্ট" একটি খুব চালাক কৌশল! ধন্যবাদ

— মেহেদী লামরানী