জেদ ব্রাউন যেমন উল্লেখ করেছেন, ননলাইনার অপ্টিমাইজেশনের গ্রেডিয়েন্ট বংশোদ্ভূতকরণ এবং গতিশীল সিস্টেমগুলির সময় ধাপের মধ্যে সংযোগটি কিছুটা ফ্রিকোয়েন্সি দিয়ে পুনরায় আবিষ্কার করা হয়েছে (বোধগম্য, যেহেতু এটি গাণিতিক মনের সাথে একটি অত্যন্ত সন্তোষজনক সংযোগ কারণ এটি দুটি আপাতদৃষ্টিতে পৃথক ক্ষেত্রের সাথে সংযুক্ত করে)। যাইহোক, এটি খুব কমই একটি দরকারী সংযোগ হিসাবে দেখা গেছে , বিশেষত আপনার বর্ণনায় in
বিপরীত সমস্যাগুলিতে লোকেরা (অসুস্থ-পোজযুক্ত) অপারেটর সমীকরণ সহ এর পরিসরে নয়, সমাধান করতে আগ্রহী । (আপনার অনুকূল নিয়ন্ত্রণ সমস্যাটিকে এবং দিয়ে এর উদাহরণ হিসাবে দেখা যেতে পারে )) বেশ কয়েকটি নিয়মিতকরণ কৌশল (যেমন বা ল্যান্ডওবার) একক সিউডো-টাইম হিসাবে ব্যাখ্যা করা যেতে পারে একটি নির্দিষ্ট বর্গ পদক্ষেপ। বিপরীত সমস্যার একটি মৌলিক সমস্যা - এবং সম্ভবত একাধিক সিউডো-সময় পদক্ষেপগুলি তৈরি করার জন্য প্যারামিটারের জন্য কিছু (অভিযোজক, একটি পোস্টেরিয়েরি) পছন্দের নিয়মগুলি অর্জন করার জন্য নিয়মিতকরণ পরামিতিটির ব্যাখ্যাটি পদক্ষেপের দৈর্ঘ্য হিসাবে ব্যবহার করা হয় সত্য, অনিয়মিত সমাধানের অনুরূপ (অনুরূপy δ F F = A - 1 y δ = y 0এফ( u ) = yδYδএফএফ= এ- 1Yδ= y0সংখ্যাগত ধারাবাহিকতা )। একে কখনও কখনও নিয়মিত নিয়ন্ত্রণ বলা হয় , এবং সাধারণত স্তর সেট পদ্ধতির প্রসঙ্গে আলোচনা করা হয়; উদাহরণস্বরূপ, কল্টেনবেচার, স্কেরজার, নিউবাউয়ের অধ্যায় 6.1 দেখুন: ননলাইনার ইল-পোজ সমস্যাগুলির জন্য আইট্রেটিভ নিয়মিতকরণ পদ্ধতি (ডি গ্রুইটার, ২০০৮)।
এই ধারণাটি বারবার উত্সাহিত করার একটি দ্বিতীয় প্রসঙ্গ হ'ল ননলাইনী অপ্টিমাইজেশন: আপনি যদি ,
জন্য গ্রেডিয়েন্ট বংশদ্ভুত পদক্ষেপটি
তারপরে আপনি এটিকে গতিশীল সিস্টেম forward জন্য একটি ফরোয়ার্ড এলিউর পদক্ষেপ
হিসাবে ব্যাখ্যা করতে পারেন
জেড ব্রাউন যেমন উল্লেখ করেছেন, এটি প্রথম নজরে কেবলমাত্র বিস্ময়কর নয় যে পর্যবেক্ষণটি এই পদ্ধতিটি রূপান্তরিত করে, সিউডো-সময় পদক্ষেপগুলি সরবরাহ করে - যথেষ্ট ছোট। আকর্ষণীয় অংশটি আসে যখন আপনি গতিশীল ব্যবস্থাটি দেখেন এবং নিজেকে জিজ্ঞাসা করেন তথাকথিত গ্রেডিয়েন্ট প্রবাহের অবিচ্ছিন্ন সমাধান এর কী কী বৈশিষ্ট্য রয়েছে?x কে + 1 = এক্স কে - γ কে ∇ এফ ( এক্স কে ) , ˙ এক্স ( টি ) = - ∇ চ ( এক্স ( টি ) ) ,সর্বনিম্নএক্সচ( এক্স )
এক্সকে + 1= এক্সট- γট∇ চ( এক্সট) ,
এক্স˙( টি ) = - ∇ চ( এক্স ( টি ) ) ,x ( 0 ) = x0।
γটএক্স ( টি )গ্রেডিয়েন্ট বংশোদ্ভূত থেকে পৃথক (বা থাকা উচিত) রয়েছে এবং এটি স্ট্যান্ডার্ড ইউলারের চেয়ে আরও উপযুক্ত সময় পদক্ষেপ (এবং তাই অপ্টিমাইজেশন) পদ্ধতিগুলি নাও তুলতে পারে কিনা। আমার মাথার উপরের অংশের কয়েকটি উদাহরণ:
এমন কোনও প্রাকৃতিক কার্যক্ষেত্র রয়েছে যেখানে গ্রেডিয়েন্ট প্রবাহ বেঁচে থাকে? যদি তা হয় তবে আপনার গ্রেডিয়েন্ট পদক্ষেপটি একই স্থান থেকে নেওয়া উচিত (অর্থাত্ বিবেচনাশক্তি মেনে চলতে হবে)। উদাহরণস্বরূপ, বিভিন্ন অভ্যন্তরীণ পণ্যগুলি (কখনও কখনও সোবোলেভ গ্রেডিয়েন্টস বলা হয় ) এর সাথে গ্রেডিয়েন্টের রিয়েজ উপস্থাপনা গণনা করতে এবং বাস্তবে , পূর্বশর্তীকৃত পুনরাবৃত্তির দিকে যা আরও দ্রুত রূপান্তরিত করে।
হতে পারে কোনও ভেক্টর স্পেসের সাথে নয়, তবে বহুগুণে (যেমন, প্রতিসম ধনাত্মক সুনির্দিষ্ট ম্যাট্রিক) বা গ্রেডিয়েন্ট ফ্লো একটি নির্দিষ্ট আদর্শ সংরক্ষণ করা উচিত । এই ক্ষেত্রে, আপনি কাঠামো-সংরক্ষণের সময়-পদক্ষেপের স্কিমগুলি প্রয়োগ করার চেষ্টা করতে পারেন (উদাহরণস্বরূপ, উপযুক্ত লাই গ্রুপ বা জ্যামিতিক ইন্টিগ্রেটারের সাথে একটি পুল ব্যাক জড়িত)।এক্সএক্স
যদি পৃথক নয় তবে উত্তল হয়, ফরোয়ার্ড এলার পদক্ষেপটি একটি সাবগ্রাডিয়েন্ট বংশোদ্ভূত পদ্ধতির সাথে মিলে যায় যা ধাপের আকারের বিধিনিষেধের কারণে খুব ধীর হতে পারে। অন্যদিকে, একটি অন্তর্নিহিত Euler পদক্ষেপ একটি প্রক্সিমাল পয়েন্ট পদ্ধতির সাথে সামঞ্জস্য করে , যার জন্য এই জাতীয় কোনও বিধিনিষেধ প্রয়োগ হয় না (এবং যা এইভাবে ইমেজ প্রসেসিংয়ে খুব জনপ্রিয় হয়ে উঠেছে)।চ
অনুরূপ শিরাতে, এই জাতীয় পদ্ধতিগুলি এক্সট্রাপোলেশন পদক্ষেপগুলির দ্বারা উল্লেখযোগ্যভাবে ত্বরান্বিত হতে পারে। এগুলি অনুপ্রাণিত করার একটি উপায় পর্যবেক্ষণ করে যে স্ট্যান্ডার্ড ফার্স্ট অর্ডার পদ্ধতিগুলি ন্যূনতমদের নিকটে অনেকগুলি ছোট পদক্ষেপ করা থেকে ভোগ করে, কারণ গ্রেডিয়েন্ট দিকনির্দেশ "অসিলেট" (কেন সম্মিলিত গ্রেডিয়েন্টগুলি স্ট্রিপস্ট বংশোদ্ভূত থেকে উত্সাহিত করার জন্য আদর্শ চিত্রের কথা ভাবেন)। এর প্রতিকারের জন্য, কেউ প্রথম-অর্ডার গতিশীল সিস্টেমটি সমাধান না করে পুনরাবৃত্তিকে "স্যাঁতসেঁতে" করতে পারে, তবে একটি স্যাঁতসেঁতে দ্বিতীয়-আদেশ সিস্টেম:
যথাযথভাবে নির্বাচিত । যথাযথ বিচক্ষণতার সাথে, এটি ফর্মটির একটি পুনরাবৃত্তি ( পলিকের ভারী বল পদ্ধতি হিসাবে পরিচিত )
বাড়ে
একটি1এক্স¨( টি ) + এ2এক্স˙( টি ) = - ∇ চ( এক্স ( টি ) )
একটি1, ক2এক্সকে + 1= এক্সট- γট∇ চ( এক্সট) + + Αট( এক্সট- এক্সকে - 1)
( কে উপর নির্ভর করে )। প্রক্সিমাল পয়েন্ট পদ্ধতির জন্য অনুরূপ ধারণাগুলি বিদ্যমান, উদাহরণস্বরূপ, ডার্ক লরেঞ্জ এবং থমাস পকের লেখা http://arxiv.org/pdf/1403.3522.pdf পেপারটি দেখুন ।γট, αটএকটি1, ক2
(আমার জ্ঞানের সাথে আমার এটি যোগ করা উচিত, এই ক্ষেত্রে বেশিরভাগ ক্ষেত্রে ডায়নামিকাল সিস্টেম হিসাবে ব্যাখ্যাটি অ্যালগরিদমের অভিব্যক্তি বা রূপান্তর প্রমাণের জন্য কঠোরভাবে প্রয়োজন ছিল না; কেউ যুক্তি দিতে পারে যে "অন্তর্নিহিত বনাম সুস্পষ্ট" বা মিথ্যা ডেরিভেটিভসের মত ধারণা) ডায়নামিকাল সিস্টেম বা গ্রেডিয়েন্ট বংশোদ্ভূত পদ্ধতিগুলির তুলনায় প্রকৃতপক্ষে আরও মৌলিক Still তবে তবুও সমস্যাটি দেখার জন্য অন্য দৃষ্টিভঙ্গি পোষণ করা কখনই ব্যাথা করে না))
সম্পাদনা: আমি কেবল দ্বিতীয় প্রসঙ্গে একটি দুর্দান্ত উদাহরণ পেয়েছি, যেখানে ওডিই ব্যাখ্যাটি নেস্টারভের বহির্মুখী পদ্ধতির বৈশিষ্ট্যগুলি কাটাতে এবং উন্নতির পরামর্শ দেওয়ার জন্য ব্যবহৃত হয়:
http://arxiv.org/pdf/1503.01243.pdf
(নোট এটিও জেদ ব্রাউন এর বক্তব্যটির একটি উদাহরণ, এতে লেখকরা পলিকের অ্যালগরিদম সম্পর্কে স্পষ্টতই অবগত না হয়েই উপরের পয়েন্টটি পুনরায় আবিষ্কার করেছেন isc)
সম্পাদনা 2: এবং আপনি এটি কতদূর নিতে পারবেন তার ইঙ্গিত হিসাবে, http://arxiv.org/pdf/1509.03616v1.pdf এর 5 পৃষ্ঠা দেখুন ।