এটি কি সর্বজনবিদিত সমস্যাগুলি সময়-পদক্ষেপের সমান?


19

কাঙ্ক্ষিত রাষ্ট্র প্রদত্ত এবং নিয়মিতকরণ প্যারামিটার , একটি রাষ্ট্র খুঁজে বের করার সমস্যা বিবেচনা এবং একটি নিয়ন্ত্রণ একটি কার্মিক কমান ra সীমাবদ্ধতা সাপেক্ষে \ আরম্ভ {সমীকরণ} আই = u u \ শেষ {সমীকরণ} যেখানে সরলীকরণের জন্য আমরা মনে করতে পারেন Y, y_0, U- \ এ \ mathbb আর ^ এন এবং একটি \ এ \ mathbb আর ^ {n \ n বার এন} β R y u 1Y0βআরYতোমার দর্শন লগ করাy=uy,y0,uRnARn×n

12Y-Y02+ +β2তোমার দর্শন লগ করা2
একজনY=তোমার দর্শন লগ করা
Y,Y0,তোমার দর্শন লগ করাআরএনএকজনআরএন×এন

লাগাগঞ্জিয়ান গঠন করে, স্থির পয়েন্টগুলি সন্ধান করা এবং নিয়ন্ত্রণটি সরিয়ে তোমার দর্শন লগ করা আমাদের প্রথম-ক্রমের শর্তগুলি পান

একজনটিλ=Y0-YএকজনY=1βλ
Premultiplying দ্বারা একজন প্রথম সমীকরণ এবং একজনটি দ্বিতীয়, আমরা লিখতে পারি স্বাভাবিক সমীকরণ
(আমি+ +βএকজনএকজনটি)λ=βএকজনY0(আমি+ +βএকজনটিএকজন)Y=Y0
আমরা এগুলিকে পার্থক্যযুক্ত সমীকরণের পিছনে rলারের অনুমানের একক পদক্ষেপ হিসাবে ব্যাখ্যা করতে পারি
λ=-একজনএকজনটিλ+ +একজনY0,λ(0)=0Y=-একজনটিএকজনY,Y(0)=Y0
সিউডোটাইমস্টেপ β

আমার প্রশ্ন: এই সংযোগটি কি সুপরিচিত? এটি কি টাইম টেপিং বা অপ্টিমাইজেশনের মানিক চিকিত্সায় আলোচনা করা হয়? (আমার কাছে মনে হয় এটি তাদের মধ্যে এক ধরণের স্বজ্ঞাত সংযোগ সরবরাহ করেছে))

ধারণাটি যথেষ্ট সহজ বলে মনে হচ্ছে যে এটি সুপরিচিত হওয়া উচিত, তবে সাহিত্য অনুসন্ধান করা বা লোকজনের সাথে কথা বলা আমাকে কোনও ভাল উত্সই দেয়নি যেখানে এই বিষয়ে আলোচনা করা হয়েছে। নিকটতম আমি খুঁজে পেয়েছি ও। শিের্জার এবং জে ওয়েচার্ট (জে ম্যাথ ইমেজিং ভিশন 12 (2000) পিপি। 43-63) এর একটি কাগজ যা অ্যাবস্ট্রাক্টের প্রথম বাক্যে সংযোগটি বর্ণনা করেছে (!) তবে তা নয় কোনও রেফারেন্স সরবরাহ করুন বা কোনও গভীরতায় সংযোগটি অন্বেষণ করুন।

আদর্শভাবে আমি এমন একটি রেফারেন্স খুঁজছি যা কেবল সংযোগটিই বর্ণনা করে না তবে এর কিছু পরিণতিও অন্বেষণ করে (উদাহরণস্বরূপ, একটি সস্তা ফরওয়ার্ড ইউলার পদক্ষেপে একটি অপ্টিমাইজেশান সমস্যাটি পূর্বশর্ত হিসাবে কল্পনা করতে পারে)।


1
বিস্তৃতভাবে বলতে গেলে (এবং আপনি সম্ভবত ইতিমধ্যে জানেন), সিউডো-টাইম স্টেপিং অ্যাপ্রোচগুলি বীজগণিত সমীকরণগুলি সমাধান করার জন্য সুপরিচিত পদ্ধতি (যেমন আপনি যে কে কেটি সিস্টেমটি বর্ণনা করেছেন) ODEs এর সেটগুলির স্থিতিশীল অবস্থা খুঁজে বের করার সমস্যাটি ফেলেছেন ing সময়ের পরিবর্তনশীলটি আসলে একটি সিউডো-টাইম। তবে, আমি একা পশ্চাৎ ইউলার পদক্ষেপে কেকেটি শর্তগুলির নির্দিষ্ট উদাহরণ সম্পর্কিত কোনও নির্দিষ্ট সংযোগ সম্পর্কে অবগত নই।
জেফ অক্সবেরি

অন্যদিকে , আপনাকে কেবল দুটি ওডিইর একটি সমাধান করতে হবে , যেহেতু আপনি প্রথম-ক্রমের প্রয়োজনীয় শর্তগুলির মধ্যে একটি যেমন থেকে গণনা করতে পারেন । λYλ
ক্রিশ্চান ক্লাসন

উত্তর:


17

জেদ ব্রাউন যেমন উল্লেখ করেছেন, ননলাইনার অপ্টিমাইজেশনের গ্রেডিয়েন্ট বংশোদ্ভূতকরণ এবং গতিশীল সিস্টেমগুলির সময় ধাপের মধ্যে সংযোগটি কিছুটা ফ্রিকোয়েন্সি দিয়ে পুনরায় আবিষ্কার করা হয়েছে (বোধগম্য, যেহেতু এটি গাণিতিক মনের সাথে একটি অত্যন্ত সন্তোষজনক সংযোগ কারণ এটি দুটি আপাতদৃষ্টিতে পৃথক ক্ষেত্রের সাথে সংযুক্ত করে)। যাইহোক, এটি খুব কমই একটি দরকারী সংযোগ হিসাবে দেখা গেছে , বিশেষত আপনার বর্ণনায় in

বিপরীত সমস্যাগুলিতে লোকেরা (অসুস্থ-পোজযুক্ত) অপারেটর সমীকরণ সহ এর পরিসরে নয়, সমাধান করতে আগ্রহী । (আপনার অনুকূল নিয়ন্ত্রণ সমস্যাটিকে এবং দিয়ে এর উদাহরণ হিসাবে দেখা যেতে পারে )) বেশ কয়েকটি নিয়মিতকরণ কৌশল (যেমন বা ল্যান্ডওবার) একক সিউডো-টাইম হিসাবে ব্যাখ্যা করা যেতে পারে একটি নির্দিষ্ট বর্গ পদক্ষেপ। বিপরীত সমস্যার একটি মৌলিক সমস্যা - এবং সম্ভবত একাধিক সিউডো-সময় পদক্ষেপগুলি তৈরি করার জন্য প্যারামিটারের জন্য কিছু (অভিযোজক, একটি পোস্টেরিয়েরি) পছন্দের নিয়মগুলি অর্জন করার জন্য নিয়মিতকরণ পরামিতিটির ব্যাখ্যাটি পদক্ষেপের দৈর্ঘ্য হিসাবে ব্যবহার করা হয় সত্য, অনিয়মিত সমাধানের অনুরূপ (অনুরূপy δ F F = A - 1 y δ = y 0এফ(তোমার দর্শন লগ করা)=YδYδএফএফ=একজন-1Yδ=Y0সংখ্যাগত ধারাবাহিকতা )। একে কখনও কখনও নিয়মিত নিয়ন্ত্রণ বলা হয় , এবং সাধারণত স্তর সেট পদ্ধতির প্রসঙ্গে আলোচনা করা হয়; উদাহরণস্বরূপ, কল্টেনবেচার, স্কেরজার, নিউবাউয়ের অধ্যায় 6.1 দেখুন: ননলাইনার ইল-পোজ ​​সমস্যাগুলির জন্য আইট্রেটিভ নিয়মিতকরণ পদ্ধতি (ডি গ্রুইটার, ২০০৮)।

এই ধারণাটি বারবার উত্সাহিত করার একটি দ্বিতীয় প্রসঙ্গ হ'ল ননলাইনী অপ্টিমাইজেশন: আপনি যদি , জন্য গ্রেডিয়েন্ট বংশদ্ভুত পদক্ষেপটি তারপরে আপনি এটিকে গতিশীল সিস্টেম forward জন্য একটি ফরোয়ার্ড এলিউর পদক্ষেপ হিসাবে ব্যাখ্যা করতে পারেন জেড ব্রাউন যেমন উল্লেখ করেছেন, এটি প্রথম নজরে কেবলমাত্র বিস্ময়কর নয় যে পর্যবেক্ষণটি এই পদ্ধতিটি রূপান্তরিত করে, সিউডো-সময় পদক্ষেপগুলি সরবরাহ করে - যথেষ্ট ছোট। আকর্ষণীয় অংশটি আসে যখন আপনি গতিশীল ব্যবস্থাটি দেখেন এবং নিজেকে জিজ্ঞাসা করেন তথাকথিত গ্রেডিয়েন্ট প্রবাহের অবিচ্ছিন্ন সমাধান এর কী কী বৈশিষ্ট্য রয়েছে?x কে + 1 = এক্স কে - γ কেএফ ( এক্স কে ) , ˙ এক্স ( টি ) = - ( এক্স ( টি ) ) ,সর্বনিম্নএক্স(এক্স)

এক্স+ +1=এক্স-γ(এক্স),
এক্স˙(টি)=-(এক্স(টি)),এক্স(0)=এক্স0
γএক্স(টি)গ্রেডিয়েন্ট বংশোদ্ভূত থেকে পৃথক (বা থাকা উচিত) রয়েছে এবং এটি স্ট্যান্ডার্ড ইউলারের চেয়ে আরও উপযুক্ত সময় পদক্ষেপ (এবং তাই অপ্টিমাইজেশন) পদ্ধতিগুলি নাও তুলতে পারে কিনা। আমার মাথার উপরের অংশের কয়েকটি উদাহরণ:
  1. এমন কোনও প্রাকৃতিক কার্যক্ষেত্র রয়েছে যেখানে গ্রেডিয়েন্ট প্রবাহ বেঁচে থাকে? যদি তা হয় তবে আপনার গ্রেডিয়েন্ট পদক্ষেপটি একই স্থান থেকে নেওয়া উচিত (অর্থাত্ বিবেচনাশক্তি মেনে চলতে হবে)। উদাহরণস্বরূপ, বিভিন্ন অভ্যন্তরীণ পণ্যগুলি (কখনও কখনও সোবোলেভ গ্রেডিয়েন্টস বলা হয় ) এর সাথে গ্রেডিয়েন্টের রিয়েজ উপস্থাপনা গণনা করতে এবং বাস্তবে , পূর্বশর্তীকৃত পুনরাবৃত্তির দিকে যা আরও দ্রুত রূপান্তরিত করে।

  2. হতে পারে কোনও ভেক্টর স্পেসের সাথে নয়, তবে বহুগুণে (যেমন, প্রতিসম ধনাত্মক সুনির্দিষ্ট ম্যাট্রিক) বা গ্রেডিয়েন্ট ফ্লো একটি নির্দিষ্ট আদর্শ সংরক্ষণ করা উচিত । এই ক্ষেত্রে, আপনি কাঠামো-সংরক্ষণের সময়-পদক্ষেপের স্কিমগুলি প্রয়োগ করার চেষ্টা করতে পারেন (উদাহরণস্বরূপ, উপযুক্ত লাই গ্রুপ বা জ্যামিতিক ইন্টিগ্রেটারের সাথে একটি পুল ব্যাক জড়িত)।এক্সএক্স

  3. যদি পৃথক নয় তবে উত্তল হয়, ফরোয়ার্ড এলার পদক্ষেপটি একটি সাবগ্রাডিয়েন্ট বংশোদ্ভূত পদ্ধতির সাথে মিলে যায় যা ধাপের আকারের বিধিনিষেধের কারণে খুব ধীর হতে পারে। অন্যদিকে, একটি অন্তর্নিহিত Euler পদক্ষেপ একটি প্রক্সিমাল পয়েন্ট পদ্ধতির সাথে সামঞ্জস্য করে , যার জন্য এই জাতীয় কোনও বিধিনিষেধ প্রয়োগ হয় না (এবং যা এইভাবে ইমেজ প্রসেসিংয়ে খুব জনপ্রিয় হয়ে উঠেছে)।

  4. অনুরূপ শিরাতে, এই জাতীয় পদ্ধতিগুলি এক্সট্রাপোলেশন পদক্ষেপগুলির দ্বারা উল্লেখযোগ্যভাবে ত্বরান্বিত হতে পারে। এগুলি অনুপ্রাণিত করার একটি উপায় পর্যবেক্ষণ করে যে স্ট্যান্ডার্ড ফার্স্ট অর্ডার পদ্ধতিগুলি ন্যূনতমদের নিকটে অনেকগুলি ছোট পদক্ষেপ করা থেকে ভোগ করে, কারণ গ্রেডিয়েন্ট দিকনির্দেশ "অসিলেট" (কেন সম্মিলিত গ্রেডিয়েন্টগুলি স্ট্রিপস্ট বংশোদ্ভূত থেকে উত্সাহিত করার জন্য আদর্শ চিত্রের কথা ভাবেন)। এর প্রতিকারের জন্য, কেউ প্রথম-অর্ডার গতিশীল সিস্টেমটি সমাধান না করে পুনরাবৃত্তিকে "স্যাঁতসেঁতে" করতে পারে, তবে একটি স্যাঁতসেঁতে দ্বিতীয়-আদেশ সিস্টেম: যথাযথভাবে নির্বাচিত । যথাযথ বিচক্ষণতার সাথে, এটি ফর্মটির একটি পুনরাবৃত্তি ( পলিকের ভারী বল পদ্ধতি হিসাবে পরিচিত ) বাড়ে

    একটি1এক্স¨(টি)+ +একটি2এক্স˙(টি)=-(এক্স(টি))
    একটি1,একটি2
    এক্স+ +1=এক্স-γ(এক্স)+ +α(এক্স-এক্স-1)
    ( কে উপর নির্ভর করে )। প্রক্সিমাল পয়েন্ট পদ্ধতির জন্য অনুরূপ ধারণাগুলি বিদ্যমান, উদাহরণস্বরূপ, ডার্ক লরেঞ্জ এবং থমাস পকের লেখা http://arxiv.org/pdf/1403.3522.pdf পেপারটি দেখুনγ,αএকটি1,একটি2

(আমার জ্ঞানের সাথে আমার এটি যোগ করা উচিত, এই ক্ষেত্রে বেশিরভাগ ক্ষেত্রে ডায়নামিকাল সিস্টেম হিসাবে ব্যাখ্যাটি অ্যালগরিদমের অভিব্যক্তি বা রূপান্তর প্রমাণের জন্য কঠোরভাবে প্রয়োজন ছিল না; কেউ যুক্তি দিতে পারে যে "অন্তর্নিহিত বনাম সুস্পষ্ট" বা মিথ্যা ডেরিভেটিভসের মত ধারণা) ডায়নামিকাল সিস্টেম বা গ্রেডিয়েন্ট বংশোদ্ভূত পদ্ধতিগুলির তুলনায় প্রকৃতপক্ষে আরও মৌলিক Still তবে তবুও সমস্যাটি দেখার জন্য অন্য দৃষ্টিভঙ্গি পোষণ করা কখনই ব্যাথা করে না))


সম্পাদনা: আমি কেবল দ্বিতীয় প্রসঙ্গে একটি দুর্দান্ত উদাহরণ পেয়েছি, যেখানে ওডিই ব্যাখ্যাটি নেস্টারভের বহির্মুখী পদ্ধতির বৈশিষ্ট্যগুলি কাটাতে এবং উন্নতির পরামর্শ দেওয়ার জন্য ব্যবহৃত হয়: http://arxiv.org/pdf/1503.01243.pdf (নোট এটিও জেদ ব্রাউন এর বক্তব্যটির একটি উদাহরণ, এতে লেখকরা পলিকের অ্যালগরিদম সম্পর্কে স্পষ্টতই অবগত না হয়েই উপরের পয়েন্টটি পুনরায় আবিষ্কার করেছেন isc)

সম্পাদনা 2: এবং আপনি এটি কতদূর নিতে পারবেন তার ইঙ্গিত হিসাবে, http://arxiv.org/pdf/1509.03616v1.pdf এর 5 পৃষ্ঠা দেখুন


আমি এই উত্তরটি গ্রহণ করছি কারণ দ্বিতীয় অনুচ্ছেদে আমি যে প্রশ্নটি জিজ্ঞাসা করতে চাইছিলাম তার সরাসরি উত্তর দেয়, তবে জেড ব্রাউনয়ের উত্তরও আমি পছন্দ করি।
অ্যান্ড্রু টি বার্কার

13

আপনি এখানে লিখেছেন এমন সঠিক সূত্রটি আমি দেখতে পাইনি, আমি এমন আলাপগুলি দেখছি যা লোকেরা কিছু ক্ষণস্থায়ী সিস্টেমকে সংহত করার সংযোগ "পুনরায় আবিষ্কার" করে এবং একটি রূপকে বীজগণিত-সমীকরণযুক্ত একটি অ্যালগোরিদম লিখতে এগিয়ে যায় বা একটি বিদ্যমান গ্রেডিয়েন্ট বংশোদ্ভূত বা নিউটনের মতো পদ্ধতি এবং অন্য কাউকে উদ্ধৃত করতে ব্যর্থ। আমি মনে করি এটি খুব কার্যকর নয় কারণ উপসংহারটি মূলত এই যে "যতক্ষণ আপনি যথেষ্ট ছোট পদক্ষেপ গ্রহণ করেন ততক্ষণ পদ্ধতিটি স্থানীয়ভাবে সর্বনিম্নে রূপান্তরিত হয়"। ঠিক আছে, 2014 ফিলিপ ওল্ফের কাগজের 45 তম বার্ষিকী উপলক্ষে দেখানো হয়েছে যে কীভাবে এটি একটি মূলত পদ্ধতিতে করবেন। সিউডোট্রান্সিয়েন্ট ধারাবাহিকতা এবং লেভেনবার্গ-মার্কোয়ার্ডের মতো সম্পর্কিত পদ্ধতিগুলি থেকে কিউ-কোয়াড্রাটিক বা কিউ-সুপারলাইনার রূপান্তর প্রাপ্তির জন্যও ভাল তত্ত্ব রয়েছে।

আপনি যদি 600 টিরও বেশি কাগজপত্রের সাথে গণিতবিদের বীজগণিত সমীকরণগুলি (যেমন, ধ্রুপদী সিউডোট্রান্সিয়েন্ট ধারাবাহিকতা) সমাধানের জন্য নিউটনের মতো সূত্র ব্যবহার করে এই পুনরায় আবিষ্কারের উদাহরণ চান তবে (সম্ভবত তিনি আপনাকে আকর্ষণীয় বলে প্রমাণিত করবেন), দেখুন " এজি র‌্যাম দ্বারা গতিশীল সিস্টেম পদ্ধতি "[1]।

যদি একটি ক্ষণস্থায়ী ব্যবস্থা বিবেচনা করে অন্তর্দৃষ্টিটি ব্যবহারিক অ্যালগরিদমগুলিকে নিয়ে যায় যা দ্রুত বা আরও নির্ভরযোগ্য হয় তবে আমি মনে করি আমরা সেই বিষয়ে উচ্চ-উদ্ধৃত নিবন্ধগুলি দেখতে চাই। আমার মনে হয় নোসেডাল এবং রাইটের ১৩০০০ এরও বেশি উদ্ধৃতি রয়েছে এবং র‌্যামের বইটিতে প্রায় ৮০ টি (বেশিরভাগ স্ব-উদ্ধৃতি) রয়েছে it's

[1] আমি আপনাকে পরামর্শ দিতে পারি যে প্রফেসর র্যামকে অবহিত না করতে যে তাঁর ডিএসএম বীজগণিতভাবে সমান যে এমন কিছু যা কয়েক দশক ধরে অসংখ্য ইঞ্জিনিয়ারিং প্যাকেজে রয়েছে বা আপনি নিজেকে ঘর থেকে বের করে দিতে পারেন। #gradstudentmemories


3
আপনি তাকে বলতে দেখতে আরও আকর্ষণীয় হতে পারেন যে এখন, জেড!
বিল বার্থ

0

যদি ওডিই পদ্ধতিগুলি অপ্টিমাইজেশনে অবদান রাখতে পারে, তবে এটি দেখানোর সত্যিই কি সাধারণ উদাহরণ আছে?
একজন খড়ের মানুষ: এমন কোনও ওডিই সলভার রয়েছে যা যুক্তিসঙ্গত কাজ করে
এক্স˙=-(এক্স)
এক্স¨=βএক্স˙-α(এক্স)  

অনুশীলনে, "খুব বড়" পদক্ষেপগুলি "খুব ছোট" এর চেয়ে অনেক বেশি সমস্যাযুক্ত - দোলনগুলি অগোছালো are
আমি নির্লিপ্তভাবে ভাবতাম যে নিয়ন্ত্রণ তত্ত্ব সাহায্য করতে পারে। সংখ্যার রেসিপি পি। 915
ওআইডিগুলির জন্য পিআই অভিযোজিত স্টেপসাইজ কন্ট্রোলটিকে বর্ণনা করে , তবে আমি জানি না এটি ব্যবহারে ব্যবহৃত হয় কিনা।


মনে হচ্ছে আপনি উত্তর হিসাবে একটি নতুন প্রশ্ন পোস্ট করছেন ... স্পর্শকাতরভাবে সম্পর্কিত প্রশ্নগুলি পৃথক প্রশ্নে বা দেওয়া উত্তরগুলিতে মন্তব্য করা উচিত।
পল

@ পল, এটি কি আদৌ বোঝায়? যদি তা হয় তবে আপনি কি দয়া করে নতুন প্রশ্নের জন্য একটি শিরোনাম প্রস্তাব করতে পারেন?
ডেনিস

আমি বিভ্রান্ত ... আমি ভুল হতে পারি, তবে মনে হচ্ছে আপনার প্রতিক্রিয়াটি আসলে ওপি-র প্রশ্নে আসে না। আপনি যে বার্তাটি জানাতে চাইছেন তা আসলে কী এবং এটি মূল প্রশ্নের সাথে কীভাবে সম্পর্কিত?
পল

@ পল, দুঃখিত আমি পরিষ্কার নই আমি যে প্রশ্নটি বুঝতে পেরেছি তা নির্দিষ্ট অপ্টিমাইজেশান সমস্যা এবং সময়-পদক্ষেপের ওরফে ওডিই সলভারগুলির মধ্যে একটি সম্পর্ক চায়। ক্রিশ্চান ক্ল্যাসন গ্রেডিয়েন্ট বংশোদ্ভূত এবং একটি নির্দিষ্ট ওডিই সলভার (ফরোয়ার্ড-ইউলার) এর মধ্যে সরাসরি সম্পর্ককে নির্দেশ করে। আমি মন্তব্য করি, একটি সাধারণ পরীক্ষা ফাংশন কী চ () যা কোনও ওডিই সল্ভারে ন্যূনতম (এফ) এর দিকে অগ্রসর হয় তা দেখায় ?
ডেনিস
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.