সমন্বিত বংশদ্ভুত পদ্ধতিগুলির তাত্ত্বিক অধ্যয়ন

Question

আমি অপ্টিমাইজেশনের জন্য হিউরিস্টিক্সের উপর কিছু কোর্স উপাদান প্রস্তুত করছি, এবং সমন্বিত বংশদ্ভুত পদ্ধতিতে দেখছি। সেটিং এখানে একটি বহুচলকীয় ফাংশন আপনি নিখুত কামনা করি। এর এমন সম্পত্তি রয়েছে যা কোনও একক ভেরিয়েবলের মধ্যে সীমাবদ্ধ থাকে, এটি অনুকূলিতকরণ করা সহজ। সুতরাং স্থানাঙ্কগুলির মাধ্যমে সাইক্লিংয়ের মাধ্যমে বংশদ্ভুত আয়গুলি সমন্বিত করুন, নির্বাচিতটিকে বাদ দিয়ে সমস্ত স্থির করুন এবং সেই স্থানাঙ্কের সাথে সংক্ষিপ্তকরণ করুন। অবশেষে, উন্নতিগুলি থামার পথে ধীর হয়ে যায় এবং আপনি সমাপ্ত হন।$f$$f$

আমার প্রশ্ন হচ্ছে: সেখানে বংশদ্ভুত পদ্ধতি তুল্য কোন তাত্ত্বিক গবেষণায় যে অভিসৃতি হার, এবং বৈশিষ্ট্য সম্পর্কে আলোচনা যে পদ্ধতি কাজ ভাল করতে, এবং তাই? স্পষ্টতই, আমি সম্পূর্ণরূপে সাধারণ উত্তরগুলির প্রত্যাশা করি না, তবে উত্তরগুলি যেগুলি এমন ক্ষেত্রে আলোকিত করে যেখানে হিউরিস্টিকরা ভাল করে সেগুলি সহায়ক হবে।$f$

একদিকে: মিন্সের জন্য ব্যবহৃত বিকল্প অপ্টিমাইজেশান কৌশলটি স্থানাঙ্কিত বংশদ্ভুত উদাহরণ হিসাবে দেখা যেতে পারে, এবং ফ্রাঙ্ক-ওল্ফ অ্যালগরিদম সম্পর্কিত মনে হয় (তবে কাঠামোর সরাসরি উদাহরণ নয়)$k$

Comments

কমপক্ষে কেন ক্লেকারসনের কাগজ kenclarkson.org/sga/p.pdf তে বর্ণিত হিসাবে , ফ্র্যাঙ্ক-ওল্ফের সাথে খুব মিল রয়েছে। পার্থক্যটি কেবলমাত্র এটিকে মনে হয় যে আপনি এফডাব্লু তে নেমে যাওয়ার জন্য সর্বোত্তম সমন্বয় চয়ন করেন। এটিতে একই রকম স্পারসিটি সম্পত্তি রয়েছে যা ম্যাটাস উল্লেখ করে।

— সাশো নিকোলভ

সেবাস্তিয়ান বুবেকের বিভিন্ন পদ্ধতির জন্য উত্তল অপটিমাইজেশন এবং পুনরাবৃত্তি জটিলতার উপর সাম্প্রতিক মনোগ্রাফ রয়েছে। দেখতে দরকারী জায়গা হতে পারে। ব্লগস.প্রিন্সটন.ইডু

— 2014/

Answer 1

(নোটগুলি সম্পাদনা করুন: আমি এর দৈর্ঘ্যটি বের করার পরে এটি পুনর্গঠিত করেছি))

স্থানাঙ্ক বংশোদ্ভূত সাহিত্যের ট্র্যাক ডাউন কিছুটা কঠিন হতে পারে। এখানে এর কয়েকটি কারণ রয়েছে।

1. স্থায়ী পদ্ধতির জ্ঞাত বৈশিষ্ট্যগুলির মধ্যে অনেকগুলি আরও সাধারণ বংশদ্ভুত পদ্ধতির জন্য ছাতার তত্ত্বগুলিতে বন্দী হয়। এর দুটি উদাহরণ, নীচে দেওয়া হল, দৃ strong় উত্তেজক (যে কোনও স্টিপেষ্ট বংশদ্ভুতের জন্য ধারণ করুন) এর অধীনে দ্রুত রূপান্তরকরণ এবং এই পদ্ধতির সাধারণ অভিমুখে (সাধারণত জোউটেঞ্জিককে দায়ী করা হয়)।$l^p$

2. নামকরণ মানক নয়। এমনকি "খাড়া বংশোদ্ভূত" শব্দটিও মান নয়। "চক্রীয় স্থানাঙ্কা বংশোদ্ভূত", "স্থানাঙ্ক বংশোদ্ভূত", "গাউস-সিডেল", "গাউস-সাউথওয়েল" পদগুলির যে কোনও একটি শুল্ক আপনার কাছে সাফল্য পেতে পারে। ব্যবহার সামঞ্জস্যপূর্ণ নয়।

3. চক্রীয় রূপটি খুব কমই বিশেষ উল্লেখ পেয়ে থাকে। পরিবর্তে, সাধারণত শুধুমাত্র সমন্বয় সেরা একক পছন্দ আলোচনা করা হয়। তবে এটি প্রায়শই একটি অতিরিক্ত ফ্যাক্টর (ভেরিয়েবলের সংখ্যা) সহ চক্রীয় গ্যারান্টি দেয় : এটি কারণ হ'ল বেশিরভাগ কনভার্জেশন বিশ্লেষণ করে একটি একক পদক্ষেপের উন্নতিকে নিম্ন সীমাবদ্ধ করে এগিয়ে যায় এবং আপনি অতিরিক্ত স্থানাঙ্কগুলি উপেক্ষা করতে পারেন। চক্রটি আপনাকে কী কিনে সে সম্পর্কে সাধারণ কিছু বলা শক্ত বলে মনে হয়, তাই লোকেরা কেবল সর্বোত্তম সমন্বয় সাধন করে এবং এন ফ্যাক্টরটি সাধারণত যাচাই করা যায়।$n$$n$

$\mathcal O(\ln (1/\epsilon))$$l^p$

সীমাবদ্ধতাসমূহ। দৃ strong় উত্তেজকতা ছাড়াই আপনাকে কিছুটা যত্নবান হওয়া শুরু করতে হবে। সীমাবদ্ধতা সম্পর্কে আপনি কিছু বলেননি, এবং সাধারণভাবে, সর্বাধিক অর্জনযোগ্য নাও হতে পারে। আমি সীমাবদ্ধতার বিষয়টিতে সংক্ষেপে বলব যে সম্ভাব্যতা বজায় রাখতে প্রতিটি পুনরাবৃত্তি সেট করার জন্য স্ট্যান্ডার্ড পদ্ধতির (বংশদ্ভুত পদ্ধতি সহ) আপনার প্রতিবন্ধকে সেট করা বা আপনার উদ্দেশ্যমূলক কার্যক্রমে সীমাবদ্ধতাগুলি রোল করতে বাধা ব্যবহার করা। প্রাক্তনদের ক্ষেত্রে, আমি জানি না এটি কীভাবে স্থানাঙ্ক বংশের সাথে খেলে; পরবর্তীকালের ক্ষেত্রে, এটি স্থানাংক বংশদ্ভুতের সাথে সূক্ষ্মভাবে কাজ করে এবং এই বাধাগুলি দৃ strongly়ভাবে উত্তল হতে পারে।

প্রজেক্টিংয়ের পরিবর্তে স্থানাঙ্ক পদ্ধতির আরও নির্দিষ্টভাবে, অনেক লোক সহজেই সমন্বয় আপডেটটিকে সম্ভাব্যতা বজায় রাখে: উদাহরণস্বরূপ এটি ফ্র্যাঙ্ক-ওল্ফ অ্যালগরিদম এবং এর রূপগুলির ক্ষেত্রে (যেমন, এটি এসডিপিগুলি সমাধান করার জন্য ব্যবহার করে) ক্ষেত্রে ঠিক একই রকম।

আমি সংক্ষেপে এও লক্ষ করব যে এসভিএমগুলির জন্য এসএমও অ্যালগরিদমকে একটি সমন্বিত বংশদ্ভুত পদ্ধতি হিসাবে দেখা যেতে পারে, যেখানে আপনি একবারে দুটি ভেরিয়েবল আপডেট করছেন এবং এটি করার সময় একটি সম্ভাব্যতা সীমাবদ্ধতা বজায় রেখেছেন। ভেরিয়েবলগুলির পছন্দ এই পদ্ধতিতে বৈজ্ঞানিক এবং তাই গ্যারান্টিগুলি কেবলমাত্র চক্রীয় গ্যারান্টি। আমি নিশ্চিত নই যে এই সংযোগটি আদর্শ সাহিত্যে প্রকাশিত হয়েছে; আমি অ্যান্ড্রু এনগির কোর্স নোটগুলি থেকে এসএমও পদ্ধতিটি শিখেছি এবং সেগুলি বেশ পরিষ্কার বলে খুঁজে পেয়েছি।

$n$

$\mathcal O(\ln(1/\epsilon))$

স্থায়ী বংশদ্ভুত সম্পর্কে আরও কিছু সাম্প্রতিক ফলাফল রয়েছে, আমি আরএক্সআইভিতে স্টাফ দেখেছি। এছাড়াও, লুও ও tsng এর আরও কিছু নতুন কাগজপত্র রয়েছে। তবে এটি প্রধান জিনিস।

$\sum_{i=1}^m g(\langle a_i, \lambda\rangle)$$g$$(a_i)_1^m$$\lambda$$\exp(1/\epsilon^2)$$\mathcal O(1/\epsilon)$

সঠিক আপডেট সহ সমস্যা। এছাড়াও, এটি প্রায়শই ঘটে থাকে যে আপনার কাছে বন্ধ ফর্ম একক স্থানাঙ্ক আপডেট নেই। বা সঠিক সমাধান সহজভাবে অস্তিত্ব থাকতে পারে। তবে ভাগ্যক্রমে, প্রচুর এবং প্রচুর লাইন অনুসন্ধান পদ্ধতি রয়েছে যা মূলত সঠিক সমাধান হিসাবে একই গ্যারান্টি পেয়ে থাকে। এই উপাদানটি স্ট্যান্ডার্ড ননলাইনার প্রোগ্রামিং পাঠ্যে পাওয়া যাবে, উদাহরণস্বরূপ বার্টসেকাসে বা উপরে উল্লিখিত নোসেডাল এবং রাইট বইগুলিতে।

আপনার দ্বিতীয় অনুচ্ছেদে ভিজিট করুন: যখন এগুলি ভালভাবে কাজ করে। প্রথমত, উপরে বর্ণিত অনেকগুলি স্থানাঙ্ক বংশোদ্ভূত জন্য গ্রেডিয়েন্ট কাজের জন্য বিশ্লেষণ করে। তাহলে কেন সবসময় সমন্বিত বংশধর ব্যবহার করবেন না? উত্তরটি হ'ল অনেক সমস্যার জন্য যেখানে গ্রেডিয়েন্ট বংশোদ্ভূত প্রযোজ্য, আপনি নিউটন পদ্ধতিও ব্যবহার করতে পারেন, যার জন্য উচ্চতর রূপান্তর প্রমাণিত হতে পারে। স্থানাঙ্কিত বংশদ্ভুত সহ নিউটনের সুবিধা পাওয়ার কোনও উপায় আমি জানি না। এছাড়াও, নিউটন পদ্ধতির উচ্চ ব্যয়টি কুইসাইনউটন আপডেটের মাধ্যমে হ্রাস করা যায় (উদাহরণস্বরূপ এলবিএফজিএস দেখুন)।

$l^0$$k$$k$$k$$k$$f$

Comments

কি দারুন. এটি একটি সত্যই বিস্তৃত উত্তর। ধন্যবাদ!

— সুরেশ ভেঙ্কট

Answer 2

আমি এখানে দেখার পরামর্শ দিই, আমরা এই ক্ষেত্রে কিছু কাজ করেছি:

http://arxiv.org/abs/1107.2848

চিয়ার্স

পিটার

Answer 3

আমরা সবেমাত্র আরএক্সআইভিতে একটি কাগজ রেখেছি ( http://arxiv.org/abs/1201.1214 ) যা অপ্টিমাইজেশান সমস্যার জন্য "পরিসংখ্যান সংক্রান্ত অ্যালগরিদম" এর জেনেরিক নিম্ন সীমানা প্রমাণ করে, প্রতিটি "সমস্যা" এর উপর নির্ভর করে নিজস্ব নিম্ন সীমাবদ্ধ রয়েছে বিভিন্ন সম্পত্তি।

সমন্বিত বংশদ্ভূত (এবং আরও অনেক কিছু যা আমরা ভাবতে পারি) আমাদের কাঠামোর মধ্যে একটি পরিসংখ্যান অ্যালগরিদম হিসাবে দেখা যায়, সুতরাং আশা করি এই কাগজটির কিছু ফলাফল রয়েছে যা আপনার আগ্রহী হবে।

Comments

কুল। এটি খতিয়ে দেখবে।

— সুরেশ ভেঙ্কট

Answer 4

নোট করুন যে অপ্টিমাইজেশনে, "কনভার্জেন্স রেট" এর অর্থ সাধারণত অ্যাসিপোটোটিক আচরণ হয়। এটি হ'ল, হারটি কেবলমাত্র অনুকূল সমাধানগুলির পাড়াতে প্রযোজ্য। সেই অর্থে, লুও ও তাসেঙ "উত্তল বিভেদযোগ্য হ্রাসকরণের জন্য স্থানাঙ্ক বংশোদ্ভূত অবদানের পদ্ধতির রূপান্তরকরণ" পত্রিকায় কিছু অ-দৃ strongly়ভাবে উত্তল উদ্দেশ্যমূলক ফাংশনের জন্য লিনিয়ার কনভার্জেন্স হার প্রমাণ করেছিলেন।

অ-অ্যাসিম্পটোটিক কনভার্জেনশন রেট, ওরফে "পুনরাবৃত্তি জটিলতা", মাইনাইজেশন অ্যালগোরিদমের পুনরাবৃত্ত সংখ্যাগুলিকে সীমাবদ্ধ করতে সাধারণত বেশি কার্যকর। দৃ strongly়ভাবে উত্তল উদ্দেশ্যমূলক ক্রিয়াকলাপগুলির জন্য, চক্রীয় স্থানাঙ্ক বংশোদ্ভূত পদ্ধতিগুলির পুনরাবৃত্তি জটিলতা ইতিমধ্যে Luo & Tseng এর ত্রুটি সীমানা এবং সম্ভাব্য বংশদ্ভুত পদ্ধতিগুলির অভিব্যক্তির বিশ্লেষণে দেখানো হয়েছে : যদি কোনও বিশ্বব্যাপী ত্রুটিযুক্ত আবদ্ধ ব্যবহার করা হয় তবে একটি সাধারণ পদ্ধতি । দৃ non়ভাবে উত্তল সমস্যার জন্য, উত্তল অপটিমাইজেশনের জন্য সম্ভাব্য বংশদ্ভুত পদ্ধতিগুলির Iteration জটিলতায় কিছু নতুন ফলাফল আমাদের রয়েছে have। সুনির্দিষ্টভাবে বলতে গেলে, আমরা এসভিএমগুলির দ্বৈত রূপ এবং গাউস-সিডেল পদ্ধতির মতো সমস্যার উপর চক্রীয় স্থানাঙ্ক বংশোদ্ভূত পদ্ধতিগুলির পুনরাবৃত্তি জটিলতা দেখিয়েছি। আরও, ফলাফলগুলি গ্রেডিয়েন্ট বংশোদ্ভূত ও বন্ধুবান্ধব সহ অন্যান্য সম্ভাব্য বংশদ্ভুত পদ্ধতিগুলিও কভার করে।