অন্যান্য অপ্টিমাইজেশান সমস্যার ক্ষেত্রে কেন অপ্টিমাইজেশন অ্যালগরিদম সংজ্ঞায়িত করা হয়?


23

আমি মেশিন লার্নিংয়ের জন্য অপ্টিমাইজেশন কৌশলগুলি নিয়ে কিছু গবেষণা করছি, তবে আমি আরও অবাক হয়েছি যে অন্যান্য অপটিমাইজেশন সমস্যার ক্ষেত্রে সংখ্যায় অপ্টিমাইজেশন অ্যালগরিদম সংজ্ঞায়িত হয়েছে। আমি নীচে কিছু উদাহরণ চিত্রিত।

উদাহরণস্বরূপ https://arxiv.org/pdf/1511.05133v1.pdf

এখানে চিত্র বর্ণনা লিখুন

সবকিছু দেখতে সুন্দর এবং ভাল দেখাচ্ছে তবে তারপরে z কে + 1 আপডেটে এই আছে .... তাহলে আরগোমিনের জন্য সমাধান হওয়া অ্যালগরিদমটি কী ? আমরা জানি না, এবং এটি বলে না। সুতরাং যাদুকরীভাবে আমরা আরেকটি অপ্টিমাইজেশান সমস্যাটি সমাধান করব যা ন্যূনতম ভেক্টরটি খুঁজে পাবে যাতে অভ্যন্তরীণ পণ্যটি ন্যূনতম হয় - এটি কীভাবে করা যায়?argminএক্সz- র+ +1argmin

অন্য একটি উদাহরণ নিন: https://arxiv.org/pdf/1609.05713v1.pdf

এখানে চিত্র বর্ণনা লিখুন

অ্যালগরিদমের মাঝখানে আপনি যে প্রক্সিমাল অপারেটরটি না মেরেছেন ততক্ষণ পর্যন্ত সবকিছু সুন্দর এবং সুন্দর দেখাচ্ছে এবং সেই অপারেটরের সংজ্ঞা কী?

Boom:এখানে চিত্র বর্ণনা লিখুন

argminএক্স

কেউ দয়া করে আমাকে আলোকিত করতে পারেন:

  1. অন্যান্য অপ্টিমাইজেশান সমস্যার ক্ষেত্রে এতগুলি অপ্টিমাইজেশন অ্যালগরিদমকে সংজ্ঞায়িত করা হয় কেন?

(এটি কি এক ধরণের মুরগির ও ডিমের সমস্যা হবে না: সমস্যাটি 1 সমাধান করার জন্য আপনার সমস্যা 2 সমাধানের পদ্ধতিটি ব্যবহার করা উচিত, যা সমস্যা সমাধানের উপর নির্ভর করে ....)

  1. এক্স+ +1=argminএক্সসত্যিই জটিল ক্ষতির কাজ

  2. argminএক্স

(অনুগ্রহ: কেউ কি এমন কোনও কাগজ উল্লেখ করতে পারেন যার জন্য লেখকরা উচ্চ স্তরের অপ্টিমাইজেশান অ্যালগরিদমে এম্বেড থাকা সাব-সমস্যার জন্য অ্যালগরিদম পরিষ্কার করতে পারেন?)


এটি প্রাসঙ্গিক হতে পারে।
জিওম্যাটট 22

1
আমি মনে করি আপনার প্রশ্নটি আরও ভাল হবে যদি আপনি সাব-সমস্যাগুলি কেবলমাত্র এনপি-কঠোরতার উপর নির্ভর না করে বরং তাদের উপর জোর দিয়ে থাকেন।
মেহরদাদ

ওফ ... "এনপি-হার্ডনেস" আমার শেষ মন্তব্যে "এনপি-হার্ড" বলা উচিত ছিল।
মেহরদাদ

অনুগ্রহের অনুরোধে অনুরোধ করা হিসাবে আমার উত্তরটিতে সম্পাদনা 2 দেখুন যা একটি রেফারেন্স সরবরাহ করে।
মার্ক এল। স্টোন

উত্তর:


27

আপনি শীর্ষ স্তরের অ্যালগরিদম ফ্লো চার্টের দিকে তাকিয়ে আছেন। ফ্লো চার্টের স্বতন্ত্র পদক্ষেপগুলির কিছু তাদের নিজস্ব বিশদ প্রবাহের চার্টের যোগ্যতা অর্জন করতে পারে। যাইহোক, প্রকাশিত কাগজগুলিতে বংশবৃদ্ধির উপর জোর দেওয়া রয়েছে, অনেকগুলি বিবরণ প্রায়শই বাদ দেওয়া হয়। "পুরানো টুপি" হিসাবে বিবেচিত মানক অভ্যন্তরীণ অপ্টিমাইজেশন সমস্যার বিশদগুলি একেবারেই সরবরাহ করা যাবে না।

সাধারণ ধারণাটি হ'ল অপটিমাইজেশন অ্যালগরিদমগুলির জন্য সাধারণভাবে সহজতর অপটিমাইজেশন সমস্যার একটি সিরিজের সমাধানের প্রয়োজন হতে পারে। শীর্ষ স্তরের অ্যালগরিদমের মধ্যে 3 বা 4 টি স্তরের অপ্টিমাইজেশন অ্যালগরিদম থাকা অস্বাভাবিক নয়, যদিও এর কয়েকটি অভ্যন্তরীণ মানক অপ্টিমাইজারের থেকে থাকে।

এমনকি যখন কোনও অ্যালগরিদমটি বন্ধ করার সিদ্ধান্ত নেওয়ার ক্ষেত্রে (শ্রেণিবদ্ধ স্তরগুলির একটিতে) একটি পার্শ্ব অপ্টিমাইজেশান সমস্যা সমাধানের প্রয়োজন হতে পারে। উদাহরণস্বরূপ, একটি নেতিবাচকভাবে সীমাবদ্ধ রৈখিক ন্যূনতম স্কোয়ার সমস্যা সমাধান করা হতে পারে যখন অনুকূলতা কখন ঘোষণা করবেন তা সিদ্ধান্ত নিতে ব্যবহৃত কেকেটি অনুকূলতা স্কোর মূল্যায়নের জন্য ব্যবহৃত ল্যাঞ্জরেজ গুণিতকগুলি নির্ধারণ করার জন্য।

যদি অপ্টিমাইজেশান সমস্যাটি স্টোকাস্টিক বা গতিশীল হয় তবে অনুকূলিতকরণের আরও অতিরিক্ত স্তরের স্তরের থাকতে পারে।

এখানে একটি উদাহরণ। সিকোয়েন্সিয়াল কোয়াড্র্যাটিক প্রোগ্রামিং (এসকিউপি)। একটি প্রাথমিক অপ্টিমাইজেশান সমস্যাটি পুনরায় করুশ-কুহান-টকার অনুকূল পরিস্থিতি সমাধানের মাধ্যমে চিকিত্সা করা হয়, প্রাথমিক উদ্দেশ্য থেকে শুরু করে এমন একটি উদ্দেশ্য যা সমস্যাটির ল্যাঙ্গরিঞ্জের চতুর্ভুজীয় অনুমান এবং সীমাবদ্ধতার একটি লিনিয়ারাইজেশন with ফলাফলযুক্ত চতুষ্কোণ প্রোগ্রাম (কিউপি) সমাধান করা হয়। যে কিপি সমাধান করা হয়েছিল তাতে বিশ্বাসের ক্ষেত্রের প্রতিবন্ধকতা রয়েছে বা পরবর্তী পুনরাবৃত্তি সন্ধানের জন্য বর্তমান পুনরাবৃত্তি থেকে QP- র সমাধানের জন্য একটি লাইন অনুসন্ধান পরিচালিত হয়, যা নিজেই একটি অপ্টিমাইজেশান সমস্যা। যদি কোন কোসি-নিউটন পদ্ধতি ব্যবহার করা হয়, তবে লেগ্রাঞ্জিয়ার হেসিয়ানকে কোয়াসি-নিউটন আপডেট নির্ধারণের জন্য একটি অপ্টিমাইজেশনের সমস্যাটি সমাধান করতে হবে - সাধারণত এটি বিএফজিএস বা এসআর 1 এর মতো ক্লোজড ফর্মুলা ব্যবহার করে একটি বদ্ধ ফর্ম অপ্টিমাইজেশন, তবে এটি একটি সংখ্যাগত অপ্টিমাইজেশন হতে পারে। তারপরে নতুন কিউপি ইত্যাদির সমাধান করা হয় ইত্যাদি যদি কিউপি শুরু করার সাথে সাথে কখনও অনিবার্য হয় তবে একটি সম্ভাব্য পয়েন্টটি সন্ধান করার জন্য একটি অপ্টিমাইজেশন সমস্যা সমাধান করা হয়। এদিকে, কিউপি সলভারের অভ্যন্তরে অভ্যন্তরীণ অপ্টিমাইজেশান সমস্যাগুলির এক বা দুটি স্তরের কল হতে পারে। প্রতিটি পুনরাবৃত্তির শেষে, অনুকূল স্কোর নির্ধারণের জন্য একটি অ-নেতিবাচক লিনিয়ার সর্বনিম্ন স্কোয়ার সমস্যা সমাধান করা যেতে পারে। প্রভৃতি

যদি এটি একটি মিশ্র পূর্ণসংখ্যার সমস্যা হয় তবে উচ্চ স্তরের অ্যালগরিদমের অংশ হিসাবে এই পুরো শেবাং প্রতিটি শাখা নোডে করা যেতে পারে। একইভাবে একটি গ্লোবাল অপ্টিমাইজারের জন্য - স্থানীয়ভাবে অনুকূল সমাধানটি বিশ্বব্যাপী অনুকূল সমাধানের উপরের সীমাটি উত্পাদন করতে ব্যবহৃত হয়, তারপরে নিম্ন সীমাবদ্ধ অপ্টিমাইজেশান সমস্যা তৈরি করতে কিছু বাধা-শিথিলকরণ করা হয়। একটি মিশ্র পূর্ণসংখ্যা বা বৈশ্বিক অপ্টিমাইজেশান সমস্যা সমাধানের জন্য শাখা এবং গণ্ডি থেকে কয়েক হাজার বা এমনকি কয়েক মিলিয়ন "সহজ" অপ্টিমাইজেশান সমস্যাগুলি সমাধান হতে পারে।

এটি আপনাকে একটি ধারণা দেওয়া শুরু করা উচিত।

সম্পাদনা : মুরগি এবং ডিমের প্রশ্নের জবাবে যা আমার উত্তরের পরে প্রশ্নের সাথে যুক্ত হয়েছিল: যদি মুরগি এবং ডিমের সমস্যা থাকে তবে এটি একটি সঠিকভাবে সংজ্ঞায়িত ব্যবহারিক অ্যালগরিদম নয়। আমি যে উদাহরণ দিয়েছি, সেখানে কোনও মুরগী ​​এবং ডিম নেই। উচ্চতর স্তরের অ্যালগরিদম পদক্ষেপগুলি অপ্টিমাইজেশন সলভারগুলিকে আহ্বান করে, যা হয় সংজ্ঞায়িত বা ইতিমধ্যে বিদ্যমান। এসকিউপি পুনরাবৃত্তভাবে উপ-সমস্যাগুলি সমাধান করার জন্য একটি কিউপি সলভারকে অনুরোধ করে, তবে কিউপি সলভার মূল সমস্যাটির চেয়ে একটি সহজ সমস্যা, কিউপি সমাধান করে। যদি আরও উচ্চতর স্তরের বৈশ্বিক অপ্টিমাইজেশান অ্যালগরিদম থাকে তবে এটি স্থানীয় ননলাইনার অপ্টিমাইজেশন সাবপ্রব্লেমগুলি সমাধান করার জন্য একটি এসকিউপি সলভারকে ডেকে আনতে পারে এবং এসকিউপি সলভার QP সাবপ্রব্লেমগুলি সমাধান করার জন্য একটি QP সলভারকে কল করে। চিকেন ও ডিম নেই।

দ্রষ্টব্য: অনুকূলকরণের সুযোগগুলি "সর্বত্র"। অপ্টিমাইজেশান বিশেষজ্ঞরা, যেমন উন্নয়নশীল অপ্টিমাইজেশন অ্যালগরিদমগুলি, এই অপ্টিমাইজেশনের সুযোগগুলি দেখার সম্ভাবনা বেশি থাকে এবং এগুলি গড় জো বা জেনের চেয়ে বেশি দেখায়। এবং অ্যালগরিদম ঝোঁকযুক্ত, খুব স্বাভাবিকভাবেই তারা নিম্ন-স্তরের অপ্টিমাইজেশন অ্যালগরিদমগুলির বাইরে অপ্টিমাইজেশন অ্যালগরিদমগুলি তৈরি করার সুযোগ দেখতে পান। অপ্টিমাইজেশান সমস্যার সমাধান এবং সমাধান অন্যান্য (উচ্চ স্তরের) অপটিমাইজেশন অ্যালগরিদমের জন্য বিল্ডিং ব্লক হিসাবে কাজ করে।

সম্পাদনা 2 : অনুগ্রহের অনুরোধের প্রতিক্রিয়া হিসাবে যা কেবল ওপি দ্বারা যুক্ত হয়েছিল। এসকিউপি ননলাইনারি অপ্টিমাইজার এসএনওপিটি https://web.stanford.edu/group/SOL/report/snopt.pdf বর্ণনা করা কাগজটি বিশেষত QP সলভার এসকিওপিটি উল্লেখ করেছে, যা আলাদাভাবে নথিভুক্ত করা হয়েছে, এসএনওপিটি-তে কিউপি সাব-সমস্যাগুলি সমাধান করার জন্য ব্যবহৃত হয়েছে।


2

আমি মার্কের উত্তরটি পছন্দ করি তবে আমি "সিমুলেটেড আনিলিং" উল্লেখ করব যা মূলত যে কোনও অপ্টিমাইজেশন অ্যালগরিদমের শীর্ষে চলে যেতে পারে। একটি উচ্চ স্তরে এটি এর মতো কাজ করে:

এটিতে "তাপমাত্রা" পরামিতি রয়েছে যা গরম শুরু করে। গরম থাকাকালীন এটি প্রায়শই দূরে এবং (এবং আরও দূরে) যেখানে অধস্তন অপ্টিমাইজেশান অ্যালগরিদম পয়েন্টগুলি থেকে সরে যায়। এটি শীতল হওয়ার সাথে সাথে অধস্তন আলগোরিদমের পরামর্শ আরও ঘনিষ্ঠভাবে অনুসরণ করে এবং শূন্যে এটি স্থানীয় যেটি সর্বোত্তম হয়ে ওঠে তারপরে এটি অনুসরণ করে।

স্বজ্ঞাততাটি হ'ল এটি শুরুতে ব্যাপকভাবে স্থানটি অনুসন্ধান করবে, সর্বোত্তম স্থানগুলি অনুসন্ধানের জন্য "আরও ভাল জায়গা" খুঁজবে।

আমরা জানি স্থানীয় / বিশ্বব্যাপী সর্বোত্তম সমস্যার কোনও প্রকৃত সাধারণ সমাধান নেই। প্রতিটি অ্যালগরিদমের এর অন্ধ দাগ থাকবে, তবে এর মতো সংকরগুলি অনেক ক্ষেত্রে আরও ভাল ফলাফল দেবে বলে মনে হয়।


"মেটা-অ্যালগরিদম" এর এই বিভাগটি কখনও কখনও একটি মেটাওউরিস্টিক হিসাবে উল্লেখ করা হয় ।
জিওম্যাট 2222

@ জিওম্যাট২২২ এখানে আমি আন্ডারগ্রাড হিসাবে প্রণীত হিউরিস্টিক প্রুফ বা হিউরিস্টিক যুক্তির সংজ্ঞা দেওয়া আছে: "কোনও যুক্তি, বা এর অভাব, যা প্রমাণিত হয়েছিল তা কঠোরভাবে অস্বীকার করে না"। আনুষাঙ্গিকভাবে, একটি হিউরিস্টিক অ্যালগরিদম হ'ল যে কোনও অ্যালগরিদম বা এর অভাব, যা সমস্যার সমাধানের জন্য সঠিকভাবে সমাধান না করার গ্যারান্টিযুক্ত নয়।
মার্ক এল। স্টোন

"পছন্দ বন্ধ ঘড়ি " অনুসন্ধানমূলক? Neumaier (2004) বর্গীকরণ সূত্র বর্ণনা এখানে যুক্তিসঙ্গত বলে মনে হয়।
জিওম্যাট 2222

হাইব্রিড অপটিমাইজার বা মেটা হিউরিস্টিকস উল্লেখ করার জন্য +1। তারা বাস্তব বিশ্বের বনাম ডেরিভেটিভ ভিত্তিক অপ্টিমাইজারে খুব ভাল কাজ করে যা তত্ত্ব এবং কাগজে খুব ভাল তবে বাস্তব বিশ্ব মাল্টিমোডাল জটিল উদ্দেশ্যমূলক ফাংশনটি সমাধান করা ভাল নয় যা আপনি প্রায়শই ইঞ্জিনিয়ারিং অপ্টিমাইজেশনে মুখোমুখি হন।
পূর্বাভাস

@ ফোরকাস্টার সমস্যার উপর নির্ভর করে বিভিন্ন ধরণের পন্থা রয়েছে। আমি "ডেরাইভেটিভ-ভিত্তিক অপ্টিমাইজারগুলি" খুব দৃ discount়ভাবে ছাড় দিতে সতর্ক থাকব , যেমন গভীর শিক্ষা এবং পিডিই-ভিত্তিক অপ্টিমাইজেশানের মতো অনেক বাস্তব-বিশ্বের অ্যাপ্লিকেশনগুলিতে, তারা বেশ সফল হতে পারে। ( ডেরাইভেটিভ-মুক্ত বিকল্পগুলি সহ এখানে কিছু আলোচনা ))
জিওম্যাট 22

2

আমি মনে করি একটি রেফারেন্স যে আমার আপনার ইচ্ছা সন্তুষ্ট হয় এখানে । বিভাগ 4 এ যান - আধুনিক বায়েশিয়ান গণনায় অনুকূলকরণ।

টিএল; ডিআর-তারা প্রক্সিমাল পদ্ধতিগুলি নিয়ে আলোচনা করে। এই জাতীয় পদ্ধতির অন্যতম সুবিধা বিভাজন - আপনি সহজ সাব-প্রবলেমগুলি অনুকূল করে সমাধান সমাধানের সন্ধান করতে পারেন। অনেক সময় (বা, কমপক্ষে, কখনও কখনও) আপনি একটি নির্দিষ্ট প্রক্সিমাল ফাংশনটি মূল্যায়নের জন্য সাহিত্যে একটি বিশেষ অ্যালগরিদম খুঁজে পেতে পারেন। তাদের উদাহরণে, তারা চিত্রটিকে নিন্দিত করে। পদক্ষেপের একটি হ'ল চাম্বোলের একটি অত্যন্ত সফল এবং অত্যন্ত উদ্ধৃত অ্যালগরিদম।


2

এটি অনেকগুলি অপ্টিমাইজেশনের কাগজগুলিতে একেবারেই সাধারণ এবং এটি সাধারণতার সাথে সম্পর্কিত। লেখকরা সাধারণত কোনও উপায়ে যে কোনও ফাংশনের জন্য প্রযুক্তিগতভাবে কাজ করেন তা দেখানোর জন্য সাধারণত এই পদ্ধতিতে অ্যালগরিদমগুলি লিখেন। যাইহোক, অনুশীলনে, এগুলি কেবলমাত্র সুনির্দিষ্ট কার্যের জন্য কার্যকর যেখানে এই উপ-সমস্যাগুলি দক্ষতার সাথে সমাধান করা যেতে পারে।

উদাহরণস্বরূপ, এবং এখন আমি কেবলমাত্র দ্বিতীয় অ্যালগরিদমের কথা বলছি, যখনই আপনি প্রক্সিমাল অপারেটরটি দেখেন (যা আপনি এটির সমাধানের পক্ষে আরও শক্তিশালী হতে পারে তার অন্য অপটিমাইজেশন সমস্যাটি লক্ষ করেছেন) সাধারণত অন্তর্নিহিত যে এটির একটি বন্ধ ফর্ম সমাধান রয়েছে অ্যালগরিদমকে দক্ষ হওয়ার জন্য আদেশ করুন। এটি মেশিন লার্নিংয়ের আগ্রহের অনেকগুলি কাজের জন্য যেমন এল 1-আদর্শ, গ্রুপের নিয়মাবলী ইত্যাদির জন্য। এই ক্ষেত্রে আপনি প্রক্সিমাল অপারেটরের সুস্পষ্ট সূত্রের জন্য সাব-সমস্যাগুলি প্রতিস্থাপন করবেন এবং সেই সমস্যাটি সমাধান করার জন্য অ্যালগরিদমের কোনও প্রয়োজন নেই।

কেন তারা এই পদ্ধতিতে রচনা করা হয়েছে কেবল তা নোট করুন যে আপনি যদি অন্য কোনও ফাংশন নিয়ে এসেছিলেন এবং সেই অ্যালগরিদমটি প্রয়োগ করতে চান তবে প্রথমে যদি প্রক্সিমেলের কাছে কোনও বন্ধ ফর্ম সমাধান থাকে বা দক্ষতার সাথে গণনা করা যায়। সেক্ষেত্রে আপনি কেবল সূত্রটি অ্যালগরিদমে প্লাগ ইন করুন এবং আপনি যেতে ভাল। পূর্বে উল্লিখিত হিসাবে, এটি গ্যারান্টি দেয় যে অ্যালগরিদম যথেষ্ট সাধারণ যা ভবিষ্যতের ফাংশনে প্রয়োগ করা যেতে পারে যা আলগোরিদম প্রথম প্রকাশের পরে প্রকাশিত হতে পারে, তাদের অ্যালগোরিদমগুলির দক্ষতার সাথে তাদের গণনা করার জন্য প্রক্সিমাল এক্সপ্রেশন সহ।

পরিশেষে, উদাহরণ হিসাবে, ক্লাসিক ফিস্টা অ্যালগোরিদম মূল কাগজটি নিন। তারা দুটি খুব নির্দিষ্ট ফাংশন, স্কোয়ার লস এবং এল 1-আদর্শের জন্য অ্যালগরিদম অর্জন করে। তবে, তারা লক্ষ্য করে যে যতক্ষণ না তারা কিছু প্রাক-প্রয়োজনীয়তা পূরণ করে ততক্ষণ কোনও কার্যকারিতা প্রয়োগ করা যাবে না, এর মধ্যে একটি হ'ল নিয়মিত প্রক্সিমাল দক্ষতার সাথে গণনা করা যেতে পারে। এটি তাত্ত্বিক প্রয়োজন নয় বরং ব্যবহারিক one

এই তুলনামূলককরণটি কেবল অ্যালগরিদমকে সাধারণ করে তোলে না বরং বিশ্লেষণও সহজ করে তোলে: যতক্ষণ না এই বৈশিষ্ট্যগুলির মধ্যে সাব-সমস্যার জন্য অ্যালগরিদম রয়েছে, ততক্ষণ প্রস্তাবিত অ্যালগরিদমটির এই রূপান্তর হার বা যা কিছু থাকবে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.