হাইপারপ্যারামিটার টিউনিংয়ের জন্য বয়েসিয়ান অপটিমাইজেশনের উপর কণা ঝাঁক অপটিমাইজেশনের সুবিধা?


18

এমএল হাইপারপ্যারামিটারগুলি সুর করার জন্য বায়সিয়ান অপটিমাইজেশন (1) সম্পর্কে যথেষ্ট সমকালীন গবেষণা রয়েছে । এখানে ড্রাইভিংয়ের অনুপ্রেরণা হ'ল যে পয়েন্টগুলি চেষ্টা করার জন্য সার্থক (অবজেক্টিভ ফাংশন কলগুলি ব্যয়বহুল, তাই আরও কম করা ভাল) কারণ ন্যূনতম সংখ্যক ডেটা পয়েন্ট প্রয়োজন হয় কারণ একটি মডেল প্রশিক্ষণ সময়োপযোগী - কিছু বিনয়ী -আমি যে এসভিএম সমস্যা নিয়ে কাজ করেছি সেগুলি আরও বড় হতে কয়েক মিনিট এবং কয়েক ঘন্টা সময় নিতে পারে।

অন্যদিকে, অপ্টিউটিউনিটি একই কাজের জন্য সম্বোধন করার জন্য একটি কণা জলাভূমি বাস্তবায়ন। আমি পিএসওর সাথে অপ্রতিরোধ্যভাবে পরিচিত নই, তবে হাইপারপ্যারমিটার পৃষ্ঠটি মূল্যায়ন করার জন্য এটি বৃহত্তর সংখ্যক পরীক্ষার পয়েন্টের প্রয়োজন এবং তাই উদ্দেশ্যমূলক ফাংশন মূল্যায়নের প্রয়োজনের তুলনায় এটি কম দক্ষ হতে হবে বলে মনে হচ্ছে।

আমি কি এমন একটি মূল বিবরণ হারিয়েছি যা PSO কে মেশিন লার্নিং প্রসঙ্গে বিও-র কাছে পছন্দ করে? বা হাইপারপ্যারমিটার টিউনিং কার্যের জন্য সর্বদা অন্তর্নিহিত প্রাসঙ্গিক উভয়ের মধ্যে পছন্দটি কী?


(1) শাহরিয়ারি এট আল, "মানবকে লুপ থেকে তুলে নেওয়া: বায়সিয়ান অপটিমিজাইটন একটি পর্যালোচনা।"


গ্রেডিয়েন্টের দরকার নেই। বিরতি দিয়ে কাজ করে। পরিমিত দক্ষ। বিভিন্ন মাত্রা পরিচালনা করে। গোলমাল ভালভাবে পরিচালনা করে অনুমানক অন্তর্নির্মিত দৃust়তা আছে।
এনগ্রিস্টুডেন্ট - মনিকা

@ এঙ্গারস্টুডেন্ট আপনি বিও সম্পর্কে এই সমস্ত কিছু বলতে পারবেন, বিও ব্যতীত আরও দক্ষ বলে মনে হচ্ছে কারণ এটির জন্য কমপক্ষে আমার হিসাব অনুযায়ী কম সংখ্যক ফাংশন মূল্যায়ন প্রয়োজন। আমি সাধারণভাবে পিএসও সম্পর্কে জিজ্ঞাসা করছি না, আমি বিও এর সাথে সম্পর্কিত এর গুণাবলী সম্পর্কে জিজ্ঞাসা করছি।
সাইকোরাক্স মনিকাকে

1
এটিকে একটি যথাযথ উত্তর দেওয়ার জন্য যথেষ্ট শিক্ষিত নয়, তবে আমি মনে করব যে বেইসিয়ান অপ্টিমাইজেশনের অত্যন্ত মাল্টি-মডেল সমস্যাগুলির সাথে সবচেয়ে দক্ষ অপটিমাইজারের মতো একই পরিণতি ভোগ করা উচিত (দেখুন: মেশিন লার্নিংয়ের 95% সমস্যা): এটি জিরোস বিশ্বজুড়ে "জরিপ" না করে নিকটতম স্থানীয় সর্বনিম্ন আমি মনে করি পার্টিকাল সোর্মের অ-লোকাল সর্বনিম্ন সন্ধানের আরও ভাল ভাগ্য হবে।
ক্লিফ এ বি

2
পার্টিতে আমার দেরিতে আগমনের জন্য ক্ষমা প্রার্থনা, নিশ্চিত না যে কীভাবে আমি এতদিন অপ্টিনিউটি সম্পর্কে কোনও প্রশ্ন উপেক্ষা করতে পেরেছি! :-)
মার্ক ক্লিসেন

1
@ মার্কক্লেসেন আমাকে অবশ্যই স্বীকার করতে হবে, আমি আশা করছিলাম যে আপনি কোনও সময় উত্তর দেওয়ার জন্য সময় পাবেন। দেরীতে বা না, আমি মনে করি আপনি এসেছেন বলে আমরা সবাই আনন্দিত।
সাইকোরাক্স মনিকাকে

উত্তর:


25

অপ্টিউনিটির প্রধান বিকাশকারী হিসাবে আমি আমার দুটি সেন্ট যুক্ত করব।

আমরা রিয়েল-ওয়ার্ল্ড সমস্যার উপর সর্বাধিক জনপ্রিয় বায়েশিয়ান সলভার (যেমন, হাইপারপট, এসএমএসি, বায়সপ্ট) এর সাথে অপ্টিউনিটির তুলনা করার বিস্তৃত মানদণ্ডগুলি করেছি এবং ফলাফলগুলি ইঙ্গিত দেয় যে পিএসও বাস্তবে অনেক ব্যবহারিক ক্ষেত্রে কম দক্ষ হয় না। আমাদের বেঞ্চমার্কে, যা বিভিন্ন ডেটাসেটগুলিতে এসভিএম শ্রেণিবদ্ধীদের টিউন করে গঠিত, অপটিউনিটি আসলে হাইপারপট এবং এসএমএসি এর চেয়ে বেশি দক্ষ তবে বাইসঅ্যাপের তুলনায় কিছুটা কম দক্ষ। আমি এখানে ফলাফলগুলি ভাগ করে নিতে চাই, তবে অপ্টিনিটি শেষ পর্যন্ত জেএমএলআরে প্রকাশিত হওয়া অবধি অপেক্ষা করতে যাচ্ছি (এখন এক বছরেরও বেশি সময় ধরে পর্যালোচনাাধীন, সুতরাং আপনার শ্বাস ধরে রাখবেন না ...)।

আপনি ইঙ্গিত হিসাবে, বায়েন্সিয়ান অপ্টিমাইজেশনের জন্য বর্ধিত দক্ষতা একটি সাধারণ ব্যবহৃত বিক্রয় পয়েন্ট, তবে বাস্তবে এটি কেবল জল ধরে থাকে যদি অন্তর্নিহিত সারোগেট মডেলগুলির অনুমানগুলি ধরে রাখে, যা তুচ্ছ থেকে অনেক দূরে। আমাদের পরীক্ষায়, অপ্টিউনিটির খুব সাধারণ পিএসও সলভার প্রায়শই ফাংশন মূল্যায়নের সংখ্যার ক্ষেত্রে জটিল বায়েশিয়ান পদ্ধতির সাথে প্রতিযোগিতামূলক হয়। বায়েশিয়ান সলভারগুলি যখন ভাল প্রিয়ার সরবরাহ করা হয় তখন খুব ভালভাবে কাজ করে তবে কার্যকারিতার দিক থেকে পিএসওর মতো মেটাওউরিস্টিক পদ্ধতির তুলনায় কার্যত কোনও কাঠামোগত সুবিধা নেই an

পিএসওর জন্য একটি বড় বিক্রয়কেন্দ্র হ'ল এটি এম্বারসেসলি সমান্তরাল। বায়েশিয়ান অপ্টিমাইজেশন প্রায়শই সমান্তরাল করা শক্ত কারণ এর সহজাত ক্রমানুসারে প্রকৃতির (হাইপারপট বাস্তবায়ন একমাত্র বাস্তব ব্যতিক্রম)। বিতরণ করার সুযোগ দেওয়া হয়েছে, যা আদর্শ হয়ে উঠছে, অপ্টিউটিউশন খুব ভাল সমাধান পেতে দ্রুত প্রাচীর-ঘড়ির সময়ে নেতৃত্ব নেয়।

অপ্টিউটিউশন এবং অন্যান্য উত্সর্গীকৃত হাইপারপ্যারামিটার অপ্টিমাইজেশন লাইব্রেরিগুলির মধ্যে আরেকটি মূল পার্থক্য হ'ল লক্ষ্য শ্রোতা: অপটিউশনির সহজতম ইন্টারফেস থাকে এবং নন-মেশিন লার্নিং বিশেষজ্ঞদের দিকে লক্ষ্য করা হয়, অন্যদিকে বেশিরভাগ অন্যান্য লাইব্রেরিতে কার্যকরভাবে ব্যবহার করার জন্য বায়সিয়ান অপ্টিমাইজেশনের কিছু বোঝার প্রয়োজন হয় (যেমন, তারা হ'ল বিশেষজ্ঞদের দিকে লক্ষ্যযুক্ত)।

আমরা গ্রন্থাগারটি তৈরি করার কারণটি হ'ল সত্য নিবেদিত হাইপারপ্যারামিটার অপ্টিমাইজেশন পদ্ধতি বিদ্যমান থাকলেও বাস্তবে তাদের গ্রহণের অভাব রয়েছে। বেশিরভাগ লোকেরা হয় এখনও মোটেও টিউন করছে না, ম্যানুয়ালি এটি করছে বা গ্রিড বা এলোমেলো অনুসন্ধানের মতো নির্লজ্জ পদ্ধতির মাধ্যমে। আমাদের মতে, এর মূল কারণটি হ'ল অপটিউনিটি বিকাশের পূর্বে বিদ্যমান গ্রন্থাগারগুলি ইনস্টলেশন, ডকুমেন্টেশন, এপিআইয়ের ক্ষেত্রে ব্যবহার করা খুব কঠিন ছিল এবং প্রায়শই একক পরিবেশের মধ্যে সীমাবদ্ধ ছিল।


4
উত্তর হিসাবে আমরা পেতে পারে হিসাবে অবহিত! আমি কৌতূহলী: আপনি বলছেন পিএসও সলভার বায়েশিয়ান অপটিমাইজেশন পদ্ধতির সাথে প্রতিযোগিতামূলক। এর অর্থ কি সমান্তরালে পিএসও রান ক্রমান্বয়ে বায়েসিয়ান অপটিমাইজেশন রানের চেয়ে দ্রুততর পাওয়া গেছে ? বোঝার চেষ্টা করছি না, তবে এটি বোঝার জন্য এটি একটি গুরুত্বপূর্ণ পার্থক্য।
ক্লিফ এবি

2
না, উভয়ই ধারাবাহিকভাবে চলছে running আমাদের পরীক্ষায় (টিভিং এসভিএম), পিএসও এবং বায়সিয়ান অপ্টিমাইজেশনের কার্যকারিতা কার্যকারিতা মূল্যায়নের সংখ্যার ক্ষেত্রে প্রতিযোগিতামূলক। বিতরণ সেটিংগুলিতে আমরা প্রাচীর-ঘড়ির সময়ের ক্ষেত্রে দক্ষতার তুলনা করি না কারণ এটি অনেকটা সস্তা শট হতে পারে যেহেতু অনেক বায়েশিয়ান অপ্টিমাইজেশন পদ্ধতিগুলি কেবল এটি করতে পারে না।
মার্ক ক্লেসেন

ইহা আকর্ষণীয়. কোন চিন্তা কেন? অস্থির হাইপার-পরামিতি পৃষ্ঠ?
ক্লিফ এবি

3
আমি মনে করি এর বেশ কয়েকটি কারণ রয়েছে। একটির জন্য, হাইপারপ্যারামিটার পৃষ্ঠগুলিতে প্রচুর স্থানীয় অপটিমা থাকে (উদাহরণস্বরূপ, সীমাবদ্ধ নমুনা প্রভাবের কারণে, ক্রস-বৈধতা ভাঁজ, কিছু শেখার পদ্ধতির অন্তর্নিহিত এলোমেলোতা)। দ্বিতীয়ত, বায়সিয়ান অপ্টিমাইজেশন সঠিক সারোগেট অবজেক্টিভ ফাংশনগুলি তৈরির উপর নির্ভর করে যা অবজেক্টিভ ফাংশনটি প্রচুর পরিমাণে নমুনা না করা পর্যন্ত সহজ কাজ নয়। বায়সিয়ান অপ্টিমাইজেশানটি অভিব্যক্তির গতি বাড়ানোর আগে বেশিরভাগ সময় নেয় (প্রায়শই বাদ দেওয়া বিশদ)। ততক্ষণে পিএসওর মতো মেটাওউরিস্টিক পদ্ধতিগুলি তাদের স্থানীয় অনুসন্ধানের পর্যায়েও পৌঁছেছে। পিএসও স্থানীয় অনুসন্ধানে খুব ভাল।
মার্ক ক্লেসেন

4
একটি দুর্দান্ত উত্তরের জন্য +1। আমি আমার নিজস্ব বিও সফ্টওয়্যার তৈরি করেছি, যা আমি স্বীকার করতেই পারি এটি বেশিরভাগ ক্ষেত্রে একটি ভ্যানিটি প্রকল্প, তাই আমি বুঝতে পারি যে বিও পদ্ধতিটি কিছু বিশদে কীভাবে কাজ করে; আমি খুশি যে হাইপারপ্যারামিটার টিউনিং ওয়ার্ল্ডে আর কি চলছে তার পৃষ্ঠের স্ক্র্যাচ শুরু করতে পারি glad নিষ্পাপ দৃষ্টিভঙ্গি সম্পর্কে আপনার মন্তব্য আমার সাথে সত্যই বাসা বেঁধেছে, যেহেতু আমার এক পুরানো নিষ্পাপ টিউনিং প্রোগ্রাম এক সপ্তাহের জন্য এখন একটি মডেল টিউন করছে যা এখন দেখার কোনও শেষ নেই ... আপনার অবদানের জন্য ধন্যবাদ, এবং আমি নিশ্চিত যে আমার তা হবে আরও প্রশ্ন আমি একবার হজম।
সাইকোরাক্স

0

উত্তরটি সমস্যা-নির্ভর এবং অতিরিক্ত প্রসঙ্গ ব্যতীত দেওয়া যাবে না। সাধারণত, উত্তর নিম্নলিখিত হিসাবে যেতে হবে। 10x-100x ভেরিয়েবলের সংখ্যা বলার জন্য বায়সিয়ান অপটিমাইজেশন গণনা বাজেটের সাথে নিম্ন-মাত্রিক সমস্যার জন্য আরও উপযুক্ত। পিএসও অনেক বড় বাজেটের জন্য বেশ দক্ষ হতে পারে তবে এটি তার কুলুঙ্গিতে অত্যাধুনিক নয়।


মন্তব্যগুলি বর্ধিত আলোচনার জন্য নয়; এই কথোপকথন চ্যাটে সরানো হয়েছে ।
গুং - মনিকা পুনরায়
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.