এসভিএম প্যারামিটার নির্বাচন


9

সি এবং গামা বেছে নেওয়ার জন্য আরও ভাল বিকল্প পদ্ধতি রয়েছে যা আরও ভাল প্রশিক্ষণের কার্যকারিতা দেয়?

উত্তর:


5

গ্রিড অনুসন্ধানটি ধীর গতির কারণ এটি হাইপার-প্যারামিটার সেটিংসের তদন্ত করতে অনেক সময় ব্যয় করে যা অনুকূলের কাছাকাছি নয়। আরও ভাল সমাধান হ'ল নেল্ডার-মিড সিমপ্লেক্স অ্যালগরিদম , যার জন্য গ্রেডিয়েন্ট তথ্য গণনার প্রয়োজন হয় না এবং এটি কার্যকর করার জন্য সোজা হয় (উইকিপিডিয়া পৃষ্ঠায় পর্যাপ্ত তথ্য থাকা উচিত)। ওয়েকা টুলবক্সে কিছু জাভা কোডও থাকতে পারে , তবে আমি ম্যাটল্যাবে কাজ করি এবং ওয়েকার দিকে কোনও দুর্দান্ত বিবরণ দিয়ে দেখিনি।

হাইপার-প্যারামিটারের চেয়ে মডেল পরামিতিগুলি অনুসন্ধানের জন্য এসএমও হ'ল একটি অ্যালগরিদম।


আপনি কি আপনার মতলব বাস্তবায়ন সরবরাহ করতে পারেন?
Zach

1
এখানে একটি রয়েছে থিওয়াল.সি.এম.ইউ.এইসি.উক / ম্যাটল্যাব / টোপিটিম তবে আপনার যদি ইতিমধ্যে অপ্টিমাইজেশন টুলবক্স থাকে তবে ফেমিনসার্ক হ'ল নেল্ডার-মিড পদ্ধতি আইআইআরসি বাস্তবায়ন implementation
ডিকরান মার্শুপিয়াল

5

নেল্ডার-মাড সিমপ্লেক্স পদ্ধতিটি একটি সাধারণ গ্রিড অনুসন্ধান হিসাবে অনেক ফাংশন মূল্যায়নকে জড়িত করতে পারে। সাধারণত ত্রুটির পৃষ্ঠটি সর্বোত্তম প্যারামিটার মানগুলির নিকটবর্তী পর্যায়ে মসৃণ থাকে যা একটি মোটা গ্রিড অনুসন্ধানের পরে একটি ছোট অঞ্চলে সূক্ষ্ম পরিমাণে যথেষ্ট হওয়া উচিত।

আপনি যদি সি এবং গামার গ্রেডিয়েন্ট ভিত্তিক অপ্টিমাইজেশনে আগ্রহী হন তবে ব্যাসার্ধ-মার্জিন সীমানা অনুকূলকরণ বা বৈধতা সেটটিতে ত্রুটির হারকে অনুকূলকরণ করার মতো পদ্ধতি রয়েছে। উদ্দেশ্যগত ফাংশনের গ্রেডিয়েন্টের গণনাতে একটি এসভিএম ট্রেনের মতো কিছু জড়িত তবে একটি সাধারণ গ্রেডিয়েন্ট বংশোদ্ভূত মাত্র কয়েক ডজন পুনরাবৃত্তি জড়িত থাকতে পারে। ( নিবন্ধ এবং একটি মতলব বাস্তবায়নের জন্য http://olivier.chapelle.cc/ams/ দেখুন ))


আমার অভিজ্ঞতায়, নেল্ডার-মাড সাধারণত গ্রিড অনুসন্ধানের চেয়ে দ্রুত এবং গ্রেডিয়েন্ট বংশোদ্ভূত কেবল সামান্য দ্রুত বেকুয়েস থাকে যখন এটি কম পুনরাবৃত্তির দরকার হয়, গ্রেডিয়েন্টের কম্পিউটিংয়ের ব্যয় বেশি হয়। সুতরাং আপনার যদি এমন একটি বাস্তবায়ন থাকে যা গ্রেডিয়েন্ট বংশদ্ভুত সরবরাহ করে তবে এটি ব্যবহার করুন, তবে নেল্ডার-মাড সম্ভবত খুব বেশি পিছনে থাকবে না। অবশ্যই আপনার গ্রিড অনুসন্ধানের জন্য দুটি হাইপার-প্যারামিটারের সাথে সাথেই তত্ক্ষণাত অনেক ধীরতম পদ্ধতিতে পরিণত হয়। প্রতিটি পদ্ধতির তুলনামূলক দক্ষতার অধ্যয়ন দেখতে আকর্ষণীয় হবে।
ডিকরান মার্শুপিয়াল

আপনি ঠিক বলেছেন যে পরামিতিগুলির সংখ্যা যদি কয়েকজনের বেশি হয় তবে গ্রিড অনুসন্ধান কার্যকর নয় is নেল্ডার-মাডের ক্ষেত্রেও একই কথা, কারণ সিম্প্লেক্সের আকারটি মাত্রিকতা দ্বারা নির্ধারিত হয়।
ইন্নুও

কেবল গ্রেডিয়েন্ট বংশোদ্ভূত হিসাবে একই পরিমাণে, সমস্যার অতিরিক্ত মাত্রা যুক্ত করা সিম্প্লেক্সে কেবল একটি অতিরিক্ত পয়েন্ট যুক্ত করে, সুতরাং গ্রেডিয়েন্ট বংশোদ্ভূতির মতো এটি হাইপার-প্যারামিটারের সংখ্যায় প্রায় লিনিয়ার স্কেল করে। আমি এটি 40+ হাইপার-পরামিতিগুলির সমস্যার সাথে ব্যবহার করেছি এবং এটি গ্রেডিয়েন্ট বংশদ্ভুতের তুলনায় সামান্য ধীরে ধীরে ধীরে ধীরে ধীরে ধীরে ধীরে ধীরে বেড়ে যায় (মডেল নির্বাচনের ক্ষেত্রে আপনি বেশিরভাগই হাইপার-প্যারামিটারগুলির সাথে যুক্ত হন) over
ডিকরান মার্সুপিয়াল

0

আপনার প্রশ্নের সাথে সম্পর্কিত অ্যালেক্স স্মোলার ব্লগে এখানে একটি এন্ট্রি দেওয়া আছে

এখানে একটি উদ্ধৃতি:

[...] বাছুন, আপনার ডেটাসেট থেকে এলোমেলোভাবে 1000 জোড়া (x, x ') বলুন, এই জাতীয় সমস্ত জোড়ার দূরত্ব গণনা করুন এবং মিডিয়ান, 0.1 এবং 0.9 কোয়ান্টাইল নিন take এই তিনটি সংখ্যার যে কোনও একটিকে বিপরীতমুখী হতে এখন বেছে নিন pick অল্প অল্প করে ক্রুডিয়ালিফিকেশন দিয়ে আপনি বুঝতে পারবেন যে তিনটির মধ্যে কোনটি সবচেয়ে ভাল। বেশিরভাগ ক্ষেত্রে আপনাকে আর কোনও অনুসন্ধানের প্রয়োজন হবে না।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.