সমর্থন ভেক্টর মেশিনগুলির জন্য লার্নিং প্যারামিটারগুলি নির্বাচন করার প্রসঙ্গে কোনও কীভাবে যথাযথভাবে ক্রস-বৈধতা প্রয়োগ করতে পারে?


9

বিস্ময়কর libsvm প্যাকেজটি একটি পাইথন ইন্টারফেস এবং একটি ফাইল "ইজিলিপি" সরবরাহ করে যা স্বয়ংক্রিয়ভাবে শ্রেণিবদ্ধের যথার্থতা সর্বাধিকতর করে শেখার প্যারামিটারগুলি (ব্যয় ও গামা) অনুসন্ধান করে। প্রদত্ত প্রার্থীর শিখার প্যারামিটারগুলির মধ্যে, নির্ভুলতা ক্রস-বৈধকরণের মাধ্যমে পরিচালিত হয়, তবে আমি মনে করি এটি ক্রস-বৈধকরণের উদ্দেশ্যকে হ্রাস করে। এটি হ'ল লার্নিং প্যারামিটার হিসাবে নিজেরাই এমন একটি উপায়ে বেছে নেওয়া যেতে পারে যা উপাত্তের অত্যধিক মানানসই কারণ হতে পারে, আমি মনে করি যে অনুসন্ধানের স্তরে ক্রস বৈধকরণ প্রয়োগ করার জন্য আরও উপযুক্ত পন্থা হবে: অনুসন্ধান সম্পাদন করুন একটি প্রশিক্ষণ ডেটা সেটে এবং তারপরে এসভিএমের চূড়ান্ত যথার্থতাটি একটি পৃথক পরীক্ষার ডেটা সেটের মধ্যে মূল্যায়ন করে চূড়ান্তভাবে নির্বাচিত লার্নিং পরামিতিগুলির ফলস্বরূপ মূল্যায়ন করুন। নাকি আমি এখানে কিছু মিস করছি?

উত্তর:


10

আপনি যদি পুরো প্রশিক্ষণের ডেটাতে হাইপার-প্যারামিটারগুলি শিখেন এবং তারপরে ক্রস-বৈধতা পান তবে আপনি একটি আশাবাদী পক্ষপাতদুশ পারফরম্যান্সের প্রাক্কলন পাবেন, কারণ প্রতিটি ভাগে পরীক্ষার ডেটা ইতিমধ্যে হাইপার-প্যারামিটারগুলি সেট করতে ব্যবহৃত হয়েছিল, তাই হাইপার- নির্বাচিত পরামিতিগুলি অংশে নির্বাচিত হয়েছে কারণ তারা পরীক্ষার সেটে ডেটা অনুসারে। এইভাবে প্রবর্তিত আশাবাদী পক্ষপাতটি অপ্রত্যাশিতভাবে বড় হতে পারে। দেখুন Cawley এবং ট্যালবট, "মডেল নির্বাচন এবং পারফরমেন্স মূল্যায়নে পরবর্তী নির্বাচন বায়াস মধ্যে ওভার-ফিটিং অন", JMLR 11 (জুলাই): 2079-2107, 2010।(বিশেষত বিভাগ 5.3)। করণীয় সর্বোত্তম জিনিস হ'ল নেস্টেড ক্রস-বৈধতা। মূল ধারণাটি হ'ল আপনি মডেলটি উত্পন্ন করতে ব্যবহৃত সমস্ত পদ্ধতি ক্রস-বৈধ করে তোলেন, সুতরাং মডেল নির্বাচনকে (হাইপার-প্যারামিটারগুলি বেছে নেওয়া) কেবল মডেল ফিটিং পদ্ধতির অংশ হিসাবে বিবেচনা করুন (যেখানে প্যারামিটারগুলি নির্ধারিত হয়) এবং আপনি যেতে পারবেন না খুব বেশি ভুল

যদি আপনি হাইপার-প্যারামিটারগুলি নির্ধারণের জন্য প্রশিক্ষণ সেটে ক্রস-বৈধতা ব্যবহার করেন এবং তারপরে পুরো প্রশিক্ষণ সেটে সেই পরামিতিগুলি ব্যবহার করে প্রশিক্ষিত কোনও মডেলের পারফরম্যান্সকে আলাদা টেস্ট সেট ব্যবহার করে মূল্যায়ন করেন তবে এটিও ঠিক আছে (আপনার কাছে পর্যাপ্ত ডেটা থাকলে শর্ত থাকে) মডেলটি নির্ভরযোগ্যভাবে ফিট করে এবং পার্টিশনগুলি ব্যবহার করে পারফরম্যান্স অনুমানের জন্য)।


চমৎকার রেফারেন্স!
অ্যান্ড্রু

দ্বিতীয় অনুচ্ছেদে আপনি কীভাবে বৈশিষ্ট্য নির্বাচন করাকে অন্তর্ভুক্ত করবেন? এটি কি ঠিক হবে: i) উপরে যেমন বলেছিলেন হাইপার প্যারামিটার অপ্টিমাইজেশন করুন (অনুকূল হাইপার পরামিতিগুলি পাওয়া) ii) শীর্ষ ভবিষ্যদ্বাণীকারীদের একটি সেট পেতে ক্রস বৈধতার অন্য রাউন্ডে বৈশিষ্ট্য নির্বাচন চালান (বৈশিষ্ট্য নির্বাচন বিভাগে বিভক্ত প্রশিক্ষণ ডেটাতে চালানো হয়) হাইপার প্যারামিটার অপ্টিমাইজেশনে ব্যবহৃত পুনরায় মডেলিং পদ্ধতিটি ব্যবহার করে একটি সাবট্রাইনিং এবং বৈধতা সেট)। iii) শীর্ষ হাইপার প্যারামিটার এবং শীর্ষ প্রশিক্ষক সম্পূর্ণ প্রশিক্ষণের ডেটা সেট করে একটি মডেলকে প্রশিক্ষণ দিন। পৃথক পরীক্ষা সেট টেস্ট।
এসএমএ

আরও কিছুটা পরিষ্কার হতে হবে II) শীর্ষ ভবিষ্যদ্বাণীকারীদের একটি সেট পেতে ক্রস বৈধতার অন্য রাউন্ডে বৈশিষ্ট্য নির্বাচন চালানো (হাইপার প্যারামিটার অপ্টিমাইজেশনে ব্যবহৃত পুনরায় মডেলিং পদ্ধতির মাধ্যমে প্রশিক্ষণ ডেটা সাবট্রাইনিং এবং বৈধতা সেটগুলিতে বিভক্ত হয় then তারপরে বৈশিষ্ট্য নির্বাচন চালানো হয়) সাবট্রেনিং ডেটা)।
এসএমএ

বিকল্পভাবে, শীর্ষস্থানীয় বৈশিষ্ট্য সেট পেতে কেউ ক্রস যাচাইকরণের মাধ্যমে প্রথমে বৈশিষ্ট্য নির্বাচন করতে পারে, তারপরে শীর্ষ বৈশিষ্ট্য সেটটি (ক্রস বৈধকরণের উপরে যেমন) ব্যবহার করে আগ্রহী মডেলগুলির যে কোনও মডেলের হাইপার প্যারামিটার টিউন করতে পারে? তারপরে মডেলগুলিকে কেবলমাত্র ইতিমধ্যে নির্ধারিত শীর্ষস্থানীয় বৈশিষ্ট্য সেট সহ পূর্ণ প্রশিক্ষণের ডেটাতে তাদের সর্বোত্তম হাইপার পরামিতিগুলি দিয়ে প্রশিক্ষণ দিন এবং পৃথক পরীক্ষার সেটটিতে পরীক্ষা করুন?
এসএমএ

0

আমি মনে করি না এলআইবিএসভিএমের ক্ষেত্রে ক্রস-বৈধকরণের অপব্যবহার করা হয়েছে কারণ এটি পরীক্ষার ডেটা স্তরে করা হয়েছে। এটি কেবল কে-ফোল্ড ক্রস বৈধকরণ এবং আরবিএফ কার্নেলের জন্য সর্বোত্তম প্যারামিটার অনুসন্ধান করে। আমার সম্পর্কে আপনার মতামত জানাতে দিন।


হাইপার-প্যারামিটার নির্বাচন কোনওভাবেই পরীক্ষার ডেটা জড়িত করা উচিত নয়, কারণ এটি আশাবাদী পক্ষপাতদুষ্ট পারফরম্যান্স অনুমানের দিকে নিয়ে যাবে। মূলত হাইপার-প্যারামিটারগুলি বেছে নেওয়াকে এসভিএম ফিটিংয়ের একটি অবিচ্ছেদ্য অঙ্গ হিসাবে বিবেচনা করা উচিত, সুতরাং হাইপার-প্যারামিটারগুলি নির্বাচনের কারণে পরীক্ষার পদ্ধতিটিতে ত্রুটিটিও পরীক্ষা করা দরকার, আমার কাগজটি দেখুন যা আমি প্রশ্নের উত্তরে উল্লেখ করেছি (এটি ওপেন অ্যাক্সেস)।
ডিকরান মার্সুপিয়াল
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.