আমি জানি যে শ্রেণিবদ্ধের কর্মক্ষমতা অ্যাক্সেস করতে আমাকে ডেটা প্রশিক্ষণ / পরীক্ষার সেটে বিভক্ত করতে হবে। তবে এটি পড়া :
অনুমানকারীদের জন্য আলাদা আলাদা সেটিংস ("হাইপারপ্যারামিটার") মূল্যায়ন করার সময়, যেমন সি সেটিং যা ম্যানুয়ালি একটি এসভিএমের জন্য সেট করা উচিত, পরীক্ষার সেটটিতে ওভারফিট করার ঝুঁকি এখনও থাকে কারণ অনুমানকারী অনুকূলভাবে সম্পাদন না করা পর্যন্ত পরামিতিগুলি টুইট করা যায়। এইভাবে, পরীক্ষার সেট সম্পর্কে জ্ঞান মডেলটিতে "ফাঁস" করতে পারে এবং মূল্যায়ন মেট্রিকগুলি সাধারণীকরণের কর্মক্ষমতা সম্পর্কে আর রিপোর্ট করে না। এই সমস্যাটি সমাধান করার জন্য, ডেটাসেটের আরও একটি অংশ তথাকথিত "বৈধতা সেট" হিসাবে ধরা যেতে পারে: প্রশিক্ষণ সেটটিতে প্রশিক্ষণ এগিয়ে যায়, যার পরে বৈধতা সেটটিতে মূল্যায়ন হয় এবং যখন পরীক্ষাটি সফল বলে মনে হয় চূড়ান্ত মূল্যায়ন পরীক্ষা সেটে করা যেতে পারে।
আমি দেখতে পাচ্ছি যে অন্য একটি (তৃতীয়) বৈধতা সেট চালু করা হয়েছে যা হাইপারপ্যারামিটারে টিউন করার সময় পরীক্ষার সেটকে ওভারফিট করে ন্যায়সঙ্গত।
সমস্যাটি হ'ল আমি বুঝতে পারি না যে এই ওভারফিটিংটি কীভাবে উপস্থিত হতে পারে এবং তাই তৃতীয় সেটটির ন্যায়সঙ্গততা বুঝতে পারি না।