আমার বোঝার এমনকি যখন সঠিক ক্রস বৈধতা এবং মডেল নির্বাচন পদ্ধতি অনুসরণ overfitting হয় হবে একটি মডেল জন্য এক যদি অনুসন্ধানসমূহ ঘটতে হার্ড যথেষ্ট , যদি না মডেল জটিলতা, কাল এক চাপিয়ে সীমাবদ্ধতা। অধিকন্তু, প্রায়শই লোকেরা ডেটা থেকে মডেল জটিলতায় জরিমানা শেখার চেষ্টা করে যা তারা সরবরাহ করতে পারে এমন সুরক্ষাকে ক্ষুন্ন করে।
আমার প্রশ্ন: উপরের বিবৃতিতে কতটা সত্যতা আছে?
আমি প্রায়ই শুনতে এমএল practicioners বলি: " আমার কোম্পানী / ল্যাব এ, আমরা সবসময় (যেমন লাইব্রেরি থেকে যেমন প্রত্যেক মডেল প্রাপ্তিসাধ্য চেষ্টা ক্যারেট বা scikit-শিখতে ) কোনটা সর্বোত্তম কাজ দেখতে "। আমি প্রায়শই যুক্তি দিই যে এই ক্রসটি বৈধতা যাচাইয়ের বিষয়ে গুরুতর এবং এমনকি তারা যেভাবে চান সেগুলি ধরে রাখার পরেও এই পদ্ধতিকে সহজেই উপকার করতে পারে । তবুও তারা যতই তত সন্ধান করবে তত বেশি তারা মাপসই করবে। অন্য কথায়, ওভার-অপটিমাইজেশন একটি আসল সমস্যা এবং এমন কোনও হিউরিস্টিক্স নেই যা এর বিরুদ্ধে লড়াই করতে আপনাকে নিয়মিতভাবে সহায়তা করতে পারে। আমি কি এইভাবে ভাবতে ভুল করছি?