মেশিন লার্নিং গবেষণায় বৈধতা সম্পর্কে আমার একটি নির্দিষ্ট প্রশ্ন আছে।
যেমনটি আমরা জানি, মেশিন লার্নিং সিস্টেম গবেষকদের তাদের মডেলগুলি প্রশিক্ষণের ডেটাতে প্রশিক্ষণ দিতে, বৈধতা সেট দ্বারা প্রার্থী মডেলগুলি থেকে চয়ন করতে এবং পরীক্ষার সেটটিতে নির্ভুলতার প্রতিবেদন করতে বলে। খুব কঠোর গবেষণায়, পরীক্ষার সেটটি কেবল একবার ব্যবহার করা যেতে পারে। তবে এটি কখনই গবেষণার পরিস্থিতি হতে পারে না, কারণ কোনও গবেষণাপত্র প্রকাশ (বা এমনকি জমা দেওয়ার) আগে পরীক্ষার যথাযথতা অত্যাধুনিক ফলাফলের চেয়ে ভাল না হওয়া পর্যন্ত আমাদের কর্মক্ষমতা উন্নত করতে হবে।
এখন সমস্যা আসে। ধরা যাক 50% হ'ল সর্বাধিক অত্যাধুনিক ফলাফল এবং আমার মডেল সাধারণত 50--51 নির্ভুলতা অর্জন করতে পারে যা গড়ের চেয়ে ভাল better
যাইহোক, আমার সেরা বৈধতা নির্ভুলতা (52%) খুব কম পরীক্ষার নির্ভুলতা দেয়, যেমন, 49%। তারপরে, আমি যদি আমার বৈধতা সংশোধনকে আরও উন্নত করতে না পারি তবে আমার সামগ্রিক পারফরম্যান্স হিসাবে 49% প্রতিবেদন করতে হবে, যা আমার মনে হয় কোনও আশা নেই। এটি সত্যই আমাকে সমস্যাটি অধ্যয়ন করতে বাধা দেয়, তবে আমার সমবয়সীদের পক্ষে এটি কোনও ব্যাপার নয় কারণ তারা 52% অভিভাবকতা দেখেন না, যা আমি মনে করি একটি বহিরাগত।
সুতরাং, লোকেরা সাধারণত তাদের গবেষণায় কী করে?
পি কে কে-ভাঁজ বৈধতা কোনও উপকারে আসে না, কারণ একই পরিস্থিতি এখনও ঘটতে পারে।