পরীক্ষা সেট এবং ক্রস বৈধকরণ সেট বিভিন্ন উদ্দেশ্য রয়েছে। আপনি যদি কোনও একটি বাদ দেন তবে আপনি এর সুবিধাগুলি হারাবেন:
আপনি আপনার মডেলের পারফরম্যান্স নির্ভুলভাবে পরিমাপ করতে ক্রস বৈধকরণ সেটটি ব্যবহার করতে পারবেন না, কারণ আপনার পরামিতিগুলির শত শত বৈচিত্রের উপর আপনি সর্বোত্তম সম্ভাব্য মেট্রিক পেতে ইচ্ছাকৃতভাবে আপনার ফলাফলগুলি টিউন করবেন । ক্রস বৈধতা ফলাফল খুব আশাবাদী হতে পারে।
একই কারণে, আপনি ক্রস বৈধকরণ সেটটি ফেলে দিতে পারবেন না এবং হাইপার প্যারামিটারগুলি নির্বাচনের জন্য পরীক্ষার সেটটি ব্যবহার করতে পারবেন না, কারণ তখন আপনার মডেলটি কতটা দুর্দান্ত তা নিশ্চিত করার জন্য আপনি যথেষ্ট গ্যারান্টিযুক্ত। আদর্শ বিশ্বে আপনি পরীক্ষার সেটটি মাত্র একবার ব্যবহার করেন বা বিভিন্ন পরীক্ষার তুলনা করতে এটি "নিরপেক্ষ" ফ্যাশনে ব্যবহার করেন।
যদি আপনি বৈধতা অতিক্রম করেন তবে সেরা মডেলটি সন্ধান করুন, তারপরে প্রশিক্ষণের জন্য পরীক্ষার ডেটা যুক্ত করুন, এটি সম্ভব (এবং কিছু পরিস্থিতিতে সম্ভবত বেশ সম্ভবত) আপনার মডেলটি উন্নত হবে। তবে, এটি আসলে ঘটেছে কিনা তা নিশ্চিত হওয়ার কোনও উপায় আপনার নেই, এবং তা থাকলেও নতুন পারফরম্যান্সটি কী তা নিয়ে আপনার কোনও পক্ষপাতদুষ্ট অনুমান নেই।
অনেকগুলি কাগল প্রতিযোগিতা প্রত্যক্ষ করা থেকে আমার অভিজ্ঞতা হ'ল অতিরিক্ত পরীক্ষা করে এটি নির্ধারিত পরীক্ষায় আসাটি একটি আসল জিনিস এবং এটি সেই প্রতিযোগিতাগুলিকে ব্যাপকভাবে প্রভাবিত করে। তাদের প্রতিদ্বন্দ্বীদের একটি দল রয়েছে যারা পাবলিক লিডারবোর্ডে উঠেছেন এবং পরীক্ষায় তাদের সেরা মডেলটি নির্বাচন করেছেন (পাবলিক লিডারবোর্ড কার্যকরভাবে একটি পরীক্ষার সেট), যদিও তাদের ক্রস বৈধকরণের বিষয়ে এতটা পুরোপুরি না হয়। । । এই প্রতিযোগীরা একটি নতুন পরীক্ষার শেষে প্রবর্তিত হলে লিডারবোর্ডটি নামিয়ে দেয়।
যুক্তিযুক্ত যে এক পদ্ধতির হ'ল পরীক্ষার আগে আপনার পাওয়া হাইপার-প্যারামগুলি ব্যবহার করে পুনরায় প্রশিক্ষণের জন্য ডেটা পুনরায় ব্যবহার (ট্রেন + সিভি) করা। এইভাবে আপনি আরও ডেটা প্রশিক্ষণ পাবেন এবং আপনি এখনও শেষে একটি স্বাধীন পরিমাপ কর্মক্ষমতা পাবেন।
আপনি যদি ক্রস বৈধকরণের আরও বেশি পেতে চান তবে সাধারণ পদ্ধতির নামটি হল -ফোল্ড ক্রস বৈধতা । কেগল প্রতিযোগিতাগুলির একটি সাধারণ কৌশল হ'ল কে-ফোল্ড ক্রস বৈধতা ব্যবহার করা, এবং কোনও বৃহত (ট্রেন + সিভি) প্রশিক্ষণ সংকলনে ডেটা পুনরায় সংমিশ্রণের পরিবর্তে সিভি ফলাফলকে মেটা-মডেল হিসাবে সজ্জিত করা বা স্ট্যাক করা।
সবশেষে, সর্বদা পরীক্ষা করে দেখুন যে বৈধতা এবং পরীক্ষার জন্য আপনার বিভাজনগুলি আপনার ডেটা সেটের মধ্যে সম্ভাব্য পারস্পরিক সম্পর্কের বিরুদ্ধে শক্ত ust