ক্রস-বৈধতা অপব্যবহার (সেরা হাইপারপ্যারামিটার মানের জন্য রিপোর্টিং কর্মক্ষমতা)

সম্প্রতি আমি একটি কাগজ পেয়েছি যা নির্দিষ্ট ডেটাसेट ে কে-এনএন শ্রেণিবদ্ধ ব্যবহার করার প্রস্তাব দেয় prop লেখকরা বিভিন্ন কে মানগুলির জন্য কে-ফোল্ড ক্রস বৈধকরণ সম্পাদন করতে এবং সর্বোত্তম হাইপারপ্যারমিটার কনফিগারেশনের ক্রস বৈধকরণের ফলাফলের জন্য উপলব্ধ সমস্ত ডেটা নমুনা ব্যবহার করেছিলেন used

আমার জানা মতে, এই ফলাফলটি পক্ষপাতদুষ্ট, এবং হাইপারপ্যারামিটার অপ্টিমাইজেশন সঞ্চালনের জন্য ব্যবহৃত হয়নি এমন নমুনাগুলিতে যথার্থতা অনুমানের জন্য তাদের একটি পৃথক পরীক্ষার সেটটি ধরে রাখা উচিত ছিল।

আমি কি সঠিক? ক্রস বৈধতার এই অপব্যবহারের বর্ণনা দেয় এমন কিছু উল্লেখ (অগ্রাধিকার জন্য গবেষণামূলক কাগজপত্র) সরবরাহ করতে পারেন?

— ড্যানিয়েল ল্যাপেজ
সূত্র

মনে রাখবেন যে পৃথক পরীক্ষার সেটের পরিবর্তে কেউ তথাকথিত নেস্টেড ক্রস-বৈধতা ব্যবহার করতে পারে । আপনি যদি এই সাইটে এই শব্দটির সন্ধান করেন তবে আপনি প্রচুর আলোচনা খুঁজে পাবেন। গৃহীত উত্তরে উদ্ধৃত দ্বিতীয় পেপারের অন্যতম লেখক @ ডিক্রানমারসুপিয়ালের উত্তরের জন্য বিশেষভাবে দেখুন ।

— অ্যামিবা বলছেন

হ্যাঁ, কেবল কে-ফোল্ডার সিভি ফলাফলের প্রতিবেদন করার ক্ষেত্রে সমস্যা রয়েছে। আপনি উদাহরণস্বরূপ নিম্নলিখিত উদ্দেশ্যে তিনটি প্রকাশনা আপনার উদ্দেশ্যটির জন্য ব্যবহার করতে পারেন (যদিও সেখানে আরও কিছু রয়েছে অবশ্যই) লোকদের সঠিক দিকের দিকে নির্দেশ করার জন্য:

আমি ব্যক্তিগতভাবে এগুলি পছন্দ করি কারণ তারা গণিতের চেয়ে সহজ সরল ইংরেজিতে বিষয়গুলি লেখার চেষ্টা করে।

— geekoverdose
সূত্র

আরও স্পষ্টতই, বিষয়টি ক্রস বৈধকরণের ফলাফলের প্রতিবেদন করছে না, তবে নির্বাচন / অপ্টিমাইজেশান প্রক্রিয়ার অংশ হওয়া পারফরম্যান্স অনুমানের প্রতিবেদন করছে।

— সিবিলেটগুলি মনিকাকে

এছাড়াও মনে রাখবেন যে বেনজিও এবং গ্র্যান্ডভ্যালেট কাগজটি কিছুটা কম প্রাসঙ্গিক যদি এখানে সমস্যাটি নির্দিষ্ট কোনও ডেটা সেটে প্রশিক্ষিত কোনও নির্দিষ্ট মডেলের কর্মক্ষমতা হয় - তারা একই ট্রেনিগ অ্যালগোরিদমের একই জনসংখ্যার (যা প্রয়োজন একই উত্স থেকে নমুনাযুক্ত একই আকারের বিভিন্ন ডেটা সেটের মধ্যে বৈচিত্র অন্তর্ভুক্ত করার জন্য - যা যদি আমরা একটি নির্দিষ্ট ডেটা সেটে প্রশিক্ষিত কোনও মডেলের ভবিষ্যদ্বাণীমূলক পারফরম্যান্সের কথা বলি তবে এটি কোনও সমস্যা নয়।

— ক্যাবিলাইটগুলি মনিকে

@ কেবিলেটগুলি সঠিকভাবে চিহ্নিত করেছে: আমার উত্তরটির প্রথম খসড়ায় আমি ঘটনাক্রমে দ্বিতীয়টির পরিবর্তে তৃতীয় রেফারেন্সটি বেছে নিয়েছি, তবে পরে ইতিমধ্যে গৃহীত উত্তর থেকে আর কোনও তথ্য সরাতে চাইনি - এজন্য আমি পরিবর্তে দ্বিতীয়টিতে যুক্ত করেছি (উত্তর সংস্করণ দেখুন) এর মধ্যে। তবুও, আমি মনে করি যে প্রশ্নটি মূলত রিপোর্ট করা ত্রুটির আশেপাশে ছিল এবং সেই কাগজপত্রগুলি এমন কিছু বিষয় নির্দেশ করে যা এই বিষয়ে সিভি দিয়ে কেউ ভুল করতে পারে খুব ভাল আইএমএইচও।

— geekoverdose