প্রাইভেট টেস্ট সেটের ফলাফলগুলি আরও মডেলটিকে আরও পরিমার্জন করতে ব্যবহার করা যায় না, তবুও কি প্রাইভেট টেস্ট সেট ফলাফলের ভিত্তিতে বিপুল সংখ্যক মডেল সম্পাদন করা হচ্ছে না? আপনি কি একা এই প্রক্রিয়াটি না পেরে প্রাইভেট টেস্ট সেটে ওভারফিটিং শেষ করবেন না?
মতে "ছদ্ম-গণিত ও আর্থিক চালিয়াতি: Backtest Overfitting প্রভাব অপ্রচলিত নমুনা পারফরমেন্স এ" বেইলি et.al. দ্বারা একই ডাটাবেসে মূল্যবান বিপুল সংখ্যক মডেলের মধ্যে সেরাটি বেছে নেওয়ার সময় "ওভারফিট" করা তুলনামূলকভাবে সহজ। কাগলটির ব্যক্তিগত লিডারবোর্ডের সাথে কি এটি ঘটছে না?
- প্রাইভেট লিডারবোর্ডে সেরা পারফরম্যান্স মডেলগুলির মডেল যা আউট-অফ-স্যাম্পল ডেটাতে সেরাকে সাধারণীকরণ করে তার পরিসংখ্যানগত ন্যায্যতাগুলি কী?
- সংস্থাগুলি আসলে কী বিজয়ী মডেলগুলি ব্যবহার করে শেষ করে, বা কেবলমাত্র "গেমের নিয়ম" সরবরাহ করার জন্য সেখানে প্রাইভেট লিডারবোর্ড রয়েছে এবং সংস্থাগুলি সমস্যার আলোচনার ফলে উত্থিত অন্তর্দৃষ্টি সম্পর্কে আরও আগ্রহী?
1
কিছুটা সম্পর্কিত: stats.stackexchange.com/q/235591
—
কোডিওলজিস্ট
আপনি ব্যক্তিগত এবং পাবলিক স্কোরের মধ্যে পার্থক্যটি দেখতে পারেন। যে কেউ তর্ক করতে পারে যে একটি অ-ওভারফিটেড মডেল উভয় ডেটা সেটগুলিতে অনুরূপ পারফরম্যান্স অর্জন করবে।
—
ছায়াছবির 18
@ শ্যাডোয়ালটকার ওভারফিটিং সনাক্তকরণের পক্ষে এটি একটি ভাল উপায়, তবে আমরা আসলে যা আগ্রহী তা হ'ল মডেলের বহির্মুখী ভবিষ্যদ্বাণীমূলক শক্তি, ওভারফিটিংয়ের ডিগ্রি নয়। একটি ওভারফিট মডেল - অর্থাত্ স্যাম্পল-এর চেয়ে বেশি নমুনা তুলনায় বেশ ভাল ইন-স্যাম্পল কাজ করে - এমন কোনও মডেলের তুলনায় অত্যধিক-নমুনা কর্মক্ষমতা থাকতে পারে যা ওভারফিট নয়। আমার হাতে কোনও রেফারেন্স নেই, তবে আমি বিশ্বাস করি যে প্রায়শই জটিল ডোমেনগুলির ক্ষেত্রে, যেমন কম্পিউটারের দৃষ্টি, জটিল মডেলগুলি ব্যবহার করার সময়, যেমন সিএনএন।
—
rinspy