কাগল প্রতিযোগিতা একটি আউট-আউট টেস্ট সেটের ভিত্তিতে চূড়ান্ত র্যাঙ্কিং নির্ধারণ করে।
একটি আউট-আউট পরীক্ষা সেট একটি নমুনা; এটি জনগণের মডেল হওয়ার প্রতিনিধি নাও হতে পারে। যেহেতু প্রতিটি জমা দেওয়া অনুমানের মতো, সুতরাং যে প্রতিদ্বন্দ্বিতা জিতেছে সেই অ্যালগরিদম কেবলমাত্র, মোট সুযোগের সাথে, অন্যদের চেয়ে পরীক্ষার সেটটির সাথে মিলিয়ে শেষ হতে পারে। অন্য কথায়, যদি কোনও ভিন্ন পরীক্ষার সেট নির্বাচন করা হয় এবং প্রতিযোগিতা পুনরাবৃত্তি হয়, তবে র্যাঙ্কিং কি একই থাকবে?
স্পনসরিং কর্পোরেশনের জন্য, এটি সত্যিই কিছু যায় আসে না (সম্ভবত শীর্ষ 20 টি জমা দেওয়া তাদের বেসলাইনটিকে উন্নত করবে) would যদিও, কৌতুকজনকভাবে, তারা প্রথম স্থানের মডেলটি ব্যবহার করতে পারে যা অন্য শীর্ষ পাঁচটির চেয়ে খারাপ । তবে, প্রতিযোগিতায় অংশগ্রহণকারীদের জন্য, মনে হয় কেগল চূড়ান্তভাবে একটি খেলার খেলা - ভাগ্য সঠিক সমাধানে হোঁচট খাওয়ার প্রয়োজন হয় না, টেস্ট সেটটির সাথে মিলে যাওয়াতে তার হোঁচট খাওয়া দরকার!
প্রতিযোগিতায় পরিবর্তন করা কি এমনভাবে সম্ভব যে সমস্ত শীর্ষ দল যারা পরিসংখ্যানগতভাবে আলাদা হতে পারে না? বা, এই গোষ্ঠীতে, সবচেয়ে পার্সামোনিয়াস বা গণনামূলকভাবে সস্তা মডেলটি জিততে পারে?