কাগল প্রতিযোগিতাগুলি কি কেবল সুযোগেই জিতেছে?


12

কাগল প্রতিযোগিতা একটি আউট-আউট টেস্ট সেটের ভিত্তিতে চূড়ান্ত র‌্যাঙ্কিং নির্ধারণ করে।

একটি আউট-আউট পরীক্ষা সেট একটি নমুনা; এটি জনগণের মডেল হওয়ার প্রতিনিধি নাও হতে পারে। যেহেতু প্রতিটি জমা দেওয়া অনুমানের মতো, সুতরাং যে প্রতিদ্বন্দ্বিতা জিতেছে সেই অ্যালগরিদম কেবলমাত্র, মোট সুযোগের সাথে, অন্যদের চেয়ে পরীক্ষার সেটটির সাথে মিলিয়ে শেষ হতে পারে। অন্য কথায়, যদি কোনও ভিন্ন পরীক্ষার সেট নির্বাচন করা হয় এবং প্রতিযোগিতা পুনরাবৃত্তি হয়, তবে র‌্যাঙ্কিং কি একই থাকবে?

স্পনসরিং কর্পোরেশনের জন্য, এটি সত্যিই কিছু যায় আসে না (সম্ভবত শীর্ষ 20 টি জমা দেওয়া তাদের বেসলাইনটিকে উন্নত করবে) would যদিও, কৌতুকজনকভাবে, তারা প্রথম স্থানের মডেলটি ব্যবহার করতে পারে যা অন্য শীর্ষ পাঁচটির চেয়ে খারাপ । তবে, প্রতিযোগিতায় অংশগ্রহণকারীদের জন্য, মনে হয় কেগল চূড়ান্তভাবে একটি খেলার খেলা - ভাগ্য সঠিক সমাধানে হোঁচট খাওয়ার প্রয়োজন হয় না, টেস্ট সেটটির সাথে মিলে যাওয়াতে তার হোঁচট খাওয়া দরকার!

প্রতিযোগিতায় পরিবর্তন করা কি এমনভাবে সম্ভব যে সমস্ত শীর্ষ দল যারা পরিসংখ্যানগতভাবে আলাদা হতে পারে না? বা, এই গোষ্ঠীতে, সবচেয়ে পার্সামোনিয়াস বা গণনামূলকভাবে সস্তা মডেলটি জিততে পারে?


1
কিছু লোক প্রকৃত পরীক্ষার মানগুলি ব্যাকআপ করার জন্য লুকানো সেটটিতে পরীক্ষা ব্যবহার করে। এটি তাদের প্রায় পুরোপুরি ফলাফলের ফিট করতে দেয়। হোল্ডআউট এটি প্রতিরোধ করে। আমার ব্যক্তিগত মতামত হোল্ডআউট এবং নন-হোল্ডআউটের মধ্যে পার্থক্যটি প্রতারকদের হাত থেকে মুক্তি পাওয়ার বিষয়ে।
21

1
অবশ্যই পরীক্ষার ডেটা অংশগ্রহণকারীদের কাছ থেকে বের করে নেওয়া উচিত, তবে আমি ভাবছি যে কোনও একক হোল্ড আউট টেস্ট সেটটি প্রতিযোগিতার ফলাফলগুলি (শীর্ষস্থানীয় দলগুলির জন্য) মূলত চান্সের উপর নির্ভর করে কিনা তা নিয়ে আমি ভাবছি । X
ব্যবহারকারী 0

স্কোরগুলি ওজনযুক্ত। একটি দুর্দান্ত ব্যবস্থা প্রায় প্রতিটি সময় একটি আবর্জনা ছাড়িয়ে যাচ্ছে। এত খারাপ ব্যর্থ হতে একটি ট্রাক বোঝা লাগে যা সর্বশেষে প্রথম হয়। স্থানীয় ক্রম, র‌্যাঙ্কে সম্ভবত 10 পদক্ষেপ বা তারও কম, যখন হাজার হাজার অংশগ্রহণকারী রয়েছে, যদি হোল্ডআউটটি পুনরায় তৈরি করা হয় তবে পরিবর্তন হবে। এটি দেখানোর জন্য আপনি একটি সংখ্যাসূচক পরীক্ষা করতে পারেন।
এনগ্রিস্টুডেন্ট

2
স্পনসরিং কর্পোরেশনের দৃষ্টিকোণ থেকে তারা আসলে বিজয়ী মডেলটি প্রয়োগ করতে বাধ্য হয় না। যদি আমি সঠিকভাবে মনে করি যে মডেল নেটফ্লিক্স চ্যালেঞ্জ জিতেছে তা কখনই প্রয়োগ করা হয়নি। তারা সেরা মডেলগুলির মধ্যে কয়েকটি বিশ্বাসযোগ্য প্রার্থী নিতে এবং তাদের আরও পরীক্ষা করতে পারে।
ডেভিড আর্নস্ট

উত্তর:


12

হ্যাঁ, আপনার যুক্তি সঠিক is যদি কোনও ভিন্ন পরীক্ষার সেট বাছাই করা হয় এবং প্রতিযোগিতা পুনরাবৃত্তি হয়, তবে র্যাঙ্কিংগুলি সত্যই পরিবর্তিত হবে। নিম্নলিখিত উদাহরণ বিবেচনা করুন। বাইনারি লেবেলগুলির সাথে একটি কাগল প্রতিযোগিতায় সমস্ত এন্ট্রি তাদের আউটপুট পূর্বাভাসের জন্য কেবল এলোমেলোভাবে অনুমান (এবং, বলুন) ess সুযোগক্রমে, তাদের মধ্যে একজন হোল্ডআউটের সাথে অন্যদের চেয়ে বেশি সম্মত হবে, যদিও কোনও পূর্বাভাস চলছে না।

যদিও এটি কিছুটা স্বীকৃত, আমরা দেখতে পাচ্ছি যে জমা দেওয়ার প্রতিটি মডেলের পরিবর্তনের অর্থ এমন অনেকগুলি এন্ট্রি প্রয়োগ করা অবশ্যই হোল্ডআউট সেটটির আওয়াজের জন্য উপযুক্ত হবে। এটি আমাদের জানায় যে (স্বতন্ত্র মডেলের বৈচিত্রগুলির উপর নির্ভর করে) শীর্ষ-এন মডেলগুলি সম্ভবত এটি সাধারণকরণ করে। এটি পথের কাঁটাচাষের বাগান, "গবেষক" ব্যতীত (তবে এটি কোনও বিষয় নয়)।

প্রতিযোগিতায় পরিবর্তন আনা কি এমন সম্ভাবনা রয়েছে যে সমস্ত দলকে যারা টেস্ট সেট জয়ের শীর্ষস্থানীয় পারফরম্যান্স থেকে স্ট্যাটিস্টিক্যালি আলাদা করা যায় না?

প্রকৃতপক্ষে.

  • একটি পদ্ধতির (যেমনটি অবৈধ) এটি হ'ল প্রতিটি এন্ট্রিতে একটি প্রদত্ত মডেলের বিভিন্নতার স্পষ্টতই কাজ করা যা তাদের হোল্ডআউট পারফরম্যান্সের জন্য একটি সিআই দেয়।
  • অন্য পদ্ধতি, যা প্রচুর গণনা নিতে পারে, হোল্ডআউট পারফরম্যান্সে সিআই বুটস্ট্র্যাপ করা, মডেলগুলির সমস্তটিতে একটি প্রশিক্ষণ এবং পরীক্ষার এপিআই প্রকাশ করে।

দুর্দান্ত উত্তর। দুটি পদ্ধতি কীভাবে প্রয়োগ করা যেতে পারে আপনি কী তা ব্যাখ্যা করতে পারেন?
ব্যবহারকার 0

1
এটি আকর্ষণীয়: সেরা মডেল বাস্তবে বিজয়ী দলের হতে পারে না।
ব্যবহারকার 0

1
স্পষ্টরূপে বৈকল্পিকতাটি ডেটা বিতরণ ছাড়াই করা সম্ভব নয় (আমি কেবল এটির উল্লেখ করি কারণ এটি তত্ত্বটি ব্যাখ্যা করে)। এই কাগজটিতে বুটস্ট্র্যাপ এবং ক্রস-বৈধকরণ সহ নির্ভুলতার জন্য অনুমানের জন্য কয়েকটি পদ্ধতি (এবং যেখানে তারা ব্যর্থ হয়) বর্ণনা করে। কাগজের বিপরীতে, যদিও এই প্রসঙ্গে, আমরা প্রশিক্ষণ সংস্থায় মডেল নির্বাচনের জন্য সিভি করছি না, বরং সম্মিলিত প্রশিক্ষণ এবং পরীক্ষার ডেটা সেটটিতে শক্তিশালী "স্কোর" করার জন্য করছি।
ভিএফ 1

শক্তিশালী বিজয়ী অনুমানের জন্য সম্ভবত দুটি রাউন্ড ভাল। প্রথমটি 99% সবচেয়ে খারাপকে সরিয়ে দেয় এবং দ্বিতীয় রাউন্ডটি ক্রমটিকে "পোলিশ" করার জন্য র‌্যাঙ্কিংটিকে পুনরায় অনুমান করে।
এনগ্রিস্টুডেন্ট

1
এখানে ধারণাগুলি যুক্ত করার জন্য, 2014 সালে এনসিএএ মার্চ ম্যাডনেস কাগল প্রতিযোগিতার বিজয়ীর দ্বারা এই কাগজটি দেখুন section ধারা 4, "সিমুলেশন অধ্যয়ন" এ স্ক্রোল করুন। তাদের সিম অনুসারে, যদি প্রতিটি মডেলআপের জন্য যদি তাদের মডেলের পূর্বাভাসের সম্ভাবনাগুলি প্রকৃতপক্ষে প্রকৃতির প্রকৃত অবস্থা হয় তবে তাদের মধ্যবর্তী স্থানটি একাদশ স্থান অধিকার করে।
ক্লম্বার্ড

3

কাগলে অন্যান্য ধরণের প্রতিযোগিতার কোনও সুযোগের উপাদান নেই। উদাহরণস্বরূপ, এই এক স্টান্টার চুরি Sleigh

এটি একটি স্বতন্ত্র অপ্টিমাইজেশন সমস্যা এবং এমনকি এটিতে ব্যক্তিগত নেতার বোর্ডও নেই। আপনি জননেতা বোর্ডে যা দেখছেন তা হ'ল চূড়ান্ত ফলাফল।

তত্ত্বাবধানে থাকা শিক্ষার সাথে তুলনা করা, এটি অনেকের পক্ষে সহজ সূচনা করে, এই ধরণের প্রতিযোগিতা প্রকৃতির ক্ষেত্রে আরও "শক্ত"।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.