হোল্ড-আউট বৈধতা কে-ফোল্ড সিভি-র চেয়ে "নতুন ডেটা পাওয়ার" আরও ভাল অনুমানের?


10

আমি একজন ভান্ডারের চিন্তা করে থাকেন উত্তর আমি কয়েক সপ্তাহ আগে এক প্রশ্নের দিলেন

হোল্ড আউট ক্রস-বৈধকরণ একক পরীক্ষার সেট উত্পাদন করে যা বারবার প্রদর্শনের জন্য ব্যবহার করা যেতে পারে। আমরা সকলেই একমত হয়ে দেখছি যে এটি অনেক দিক থেকে একটি নেতিবাচক বৈশিষ্ট্য, যেহেতু একটি বহিরাগত সেটটি এলোমেলো হয়ে যাওয়ার মাধ্যমে অ-প্রতিনিধি হতে পারে। তদুপরি, আপনি যেমন পরীক্ষার তথ্যগুলিতে অতিরিক্ত মানিয়ে নিতে পারেন তেমনভাবে আপনি প্রশিক্ষণের ডেটা থেকেও বেশি উপকার করতে পারেন।

যাইহোক, এটি আমার কাছে মনে হয় যে একটি আউট-আউট স্যাম্পলটির স্থির প্রকৃতিটি কে-ফোল্ড সিভিয়ের চেয়ে "বেশি ডেটা পাওয়ার" আরও ভাল অনুমান এবং এটি ভাঁজগুলি জুড়ে গড়ের বিষয়টি এড়িয়ে যায়। আমি আমার এই অনুভূতির জন্য কোনও পরিসংখ্যানের ভিত্তিতে আসতে পারি না। আমার অন্তর্দৃষ্টি কোন যুক্তি আছে?

উদাহরণস্বরূপ, আসন্ন প্রকল্পের জন্য আমি যা মনে করি তা হ'ল প্রথমে একটি মডেল তৈরি এবং পরীক্ষার জন্য হোল্ড-আউট বৈধতা ব্যবহার করা হয়, তারপরে যাচাইকরণের পদক্ষেপ হিসাবে আমার ভবিষ্যদ্বাণী ত্রুটির অনুমানটি দেখানোর জন্য হোল্ড-আউট সেটটি বেশ কয়েকবার পুনরায় অঙ্কন করে ( পরীক্ষা সেটটিতে) পরীক্ষার সেটে নমুনা ত্রুটির শক্তিশালী। এটি কোনও কারণে খারাপ ধারণা? এই প্রশ্নটি আগে জিজ্ঞাসা করা হয়েছিল কিন্তু কোনও উত্তর পাই নি।

উত্তর:


6

আইএমএইচও হোল্ড-আউট বৈধতার সবচেয়ে খারাপ বৈশিষ্ট্যগুলির পরিসংখ্যানের চেয়ে মনস্তাত্ত্বিক: আমি অনেকগুলি হোল্ড-আউট দেখি যা ব্যাখ্যা করা হয় যেন এটি একটি স্বাধীন বৈধতা পরীক্ষা (ইতিমধ্যে পরীক্ষামূলক স্তরে স্বাধীনতার সাথে), যদিও এর অনেকগুলি পুনরায় মডেলিং বৈধকরণের সাথে আমি যে গুরুত্বপূর্ণ সমস্যাগুলি দেখি তা হোল্ড-আউটের সাথেও ঘটতে পারে (অন্যায়ভাবে বিভক্ত হওয়ার ফলে যে সমস্যা দেখা দেয়)।

এটি বাদে, আইএমএইচও এটি প্রায় পুনর্নির্মাণের সমান (কমপক্ষে যেমনটি আমি বাস্তবে এটি দেখেছি)। পার্থক্য হয়

  • প্রকৃতপক্ষে বিভিন্ন পরীক্ষিত মামলার মোট সংখ্যা কম (এবং ফলস্বরূপ অনুমান কম নির্দিষ্ট হয়)।
  • হোল্ড-আউট সহ, কর্মক্ষমতা হোল্ড-আউট ট্রেইস প্লাস হোল্ড-আউট পরীক্ষার ডেটা থেকে নির্মিত প্রকৃতরূপিত মডেল নয়, প্রকৃতপক্ষে পরীক্ষিত মডেলের জন্য দাবি করা হয়। পুনরায় মডেলিং দাবি করে যে পরিমাপকৃত পারফরম্যান্স পরবর্তী মডেলের কর্মক্ষমতাটির জন্য একটি ভাল অনুমান। তবে আমি হোল্ড-আউট পদ্ধতিরও এইভাবে ব্যবহার করা দেখেছি ("বৈধতা নির্ধারণ করুন")।

এসবেনসেন এবং জেলাদি: যথাযথ বৈধতার নীতি: বৈধতার জন্য পুনরায় স্যাম্পলিংয়ের ব্যবহার এবং অপব্যবহার, কেমোমেট্রিক্স জার্নাল, 24 (3-4), 168-187 যুক্তি দেয় যে ব্যবহারিক দিক দিয়ে উভয়ই ডেটা সেটগুলির জন্য খুব ভাল অনুমান নয় (বৈধতা) পরীক্ষাগুলি) যা সত্যই আকর্ষণীয় পারফরম্যান্সের বৈশিষ্ট্যগুলি পরিমাপ করতে দেয়।

আপনি যেমন পরীক্ষার ডেটাতে অতিরিক্ত মানিয়ে নিতে পারেন তেমনভাবে টেস্টের ডেটাতে ওভারফিট করা শেষ করতে পারে।

অন্য যে কোনও বৈধতার সাথে একই: আপনি যদি ডেটা-চালিত মডেলিং / মডেল নির্বাচন করেন, তবে অন্য একটি স্বতন্ত্র স্তরের বৈধতা প্রয়োজন। হোল্ড-আউট এবং পুনরায় মডেলিং প্রকল্পগুলির মধ্যে আমি এখানে কোনও পার্থক্য দেখছি না।

প্রথমে একটি মডেল তৈরি এবং পরীক্ষার জন্য হোল্ড-আউট বৈধতা ব্যবহার করে, তারপরে বৈধতা পদক্ষেপ হিসাবে হোল্ড-আউট সেটটি কয়েকবার পুনরায় অঙ্কন করে দেখায় যে আমার ভবিষ্যদ্বাণী ত্রুটির অনুমান (পরীক্ষার সেটটিতে) পরীক্ষায় নমুনা ত্রুটির পক্ষে দৃ are় সেট। এটি কোনও কারণে খারাপ ধারণা?

আমিও তাই মনে করি, হ্যাঁ: আইএমএইচও একটি নেস্টেড সেট আপ ব্যবহার করা উচিত
(যদি না আপনি সুপারিশ করতে চান যে হোল্ড আউট বৈধতাটি আবারও পুনরাবৃত্তি করতে পারে - এটি একটি বৈধ পন্থা যা কেবল ব্যাখ্যা দ্বারা পুনরাবৃত্তি / পুনরাবৃত্তি সেট বৈধতা থেকে পৃথক : পারফরম্যান্স স্টেটমেন্টটি আসলে অনেকগুলি পরীক্ষিত মডেল সম্পর্কে কিনা বা সমস্ত ডেটা দ্বারা নির্মিত একটি মডেলের এক্সট্রাপোল্টেড কিনা)।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.