কে-ফোল্ড ক্রস-বৈধতা ব্যবহার করার সময় আমাদের কি একটি পরীক্ষার সেট দরকার?


21

আমি কে-ফোল্ড বৈধতা সম্পর্কে পড়ছি এবং আমি কীভাবে এটি কাজ করে তা আমি নিশ্চিত করতে চাই।

আমি জানি যে হোল্ডআউট পদ্ধতির জন্য, ডেটাটি তিনটি সেটে বিভক্ত হয়, এবং পরীক্ষার সেটটি কেবলমাত্র মডেলের কর্মক্ষমতা নির্ধারণের জন্য একেবারে শেষে ব্যবহৃত হয়, যখন বৈধতা সেটটি হাইপারপ্যারামিটারগুলি সুরকরণ ইত্যাদির জন্য ব্যবহৃত হয় ইত্যাদি etc.

কে-ভাঁজ পদ্ধতিতে, আমরা কি এখনও খুব শেষের জন্য একটি পরীক্ষা সেট রেখেছি , এবং কেবল প্রশিক্ষণ এবং হাইপারপ্যারামিটার টিউনিংয়ের জন্য অবশিষ্ট তথ্য ব্যবহার করি, অর্থাৎ আমরা অবশিষ্ট তথ্যকে কে ভাঁজগুলিতে বিভক্ত করি এবং তারপরে প্রশিক্ষণের পরে গড় যথার্থতা ব্যবহার করি প্রতিটি ভাঁজ (বা যাই হোক না কেন পারফরম্যান্স মেট্রিক আমরা আমাদের হাইপারপ্যারামিটার টিউন করতে চয়ন করি)? অথবা আমরা মোটেও একটি পৃথক পরীক্ষার সেট ব্যবহার করি না, এবং কেবলমাত্র পুরো ডেটাসেটকে কে ভাঁজগুলিতে বিভক্ত করি (যদি এটি হয় তবে আমি ধরে নিই যে আমরা কেবল কে ভাঁজগুলির গড় নির্ভুলতাটিকে আমাদের চূড়ান্ত যথার্থতা হিসাবে বিবেচনা করি)?


3
এটি আপনি কী করতে চান তার উপর নির্ভর করে। আপনি যদি সাধারণীকরণের পারফরম্যান্সের প্রাক্কলন চান, তবে হ্যাঁ, মডেলটির এমন ডেটা পরীক্ষা করা উচিত যা এর আগে কখনও দেখা যায়নি। তবে এর অর্থ এই নয় যে এটি একটি একক হোল্ডআউট পুনরাবৃত্তি হতে হবে, আপনি একই লক্ষ্য অর্জন করতে পুনরায় মডেলিং ব্যবহার করতে পারেন।
ফায়ারব্যাগ

2
... যার অর্থ আপনি যখনই হাইপারপ্যারামিটার অপ্টিমাইজেশন / মডেল টিউনিংয়ের জন্য "বৈধতা" ফলাফলগুলি ব্যবহার করেন তখন আপনার বৈধতার অন্য একটি পর্যায়ে প্রয়োজন যা সেই সুরের চেয়ে স্বতন্ত্র। উভয় পর্যায়ে আপনি যেমন ক্রস বৈধতা বা হোল্ড আউট (বা আউট-বুটস্ট্র্যাপ বা ...) ব্যবহার করতে পারেন। সিভি +
সিভিকে

উত্তর:


9

কে-ফোল্ড পদ্ধতিতে, আমরা কি এখনও খুব শেষের জন্য একটি পরীক্ষা সেট রেখেছি এবং কেবল প্রশিক্ষণ এবং হাইপারপ্যারামিটার টিউনিংয়ের জন্য অবশিষ্ট তথ্য ব্যবহার করি (যেমন, আমরা অবশিষ্ট তথ্যকে কে ভাঁজগুলিতে বিভক্ত করি এবং তারপরে গড় যথার্থতা ব্যবহার করি আমাদের হাইপারপ্যারামিটারগুলি টিউন করার জন্য প্রতিটি ভাঁজ (বা আমরা যে কোনও পারফরম্যান্স মেট্রিক চয়ন করি) এর সাথে প্রশিক্ষণ দিচ্ছি?

হ্যাঁ. একটি নিয়ম হিসাবে, পরীক্ষার সেটটি কখনই আপনার মডেল (উদাহরণস্বরূপ, এর হাইপারপ্যারামিটার) পরিবর্তন করতে ব্যবহার করা উচিত নয়।

যাইহোক, ক্রস-বৈধকরণ কখনও কখনও হাইপারপ্যারামিটার টিউনিং ব্যতীত অন্য উদ্দেশ্যে ব্যবহার করা যেতে পারে, যেমন ট্রেন / পরীক্ষার বিভাজন ফলাফলকে কী পরিমাণে প্রভাবিত করে তা নির্ধারণ করে।


6
+1 তবে আপনি ক্রস-বৈধতা + পরীক্ষার সেটটির বিকল্প হিসাবে নেস্টেড ক্রস-বৈধতা উল্লেখ করতে চাইতে পারেন।
অ্যামিবা বলছেন মনিকাকে

1
"কখনও কখনও হাইপারপ্যারামিটার টিউনিং ব্যতীত অন্য উদ্দেশ্যে ব্যবহার করা যেতে পারে"। উদাহরণস্বরূপ, যদি আপনি জন্য ক্রস বৈধতা ব্যবহার করতে পারেন বৈধতা উদ্দেশ্যে (= অজানা মামলা পরীক্ষার সাধারণীকরণ ত্রুটি পরিমাপ)।
ক্যাবেলাইটস মনিকা

3

সাধারণত, হ্যাঁ মূলত আপনি আমরা পক্ষপাত-বৈকল্পিক ট্রেড অফের কথা বলছি। আপনি যদি আপনার মডেল (প্রশিক্ষণ এবং বৈধকরণের ডেটা) তৈরি করতে ডেটা ব্যবহার করেন এবং আপনি বিভিন্ন হাইপারপ্যারামিটারগুলি দিয়ে পুনরাবৃত্তি করেন এবং আপনি গড় গড় পারফরমেন্স মেট্রিককে সর্বাধিক করার চেষ্টা করেন তবে আপনার মডেলটি ইঙ্গিত হিসাবে ভাল নাও হতে পারে।

তবে, বিশেষত ছোট ডেটাসেটগুলিতে অতিরিক্ত বিভাজন এমনকি আরও ছোট প্রশিক্ষণের সেট হতে পারে এবং খারাপ মডেলের ফলাফল হতে পারে।


2
এটি প্রশ্নের সত্যিকারের উত্তর নয়।
মাইকেল আর চেরনিক

আপনি কি এটি প্রসারিত করতে পারেন যাতে এটি গ্রহণযোগ্য উত্তর এবং মোটামুটি বিস্তারিত মন্তব্যে কিছু যুক্ত করে?
mdewey

1

আদর্শভাবে, বৈধতা (মডেল নির্বাচনের জন্য) এবং চূড়ান্ত পরীক্ষার মিশ্রণ করা উচিত নয়। তবে, যদি আপনার কে-এর মান বেশি হয়, বা এটি ছেড়ে যায় তবে আপনার মডেল নির্বাচনের জন্য পরীক্ষার ফলাফল ব্যবহার করা কম ক্ষতিকারক। এই দৃশ্যে, আপনি যদি একাডেমিক কাগজ লিখছেন, তবে এটি করবেন না (যদি আপনি ব্যাখ্যা করতে বিরক্ত না করেন) - মানে সর্বদা পৃথক পরীক্ষার সেট থাকে have আপনি যদি ব্যবহারিক প্রকল্প তৈরি করে থাকেন তবে তা করা ঠিক হবে।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.