প্রশিক্ষণ, বৈধতা এবং পরীক্ষা সহ ক্রস-বৈধকরণ। আমাদের কেন তিনটি সাবসেটের দরকার?


28

ক্রস-বৈধকরণ প্রক্রিয়া সম্পর্কিত আমার একটি প্রশ্ন আছে। আমি কার্সেরায় মেশিন লার্নিংয়ের একটি কোর্সের মাঝখানে আছি। বিষয়গুলির মধ্যে একটি ক্রস-বৈধকরণ সম্পর্কে। আমি এটি অনুসরণ করা কিছুটা কঠিন বলে মনে করি। আমি জানি কেন আমাদের সিভি দরকার কারণ আমরা আমাদের মডেলগুলিকে ভবিষ্যতে (অজানা) ডেটাতে ভালভাবে কাজ করতে চাই এবং সিভি অতিরিক্ত চাপ দেওয়া থেকে বিরত রাখে। তবে প্রক্রিয়াটি নিজেই বিভ্রান্তিকর।

আমি যা বুঝেছি তা হ'ল আমি ডেটাটিকে 3 টি সাবসেটে বিভক্ত করে: প্রশিক্ষণ, বৈধতা এবং পরীক্ষা। কোনও মডেলের সর্বোত্তম জটিলতা ট্রেন এবং বৈধকরণ। আমি যা বুঝতে পারি না তা হ'ল তৃতীয় উপসেট। আমি বুঝেছি আমি মডেলটির জন্য বেশ কয়েকটি বৈশিষ্ট্য নিয়েছি, এটি প্রশিক্ষণ দিয়েছি এবং এটি বৈধকরণ সাবসেটটিতে বৈধতা দিয়েছি এবং কাঠামোটি পরিবর্তন করার পরে সর্বনিম্ন ব্যয় কার্যকারিতা সন্ধান করি। যখন আমি এটি পেয়েছি, আমি পরীক্ষার সাবসেটের মডেলটি পরীক্ষা করি। আমি যদি ইতিমধ্যে বৈধতা সাবসেটের ন্যূনতম ব্যয় কার্যকারিতাটি খুঁজে পেয়েছি তবে কেন এটি আবার পরীক্ষার উপসেটে পরীক্ষা করার দরকার হবে ???

কেউ দয়া করে আমার জন্য এটি পরিষ্কার করতে পারেন?

ধন্যবাদ


আপনি আপনার প্রশ্নের সাথে অপ্রাসঙ্গিক নয় [1] এ পেপার এবং আলোচনার সন্ধান পাবেন। স্মৃতি থেকে, এটি তিনটি উপসর্গের উল্লেখ করেছে: প্রথমটি একটি মডেল তৈরি করা, দ্বিতীয়টি তার পরামিতিগুলি অনুমান করার এবং তৃতীয়টি পূর্বাভাস দিয়ে বৈধতা দেওয়ার জন্য। [1] চ্যাটফিল্ড, সি মডেল অনিশ্চয়তা, ডেটা মাইনিং এবং স্ট্যাটিস্টিকাল ইনফারেন্স (আলোচনার সাথে) রয়্যাল স্ট্যাটিস্টিকাল সোসাইটির জার্নাল। সিরিজ এ (সমাজে পরিসংখ্যান), 1995, 158, 419-466
হাইবারনেটিং


চিয়ার্স! এই লিঙ্কটির পিছনে
থ্রেডটিও এটি

উত্তর:


38
  • প্রশিক্ষণ সেটটি কোনও প্রদত্ত মডেলের জন্য সর্বোত্তম পরামিতিগুলি চয়ন করতে ব্যবহৃত হয়। লক্ষ্য করুন ট্রেনিং সেট ব্যবহার করে আপনি নিজের খরচ ফাংশনের একটি পক্ষপাতিত্বহীন অনুমান দিতে হবে পরামিতি কিছু প্রদত্ত সারি মূল্যায়নের - এটা এর কাজ বাছাই করার পরামিতি, যা নিখুত ট্রেনিং সেট যে গোঁড়ামির অনুমান তারা প্রদান উপর ভিত্তি করে আপনার খরচ ফাংশনের অনুমান । প্যারামিটারগুলি বেছে নেওয়া হয়েছিল যা প্রশিক্ষণ সংস্থায় সেরা সঞ্চালন করে; অতএব, প্রশিক্ষণ সংস্থায় মূল্যায়ন অনুসারে those পরামিতিগুলির আপাত কার্যকারিতা অত্যধিক আশাবাদী হবে।
  • প্রশিক্ষণ সেট ব্যবহার করে প্রশিক্ষণ প্রাপ্তি, বৈধতা সেটটি সেরা মডেল চয়ন করতে ব্যবহৃত হয়। আবার, নোট করুন যে বৈধতা সেট ব্যবহার করে প্রদত্ত যে কোনও মডেলকে মূল্যায়ন করার জন্য আপনাকে ব্যয় কার্যকারিতার একটি প্রতিনিধি অনুমান দেওয়া উচিত - এটি এমন মডেল বাছাইয়ের কাজ যা তাদের প্রদানের প্রাক্কলনের উপর ভিত্তি করে বৈধতা যাচাইকরণ সেটটিতে সেরা অভিনয় করে। মডেলটি বেছে নেওয়া হয়েছিল যা বৈধতা সেটটিতে সেরা অভিনয় করে; অতএব, বৈধতা সেটটিতে মূল্যায়ন অনুসারে সেই মডেলের আপাত পারফরম্যান্স অত্যধিক আশাবাদী হবে।
  • রয়ে প্রশিক্ষিত প্রতিটি মডেল ব্যবহার করে প্রশিক্ষণ সেট করুন এবং মনোনীত ব্যবহার শ্রেষ্ঠ মডেল বৈধতা সেট, টেস্ট সেট আপনি বলে কিভাবে ভাল মডেল আপনার চূড়ান্ত পছন্দ। এটি রান-টাইমে আপনি যে প্রকৃত পারফরম্যান্স পাবেন তার একটি নিরপেক্ষ অনুমান দেয় যা অনেক কারণেই জানা গুরুত্বপূর্ণ। আপনি এর জন্য প্রশিক্ষণ সেটটি ব্যবহার করতে পারবেন না, কারণ প্যারামিটারগুলি তার দিকে পক্ষপাতদুষ্ট। এবং আপনি এর জন্য বৈধতা সেটটি ব্যবহার করতে পারবেন না, কারণ মডেল নিজেই তাদের পক্ষে পক্ষপাতদুষ্ট। অতএব, একটি তৃতীয় সেট প্রয়োজন।

আমি এখন এটি দেখতে পারেন। ধন্যবাদ. মডেল কাঠামোর দিক দিয়ে নিরপেক্ষ পারফরম্যান্স খুঁজতে আমার আরও একটি সাবসেট লাগবে এই বিষয়টি নিয়ে আমি ভাবিনি। চিয়ার্স :) এটি খুব ভাল ব্যাখ্যা।
সেল্ডার

সুতরাং, এর অর্থ কি এই যে চূড়ান্ত পরীক্ষা-সেটটি মডেলটিকে অনুকূল করে তোলার বা সেরা মডেলটি বেছে নেওয়ার ক্ষেত্রে কোনও ভূমিকা রাখে না?
আনমল সিং জাগি

1
না, বাস্তবে এটি কেবল প্রত্যাশিত পারফরম্যান্সটি অনুমান করার জন্যই ব্যবহার করা উচিত। সুতরাং, যদি আপনি পরীক্ষার সেটটিতে পারফরম্যান্সের ফলাফল পছন্দ না করেন তবে আপনার মডেলটিকে আবার পরীক্ষার ফলাফলটি অনুকূল করার জন্য সুর করার অনুরোধটি এড়ানো উচিত, কারণ আপনার মডেলটি আবারও পক্ষপাতদুষ্ট হবে।
ইয়েটসন ডি বোয়ার 16'17

12

আমি যদি ইতিমধ্যে বৈধতা সাবসেটের ন্যূনতম ব্যয় কার্যকারিতাটি খুঁজে পেয়েছি তবে কেন এটি আবার পরীক্ষার সাবসেটে পরীক্ষা করার দরকার হবে

এলোমেলো ত্রুটির কারণে: সাধারণত আপনার কেবল সীমাবদ্ধ সংখ্যা থাকে।

বৈধকরণ (অভ্যন্তরীণ পরীক্ষা) পারফরম্যান্সের অপ্টিমাইজেশনের অর্থ হ'ল আপনি সেই অভ্যন্তরীণ পরীক্ষার সেটের চেয়ে বেশি উপযোগী হতে পারেন। অভ্যন্তরীণ পরীক্ষার সেটটি চূড়ান্ত মডেলের অনুমানের ক্ষেত্রে অবদান রাখে এবং এইভাবে মডেলের থেকে স্বতন্ত্র নয়।

এর অর্থ হ'ল যদি আপনি সাধারণীকরণের বৈশিষ্ট্যগুলি অনুমান করতে চান তবে আপনার কাছে আরও একটি (বহিরাগত) পরীক্ষা সেট থাকা দরকার যা পুরো মডেলিং পদ্ধতির (সমস্ত অপ্টিমাইজেশন এবং ডেটা-চালিত প্রাক-প্রক্রিয়াজাতকরণ বা মডেল নির্বাচন প্রক্রিয়া সহ) সম্পূর্ণ স্বাধীন is

আমি আপনাকে প্রস্তাব দিচ্ছি যে আপনি একটি সিমুলেশন তৈরি করুন এবং আপনি যে তিনটি ত্রুটি অনুমান করতে পারেন তার তুলনা করুন

  • resubstitution: ট্রেনের ভবিষ্যদ্বাণী সেট
    পরিমাপ করে ধার্মিকতা অফ হইয়া
  • অভ্যন্তরীণ পরীক্ষা (আপনার নামকরণ: বৈধকরণ) সেট: অপ্টিমাইজারের ধারণাটি যে মানের অর্জন করেছে
  • বাহ্যিক পরীক্ষার সেট: সাধারণীকরণ ত্রুটি, মডেল প্রশিক্ষণের থেকে পৃথক।

একটি সিমুলেশন আপনি সহজেই এগুলি একটি যথাযথ, বৃহত্তর, স্বতন্ত্রভাবে উত্পাদিত পরীক্ষার সেটের সাথে তুলনা করতে পারেন। যদি সেট-আপটি সঠিক হয় তবে বাহ্যিক পরীক্ষাটি নিরপেক্ষ থাকতে হবে (এটি সারোগেট মডেলটি মূল্যায়ন করে, পুরো ডেটা সেটে তৈরি "ফাইনাল" মডেলটি তৈরি করে না)। অভ্যন্তরীণ পরীক্ষাটি সাধারণত আশাবাদী পক্ষপাতদুষ্ট এবং পুনরায় প্রতিষ্ঠা আরও বেশি আশাবাদী পক্ষপাতদুষ্ট।

আমার ক্ষেত্রে, অভ্যন্তরীণ পরীক্ষাটি 2 - 5 (আক্রমণাত্মক অপ্টিমাইজেশান স্কিমগুলির জন্য অনেক বেশি) এর একটি ফ্যাক্টর দ্বারা সাধারণীকরণের ত্রুটিটিকে খুব সহজেই কম দেখবে।


দ্রষ্টব্য: সেটের নামকরণ সর্বজনীন নয়। আমার ক্ষেত্রে (বিশ্লেষণাত্মক রসায়ন), বৈধতা সাধারণত চূড়ান্ত পদ্ধতির পারফরম্যান্সের প্রমাণ হিসাবে বোঝায় - এইভাবে আপনার "পরীক্ষার" সেটটি আপনার "বৈধতা" সেট যা করে তার চেয়ে বেশি করে।

তাই আমি অভ্যন্তরীণ এবং বাহ্যিক পরীক্ষার সেটগুলি বা অপ্টিমাইজেশন পরীক্ষা সেট (= অভ্যন্তরীণ পরীক্ষা সেট) এর কথা বলতে পছন্দ করি এবং তারপরে বৈধতা সেটটির অর্থ বাইরের পরীক্ষার সেট।


2

মডেলটিকে প্রশিক্ষণের সময় অবশ্যই মডেলটির জন্য মেটা পরামিতি নির্বাচন করতে হবে (উদাহরণস্বরূপ, নিয়মিতকরণের পরামিতি) বা এমনকি বেশ কয়েকটি মডেল থেকে চয়ন করতে পারেন। এক্ষেত্রে বৈধতা সাবসেটটি প্যারামিটার নির্বাচনের জন্য ব্যবহৃত হয় তবে চূড়ান্ত পূর্বাভাস অনুমানের জন্য পরীক্ষার সাবসেট।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.