হাইপার-প্যারামিটার টিউনিং বেস টেস্ট ডেটা এবং মডেল নির্বাচনের ভিত্তিতে বৈধতা ডেটা করার পরে কেন পুরো ডেটাতে চূড়ান্ত মডেলটিকে প্রশিক্ষণ দেওয়া হচ্ছে না?

Question

পুরো ডেটা দ্বারা আমি ট্রেন + পরীক্ষা + বৈধতা বলতে চাইছি

একবার আমি আমার হাইপারপ্যারামিটারটি যাচাইকরণের ডেটা ব্যবহার করে স্থির করে দিয়েছি এবং পরীক্ষার ডেটা ব্যবহার করে মডেলটি বেছে নিই, পুরো ডেটা সম্পর্কে কোনও মডেল প্রশিক্ষণ দেওয়া ভাল নয় যাতে পরামিতিগুলি কেবলমাত্র মডেলকে প্রশিক্ষণ দেওয়ার চেয়ে আরও ভাল প্রশিক্ষিত হয়? ট্রেন তথ্য

Comments

আপনার পরীক্ষার ডেটা ব্যবহার করে আপনার হাইপারপ্যারামিটারগুলি ঠিক করা উচিত নয়। আপনি কেবল নিজের অন্ধ নিয়ন্ত্রণ গ্রুপ (পরীক্ষার সেট) সরিয়ে আপনার পুরো পরীক্ষাটি নষ্ট করেছেন।

— JahKnows

@ জাহক্নোস একটি মডেলের হাইপার পরামিতিগুলি সুর করার পরে, আমি ক্ষতিটি বুঝতে পারি না এটি বাদে আমি বুঝতে পারি না যে এটি কোনও আলাদা ডেটাসেটের উপর কতটা জেনারেল করে তোলে। আমি কীভাবে আমার পরীক্ষা নষ্ট করেছি? আমি কিছু অনুপস্থিত করছি?

— অপুরভা অভিষেক

Answer 1

প্রশ্নটি একটি ভুল অনুমানের অধীনে। আপনারা যা বলেছিলেন তারা "না" করতে পারে এমন অনেক লোকই করেন।

প্রকৃতপক্ষে, ব্যাপকভাবে মোতায়েন করা স্কলারন প্যাকেজে গ্রিড অনুসন্ধান বাস্তবায়ন ঠিক এটিই করে। যতক্ষণ না refit=False, এটি সম্পূর্ণ ডেটা ব্যবহার করে চূড়ান্ত মডেলটি পুনরায় প্রশিক্ষণ করবে।

আমি মনে করি কিছু হাইপারপ্যারামিটারগুলির জন্য এটি খুব পছন্দসই নাও হতে পারে, কারণ এগুলি ডেটার পরিমাণের সাথে সম্পর্কিত relative উদাহরণস্বরূপ, সিদ্ধান্তের গাছেরmin_samples_leaf প্রাক-ছাঁটাই কৌশলটি বিবেচনা করুন । আপনার যদি আরও ডেটা থাকে তবে প্রাক-ছাঁটাইটি আপনি যেমন চান তেমন সম্পাদন করতে পারে না।

তবে আবারও, বেশিরভাগ লোকেরা ক্রস-বৈধতার পরে পুরো ডেটা ব্যবহার করে পুনরায় প্রশিক্ষণ করে, যাতে তারা সর্বোত্তম মডেলটি শেষ করে।

সংযোজন: @ নীলস্ল্যাটার নীচে বলেছে যে কিছু লোক সিভির উপরে হোল্ড-আউট সম্পাদন করে। অন্য কথায়, তাদের ট্রেন-পরীক্ষা বিভাজন রয়েছে এবং তারপরে প্রশিক্ষণটিতে মডেল নির্বাচন সম্পাদন করে। তার মতে, তারা মূল প্রশিক্ষণ সেট বিভক্ত ব্যবহার করে পুনরায় প্রশিক্ষণ দেয়, তবে পরীক্ষার সেটটি নয়। চূড়ান্ত মডেল অনুমানের জন্য পরীক্ষার সেটটি ব্যবহার করা হয়। ব্যক্তিগতভাবে, আমি এটির জন্য তিনটি ত্রুটি দেখতে পাচ্ছি: (ক) এটি যে সমস্যার সমাধান করে আমি উল্লেখ করেছি কিছু হাইপারপ্যারামিটারগুলি প্রশিক্ষণের পরিমাণের উপর নির্ভরশীল যেহেতু আপনি যে কোনও উপায়ে পুনরায় প্রশিক্ষণ নিচ্ছেন, (খ) অনেকগুলি মডেল পরীক্ষা করার সময় আমি আরও পরিশীলিতকে পছন্দ করি নেস্টেড ক্রস বৈধকরণের মতো পদ্ধতি যাতে কোনও ডেটা নষ্ট না হয় এবং (গ) হোল্ড-আউট হ'ল একটি অদ্ভুত পদ্ধতি এটি নির্ধারণ করার জন্য যে আপনার কাছে খুব কম ডেটা থাকলে কোনও মডেল কীভাবে সাধারণীকরণ করবে।

Comments

বৈশিষ্ট্যটি ক্রস-বৈধকরণ পুনরায় ব্যবহার সম্পর্কে, এটি এখনও পরীক্ষার ডেটা পুনরায় ব্যবহার করার পরামর্শ দেওয়া হয় না, কারণ আপনার কেবল ক্রস-বৈধতা থেকে অনুমান এবং পারফরম্যান্সের কোনও পরিমাপ নেই। যে কোনও বাগ বা সমস্যার প্যারামিটার (যেমন আপনি যে উদাহরণ দেন) অন্যথায় মডেলটিকে নির্বিচারে খারাপ করতে পারে।

— নিল স্লেটার

@ নিলস্ল্যাটার আপনি এখানে যা বলেছিলেন তা আমি বুঝতে পারি না: "বৈশিষ্ট্যটি ক্রস-বৈধকরণ পুনরায় ব্যবহারের বিষয়ে"

— রিকার্ডো ক্রুজ

"বৈশিষ্ট্য" -> refitগ্রিড অনুসন্ধানসিভি ফাংশনের বিকল্প। হোল্ড-আউট টেস্ট ডেটা অন্তর্ভুক্ত করার জন্য এটি পুনরায় ফিট করে না (এটি ডেটা দেখতেও পায় না)।

— নিল স্লেটার

@ নিলস্ল্যাটার, আপনি যদি আমাকে বিশ্বাস না করেন তবে সহজেই নিজের জন্য কোডটি পরীক্ষা করতে পারেন (এখানে) । যদি রিফিট = সত্য হয়, তবে "পুরো ডেটাসেট ব্যবহার করে সেরা অনুমানকারী ফিট করুন"।

— রিকার্ডো ক্রুজ 21

@ নীলস্লেটার, এটি আমার অভিজ্ঞতা নয়, তবে আমি আপনার অভিজ্ঞতাকে আমার মন্তব্যে যুক্ত করেছি যাতে অন্যরা এটি থেকে উপকৃত হতে পারে। ধন্যবাদ.

— রিকার্ডো ক্রুজ

Answer 2

হ্যা, তুমি পারো.

যেহেতু পরীক্ষার ডেটা ডেটা প্রশিক্ষণের জন্য অবিচ্ছিন্ন বিতরণ থেকে আসা উচিত, আপনি আপনার মডেলটি ভাঙবেন না। যদি আপনি মডেলকে স্বতঃস্ফূর্তভাবে প্রশিক্ষণপ্রাপ্ত হন তবে আপনি কোনও উল্লেখযোগ্য পরিবর্তন দেখতে পাবেন না (পূর্ববর্তী পরীক্ষা / বৈধকরণের ডেটাতে আরও ভাল নির্ভুলতা মেট্রিক বাদে)।

তবে এটি বিরল সত্যই যে পরীক্ষার ডেটা ট্রেনের ডেটা হিসাবে ঠিক একই বন্টন থেকে আসে, তাই বাস্তব প্রয়োগের ক্ষেত্রে আপনি আপনার মডেলের উন্নততর সাধারণীকরণ পেতে পারেন।

Comments

এই পরামর্শ অনুসারে পরীক্ষার ডেটা অন্তর্ভুক্ত করার সমস্যাটি এখন আপনার কাছে মডেলটি কতটা ভাল করে তোলে তা পরিমাপ করে না। হ্যাঁ আপনি এটি আরও সাধারণকরণের আশা করতে পারেন। তবে আপনি জানেন না , কারণ আপনি এটি পরিমাপ করার ক্ষমতা সরিয়ে ফেলেছেন। আমি সেই সতর্কবাণী যুক্ত করার পরামর্শ দিয়েছি এবং কেন কখনও কখনও এটি এখনও ঠিক থাকে তা ব্যাখ্যা করুন (উদাহরণস্বরূপ নতুন ডেটা পাওয়ার সময়, আপনি সম্ভবত এটি একটি নতুন পরীক্ষার সেট হিসাবে বিবেচনা করতে এবং সময়ের সাথে একটি নতুন পরিমাপ তৈরি করতে সক্ষম হতে পারবেন, যদিও আশা করা যায় যে আরও ভাল মডেলের সুবিধা নেবেন - যদিও এটি ঝুঁকিপূর্ণ)

— নিল স্লেটার

@ নীলস্লেটার: আমি বুঝতে পেরেছি যে এটি আলাদা ডেটাসেটটিতে কীভাবে সাধারণীকরণ করবে তা পরিমাপ করার আমার ক্ষমতা আমি সরিয়ে ফেলেছি। তবে হাইপার প্যারামিটার টিউন করার পরেও আমার যদি পরীক্ষা এবং হোল্ডআউট উভয়ই থাকে তবে আমি আমার মডেলটিকে ট্রেন + পরীক্ষায় আবার প্রশিক্ষণ দিতে পারি, আমার মডেল কীভাবে জেনারেলাইজ করে তা পরীক্ষা করে দেখার জন্য এখনও আমার কাছে রেখে দেওয়া হবে with আমি জানি এটি আমি যা চেয়েছিলাম তার চেয়ে আলাদা। তবে আমি কেবল আপনার দৃষ্টিভঙ্গি জানতে চাই।

— অপূর্ব অভিষেক

@ অ্যাপুরোভাবিশেখ: যদি আপনার কাছে আর একটি হোল্ডআউট ডেটা সেট থাকে, তবে হ্যাঁ আপনি এটি নতুন_ট্রিন = {পুরানো ট্রেন, পুরানো সিভি, পুরানো পরীক্ষা on প্রশিক্ষিত নতুন মডেলের বিপরীতে নতুন পরীক্ষা সেট হিসাবে ব্যবহার করতে পারেন} তাহলে আপনি সাধারণীকরণের একটি পরিমাপ পাবেন। যদিও আপনাকে এটি অতিরিক্ত ব্যবহার না করার বিষয়ে সতর্কতা অবলম্বন করতে হবে - যদি এটি সক্রিয় হয়ে যায় যে নতুন সংযুক্ত সেটটিতে সমস্যা আছে (উদাহরণস্বরূপ আরও ডেটার কারণে প্রারম্ভিক থামানো দরকার) তবে আপনি এটি নতুন সিভি সেট হিসাবেও ব্যবহার করতে পারবেন না। । । রিজার্ভে আপনার আর একটি হোল্ডআউট সেট না হয়ে থাকে। । ।

— নীল স্লেটার

@ নীলস্লেটার তত্ত্ব অনুসারে কর্মক্ষমতা জানতে আপনার নতুন ডেটাসেটের প্রয়োজন need অনুশীলনে আপনি নিশ্চিত হয়ে উঠতে পারেন যে আপনার মডেলটি বেশ ভাল সময় ধরে কাজ করেছে, কারণ আপনি এটির সাথে দীর্ঘ সময় ধরে কাজ করেছেন এবং আপনি কী আশা করবেন তা জানেন। তবে সাধারণত কোনও মডেলের পারফরম্যান্স পরীক্ষা করার জন্য আপনার কাছে অন্যান্য ডেটাও থাকে, উদাহরণস্বরূপ, কম্পিউটার দৃষ্টি - লেবেলযুক্ত ডেটা। এটি সঠিক নয়, তবে এটি কার্যকরও হয়। অবশ্যই এটি চরম ঘটনা, তবে আমি বলতে চাই এটি কার্যকর হতে পারে। নিজেই আমার কাছে সর্বদা পরীক্ষার সেট থাকে যা আমি প্রশিক্ষণের সাথে মিশ্রিত করি না।

— ইলিয়া ঝেনিন

Answer 3

এই প্রশ্নের উত্তর আপনি ব্যবহার করেন এমন প্রশিক্ষণ অ্যালগরিদম (প্রযুক্তি) এর উপর নির্ভর করে। উদাহরণস্বরূপ, আমি জড়িত শ্রেণিবদ্ধকরণে কিছু পন্থা দেখেছি যেখানে প্রশিক্ষণ এবং বৈধকরণ (তবে পরীক্ষা নয়) সেটগুলি শেষে একত্রিত করা হয়। এটি জেনে রাখা খুব জরুরি যে এমনকি বৈধতাও হাইপার প্যারামিটারগুলি নির্ধারণের জন্য প্রধানত ব্যবহৃত হয় এই হাইপার প্যারামিটারগুলির কয়েকটি প্রশিক্ষণের জন্য ব্যবহৃত ডেটার ফাংশন হতে পারে। উদাহরণস্বরূপ, ডিএনএন বৈধকরণে কখন থামবেন তা জানতেন, কারণ নেটওয়ার্কের পরামিতিগুলি (ওজন) টিউন করে যাওয়ার ফলে ওভারফিটিং ঘটতে পারে, কখন থামবে তা আমাদের জানার একটি উপায় প্রয়োজন। বৈধতা সেট ছাড়াই আপনি প্রশিক্ষণ প্রক্রিয়া অন্ধভাবে হাঁটা হবে। অন্যদিকে, আপনি যদি পূর্বে উল্লিখিত হিসাবে ঠিক একই সংখ্যার পুনরাবৃত্তি ব্যবহার করেন তবে উচ্চতর সম্ভাবনা রয়েছে যে আপনি এই অতিরিক্ত নমুনাগুলি থেকে লাভ করতে পারবেন না। পরীক্ষার সেটটি একেবারে স্পর্শ করা উচিত নয়, যেমন উপরে টেস্টিং সেট ব্যতীত নির্দেশিত আপনার মডেলটি মূল্যায়ন করার কোনও পদ্ধতি থাকবে না। এটি জুয়া খেলা, আপনি সত্য ডেটা বিতরণের (যা পরীক্ষার ডেটা দ্বারা প্রতিনিধিত্ব করা হয়) এর সঠিকতার অনুমান ব্যতিরেকে কোনও মডেল বা সমাধান সরবরাহ করতে পারবেন না।

Comments

আমি ট্রেনের ডেটা সম্পর্কে প্রশিক্ষণের পরে, বৈধতার ডেটাতে হাইপার প্যারামিটার টিউনিং এবং মডেল ভিত্তিক পরীক্ষার ডেটা বেছে নেওয়ার পরে বলতে চাই, আমি কী আমার মডেলের ভিত্তিতে পুরো ডেটা প্রশিক্ষণ দিতে পারি? বা, হাইপারপ্যারামিটার টিউনিংয়ের সাথে সম্পন্ন করার পরে আমি প্রশিক্ষণের ডেটা এবং বৈধতা ডেটা একত্রিত করতে পারি এবং পরীক্ষার ডেটা ব্যবহার করে নির্ভুলতার অনুমান করতে পারি। এটি ভুলভাবে লেখার জন্য দুঃখিত। এখনই এটি সংশোধন করেছেন।

— অপুরভা অভিষেক