প্রশিক্ষণ / বৈধতা / পরীক্ষার সেটগুলির প্রসঙ্গে কে-ফোল্ড ক্রস বৈধকরণ কীভাবে ফিট করে?

Question

আমার মূল প্রশ্নটি কী-ভাঁজ ক্রস-বৈধকরণ প্রশিক্ষণ / বৈধতা / পরীক্ষার সেট থাকার ক্ষেত্রে (এটি যদি এ জাতীয় প্রসঙ্গে পুরোপুরি ফিট করে তবে) কীভাবে ফিট করে তা বোঝার চেষ্টা করে with

সাধারণত, লোকেরা ডেটাটিকে একটি প্রশিক্ষণ, বৈধকরণ এবং পরীক্ষার সেটগুলিতে বিভক্ত করার কথা বলে - অ্যান্ড্রু এনজি এর কোর্স অনুযায়ী 60/20/20 অনুপাতে বলুন - যার মাধ্যমে বৈধতা সেটটি মডেল প্রশিক্ষণের জন্য অনুকূল পরামিতিগুলি সনাক্ত করতে ব্যবহৃত হয়।

যাইহোক, যদি ডেটার পরিমাণ তুলনামূলকভাবে কম হয় তবে যদি কেউ আরও প্রতিনিধি নির্ভুলতা পরিমাপের আশায় কে-ফোল্ড ক্রস-বৈধতা ব্যবহার করতে চায়, তবে এই 60/20/20 বিভাজনে কে-ভাঁজ ক্রস-বৈধকরণ ঠিক কী করবে? দৃশ্যকল্প?

উদাহরণস্বরূপ, এর অর্থ কি এই যে আমরা প্রকৃতপক্ষে প্রশিক্ষণ এবং পরীক্ষার সেটগুলি (তথ্যের ৮০%) একত্রিত করব এবং তাদের নির্ভুলতার পরিমাপ (স্পষ্টতই 'পরীক্ষার সেট' রেখে কার্যকরভাবে বিচ্ছিন্নকরণ) পেতে কে-ফোল্ড ক্রস বৈধতা দেব? যদি তাই হয়, আমরা কোন প্রশিক্ষিত মডেলটি ব্যবহার করব) ক উত্পাদনে, এবং খ) বৈধতা সেটের বিরুদ্ধে ব্যবহার করতে এবং অনুকূল প্রশিক্ষণের পরামিতিগুলি সনাক্ত করতে? উদাহরণস্বরূপ, a এবং b এর একটি সম্ভাব্য উত্তর সম্ভবত সেরা-ভাঁজ মডেলটি ব্যবহার করা।

Answer 1

ক্রস-বৈধকরণ সাধারণত একটি বৈধতা সেট প্রয়োজন এড়াতে সহায়তা করে।

প্রশিক্ষণ / বৈধতা / পরীক্ষার ডেটা সেটগুলির সাথে প্রাথমিক ধারণাটি নিম্নরূপ:

1. প্রশিক্ষণ: আপনি প্রশিক্ষণের ডেটাতে হাইপারপ্যারামিটারগুলির বিভিন্ন পছন্দ সহ মডেল বিভিন্ন ধরণের চেষ্টা করে দেখুন (উদাহরণস্বরূপ বৈশিষ্ট্যগুলির বিভিন্ন নির্বাচনের সাথে লিনিয়ার মডেল, স্তরগুলির বিভিন্ন পছন্দ সহ নিউরাল নেট, ম্যাটরের বিভিন্ন মান সহ এলোমেলো বন)।

2. বৈধতা: আপনি বৈধতা সেটের উপর ভিত্তি করে পদক্ষেপ 1 এ মডেলগুলির পারফরম্যান্স তুলনা করে বিজয়ীকে নির্বাচন করুন। এটি প্রশিক্ষণের ডেটা সেটকে মাপসই করে নেওয়া ভুল সিদ্ধান্তগুলি এড়াতে সহায়তা করে।

3. পরীক্ষা: বাস্তবে এটি কতটা ভাল অভিনয় করে তা অনুভব করার জন্য আপনি পরীক্ষার ডেটাতে বিজয়ী মডেলটি চেষ্টা করে দেখেন। এই unravels ওভারফিটটি দ্বিতীয় ধাপে প্রবর্তিত হয়েছে further এখানে, আপনি আর কোনও সিদ্ধান্ত নেবেন না। এটি কেবল সাধারণ তথ্য is

এখন, আপনি ক্রস-বৈধকরণের মাধ্যমে বৈধতা পদক্ষেপটি প্রতিস্থাপনের ক্ষেত্রে, ডেটাগুলিতে আক্রমণটি প্রায় একইভাবে করা হয়, তবে আপনার কেবল একটি প্রশিক্ষণ এবং একটি পরীক্ষার ডেটা সেট রয়েছে। কোনও বৈধতা ডেটা সেট করার দরকার নেই।

1. প্রশিক্ষণ: উপরে দেখুন।

2. বৈধতা: ক্রস-বৈধতা কর্মক্ষমতা (এখানে, মূল প্রশিক্ষণ ডেটা বারবার অস্থায়ী প্রশিক্ষণ এবং বৈধতা সেট মধ্যে বিভক্ত করা হয়) সম্মতি সঙ্গে পদক্ষেপ 1 সেরা মডেল চয়ন করার জন্য আপনি প্রশিক্ষণ তথ্য ক্রস বৈধকরণ। ক্রস-বৈধকরণে গণনা করা মডেলগুলি কেবলমাত্র পদক্ষেপ 1 এর সেরা মডেল বাছাই করার জন্য ব্যবহৃত হয়, যা সমস্ত সম্পূর্ণ প্রশিক্ষণের সেটটিতে গণনা করা হয়।

3. পরীক্ষা: উপরে দেখুন।

Comments

ধন্যবাদ! সিভি প্রসঙ্গে নিশ্চিত করার জন্য, একটিতে 20% পরীক্ষার বিভাজন বনাম 80% ট্রেন থাকতে পারে। তারপরে কেউ নির্ভুলতা পেতে সেই 80% ডেটাতে মডেল তৈরি করতে পারে এবং 20% এর বিপরীতে পরীক্ষা করে। বিভিন্ন মডেলের ভিন্নতার জন্য, প্রশিক্ষণ ডেটাসেটে (ডেটা 80%) 10 গিগা সিভি করতে পারেন - মোট তথ্য 8% উপর কার্যকরভাবে প্রশিক্ষণ এবং প্রতিটি ভাঁজ মধ্যে মোট তথ্য 72% বিরুদ্ধে পরীক্ষা। সিভি ফলাফলের উপর ভিত্তি করে, কেউ অনুকূল হাইপারপ্যারামিটার মানগুলি সনাক্ত করতে পারে এবং সমস্ত প্রশিক্ষণ ডেটা (পূর্ণ ডেটাসেটের 80%) প্রশিক্ষিত একটি নতুন মডেল তৈরি করতে এবং তাদের 20% পরীক্ষার ডেটাসেটের বিপরীতে পরীক্ষার জন্য ব্যবহার করতে পারে। সঠিক?

— ব্লু

হ্যাঁ, প্রতিটি সিভি রান ব্যতীত, আপনি প্রশিক্ষণের জন্য 72% এবং বৈধতার জন্য 8% ব্যবহার করবেন ;-)

— মাইকেল এম

অসাধারণ প্রতিক্রিয়া @ মিশেলএম। আমি নেস্টেড ক্রস-বৈধকরণ (এনসিভি) সম্পর্কে পড়ছিলাম , এবং আমার এটি ব্যবহার করা উচিত কিনা তা সিদ্ধান্ত নিতে আমার খুব কষ্ট হচ্ছে, বা আপনি সিভির জন্য যে রূপরেখার নির্দেশ দিয়েছেন ঠিক তা-ই করুন। এবং ঠিক তাই আমি এটি বুঝতে পারি, এনসিভি স্টিপ 3 তে প্রয়োগ করা হবে। 1 টি বিজয়ী স্কোর পাওয়ার পরিবর্তে, আপনি কে বিজয়ী স্কোর পাবেন (কে দ্বারা কে মোট রানগুলি বহুগুণ করুন, ৮০% ট্রেনের ডেটার সাথে কে কে পুনরায় পুনরাবৃত্তি করুন), যা আপনি গড় করতে পারেন। সুতরাং প্রশ্ন: 1) আমার বোঝার সঠিক? 2) এটি এনসিভি ব্যবহার করার পরামর্শ দেওয়া হয়?

— আজিজ জাভেদ

আপনি ঠিক ঠিক বলেছেন। নেস্টেড সিভি উপরে বর্ণিত "সাধারণ" পদ্ধতির চেয়ে আরও নির্ভরযোগ্য অনুমান পেতে সহায়তা করবে। সময় যদি অনুমতি দেয় তবে এটি অবশ্যই একটি বিকল্প। আপনি কি জানেন যে কোন ডেটা সেট করে চূড়ান্ত মডেলটি নেস্টেড সিভিতে গণনা করা হয়? পূর্ণ?

— মাইকেল এম

Answer 2

$K$

প্রশিক্ষণ / বৈধতা / পরীক্ষায় বিভক্ত হওয়াও একটি নমুনা কৌশল।

$K$

$K-1$