ট্রেন বনাম পরীক্ষার ত্রুটি গ্যাপ এবং ওভারফিটিংয়ের সাথে এর সম্পর্ক: বিরোধী পরামর্শ পুনরুদ্ধার করা


14

ট্রেন বনাম পরীক্ষার ত্রুটির তুলনা কীভাবে পরিচালনা করতে হবে সে সম্পর্কে সেখানে বিরোধী পরামর্শ রয়েছে বলে মনে হয়, বিশেষত যখন দুজনের মধ্যে একটি ফাঁক রয়েছে। আমার মনে হয় এমন দুটি স্কুল আছে যা আমার কাছে দ্বন্দ্ব বলে মনে হচ্ছে। আমি কীভাবে দুজনের মধ্যে পুনর্মিলন করব (বা আমি এখানে কী মিস করছি তা বুঝতে পারি) তা বোঝার জন্য আমি খুঁজছি

চিন্তাভাবনা # 1: একা ট্রেন এবং পরীক্ষা সেট পারফরম্যান্সের মধ্যে একটি ব্যবধান ওভারফিটকে নির্দেশ করে না

প্রথম, (এখানেও আলোচনা করা হয়েছে: প্রশিক্ষণ এবং পরীক্ষার ত্রুটির তুলনা কীভাবে অত্যধিক মানসিকতার পরিচায়ক হতে পারে? ), এই ধারণাটি যে ট্রেন এবং পরীক্ষার সেটগুলির মধ্যে একমাত্র পার্থক্য অত্যধিক উত্সাহকে নির্দেশ করতে পারে না। এটি আমার ব্যবহারিক অভিজ্ঞতার সাথে একমত, উদাহরণস্বরূপ, গাছে গাছের পদ্ধতি, যেখানে ক্রস-বৈধতা ভিত্তিক হাইপার প্যারামিটার সুরের পরেও ট্রেন এবং পরীক্ষার ত্রুটির মধ্যে ব্যবধান কিছুটা বড় থাকতে পারে। তবে (মডেল ধরণের নির্বিশেষে) আপনার বৈধতা ত্রুটি যতক্ষণ না ফিরে আসবে ততক্ষণ আপনি ভাল। অন্তত, এই চিন্তাভাবনা।

চিন্তাভাবনা # 2: আপনি যখন ট্রেন এবং পরীক্ষার পারফরম্যান্সের মধ্যে একটি ফাঁক দেখেন: এমন জিনিসগুলি করুন যা অতিশয় লড়াইয়ের বিরুদ্ধে লড়াই করবে

তবে, এরপরে এমন পরামর্শ রয়েছে যা আপনি দেখতে পান, খুব ভাল উত্স থেকে বোঝা যায় যে ট্রেন এবং পরীক্ষার ত্রুটির মধ্যে একটি ব্যবধান ওভারফিটিংয়ের ইঙ্গিত দেয়। এখানে একটি উদাহরণ রয়েছে: অ্যান্ড্রু এনজি (একটি দুর্দান্ত আলাপ) এর "বাদাম ও বোল্টস" কথাবার্তা https://www.youtube.com/watch?v=F1ka6a13S9I যেখানে প্রায় সময় স্ট্যাম্পে 48:00 তিনি একটি ফ্লো চার্ট আঁকেন এতে বলা হয়েছে যে "যদি আপনার ট্রেনের সেট ত্রুটিটি কম থাকে এবং আপনার ট্রেন-ডেভ সেট ত্রুটি বেশি হয়, আপনার নিয়মিতকরণ করা উচিত, আরও ডেটা পাওয়া উচিত, বা মডেল আর্কিটেকচার পরিবর্তন করা উচিত ..." যা ওভারফিটিংয়ের বিরুদ্ধে লড়াইয়ের জন্য আপনি নিতে পারেন এমন সমস্ত পদক্ষেপ।

যা আমাকে এনেছে ... : আমি কি এখানে কিছু মিস করছি? এটি কি থাম্বের একটি মডেল নির্দিষ্ট নিয়ম (সাধারণত সরল মডেলগুলির ট্রেন এবং পরীক্ষার মধ্যে কম ফাঁক থাকে না)? না কি কেবল দুটি পৃথক চিন্তাভাবনা আছে?

উত্তর:


4

আমি মনে করি না এটি বিরোধী পরামর্শ। আমরা সত্যিকার অর্থে যা আগ্রহী তা হ'ল প্রশিক্ষণ ও পরীক্ষার সেট পারফরম্যান্সের মধ্যে ব্যবধান হ্রাস না করে, নমুনা ছাড়াই performance যদি টেস্ট সেট পারফরম্যান্সটি বাহ্যিক-নমুনা পারফরম্যান্সের প্রতিনিধিত্ব করে (যেমন পরীক্ষার সেটটি যথেষ্ট বড়, অনিয়ন্ত্রিত এবং আমাদের মডেলটি যে ডেটা প্রয়োগ করা হবে তার একটি প্রতিনিধি নমুনা), তবে যতক্ষণ না আমরা ভাল পারফরম্যান্স পাই পরীক্ষা সেট আমরা ব্যবধান নির্বিশেষে, অত্যধিক না।

প্রায়শই, তবে, যদি কোনও বড় ব্যবধান থাকে, তবে এটি নির্দেশ করতে পারে যে আমরা আরও নিয়মিতকরণ / মডেলটির আরও পক্ষপাতিত্ব প্রবর্তন করে আরও ভাল পরীক্ষার সেট পারফরম্যান্স পেতে পারি। তবে এর অর্থ এই নয় যে একটি ছোট ফাঁক মানে আরও ভাল মডেল; এটি ঠিক যে প্রশিক্ষণ এবং পরীক্ষার সেট পারফরম্যান্সের মধ্যে যদি আমাদের একটি ছোট বা কোনও ফাঁক না থাকে, আমরা জানি আমরা অবশ্যই খুব বেশি ফিট হচ্ছি না তাই নিয়মিতকরণ যুক্ত করা / মডেলটিতে আরও পক্ষপাত প্রবর্তন সাহায্য করবে না।


আকর্ষণীয় বিষয়। "ট্রেন এবং পরীক্ষার মধ্যে কোনও ব্যবধান নেই" এর সংক্ষিপ্ত বিবরণ বলতে অবশ্যই অতিরিক্ত ওঠানামা করা নয়, তবে "ট্রেন এবং পরীক্ষার মধ্যে কিছু ফাঁক" অর্থ ওভারফিটিংয়ের অর্থ বা নাও হতে পারে। যদি আমরা সেই যুক্তিটি অনুসরণ করি তবে অ্যান্ড্রু এনগের আলোচনায় ফ্লোচার্টটি কিছুটা বিভ্রান্তিকর বলে মনে হচ্ছে: এটি স্ল্যাম ডঙ্ক নয় যেমন স্লাইডের পরামর্শ অনুসারে যেমন আপনার কোনও ফাঁক রয়েছে, আপনি নিয়মিতকরণ বা আরও ডেটা পাওয়ার চেষ্টা করতে পারেন , তবে এটি সাহায্য করতে পারে না। তুমি কি রাজি?
এডনারমোড

1
আমার অভিজ্ঞতা থেকে, হ্যাঁ, আমি সম্মত হব।
rinspy

"ট্রেন এবং পরীক্ষার মধ্যে কোনও ব্যবধানের সংক্ষিপ্ত বিবরণ অর্থ হ'ল অবশ্যই কোনও অতিরিক্ত চাপ না" অগত্যা ধরে রাখা যেতে পারে না। যখন আপনার কাছে সীমাহীন পরিমাণের ডেটা থাকবে, আপনি ট্রেন এবং পরীক্ষার মধ্যে শূন্যস্থান পাবেন এমনকি মডেলটির চেয়ে বেশি পোশাক পরে fit সুতরাং আমি মনে করি যে বিবৃতিটি বৈধ হওয়ার জন্য আপনার আরও কিছু অনুমানের প্রয়োজন।
LKS

@ এলকেএস আমি এখানে অত্যধিক মানসিকতা ব্যবহার করে কি বোঝাতে চাই তা নিশ্চিত নই। নমুনা ছাড়াই কর্মক্ষমতা সর্বদা ইন-স্যাম্পল কর্মক্ষমতা থেকে কম বা সমান হবে, ধরেই নেওয়া হবে যে ডেটা বিতরণ স্থির থাকে। সুতরাং শূন্য ব্যবধানটি আমাদের সেরা কেস দৃশ্যমান। শূন্য ফাঁক দিয়ে কীভাবে ওভারফিটিং করা যায়?
rinspy

@ রিনস্পি যদি আপনি প্রশিক্ষণ এবং পরীক্ষার ডেটাগুলির মধ্যে সংখ্যার ফাঁক হিসাবে ওভারফিটিংকে সংজ্ঞায়িত করেন তবে আপনার বক্তব্যটি সঠিক। তবে মডেলটি কী করছে সে সম্পর্কে আমি আরও যুক্তি দিয়ে বলতে চাই। উদাহরণস্বরূপ, আমাদের ডিগ্রি 3 এর বহুপদী ফাংশন রয়েছে এবং ফলাফলটিতে একটি ছোট গসিয়ান শব্দ থাকবে। যদি আমাদের সীমাবদ্ধ নমুনা থাকে এবং ফিট করার জন্য একটি ডিগ্রি 5 বহুবচন ব্যবহার করে, স্যাম্পল (ভবিষ্যদ্বাণী) পারফরম্যান্সের বাইরে এবং বাইরে অনেক বড় is তবে আমরা যদি প্রায় অসীম নমুনা আঁকতে পারি, এমন একটি মডেল যা খাঁটিভাবে মুখস্থ করে তা নমুনা ত্রুটির বাইরে শূন্য থাকবে have
LKS
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.