মডেল কীভাবে জানতে শুরু করবে ওভারফিটিং?


12

আমি আশা করি যে নিম্নলিখিত প্রশ্নাগুলি আমার প্রশ্নটি কী হবে তা অন্তর্দৃষ্টি প্রদান করবে। এগুলি হ'ল http://neuranetworksandDPlearning.com/chap3.html থেকে

পড়াশোনা তখন ধীরে ধীরে ধীর হয়ে যায়। শেষ অবধি, প্রায় 280 এর প্রায় ক্লাসিফিকেশন যথার্থতা প্রায় উন্নতি বন্ধ করে। পরবর্তী যুগের যুগে যুগে যুগে যুগে যুগে যথার্থতার মানের নিকটে কেবল ছোট স্টোকাস্টিকের ওঠানামা দেখা যায়। প্রশিক্ষণের ডেটার সাথে যুক্ত ব্যয়টি সহজেই হ্রাস পেতে অবিরত পূর্বের গ্রাফের সাথে এটির বিপরীতে তুলনা করুন। আমরা যদি কেবল সেই ব্যয়ের দিকে নজর রাখি তবে দেখা যাচ্ছে যে আমাদের মডেলটি এখনও "আরও ভাল" পাচ্ছে। তবে পরীক্ষার নির্ভুলতার ফলাফলগুলি দেখায় উন্নতি একটি মায়া। যেমন ফার্মি অপছন্দ করেছিলেন সেই মডেলের মতো, আমাদের নেটওয়ার্ক 280 যুগের পরে যা শিখবে তা পরীক্ষার ডেটাগুলিতে আর সাধারণীকরণ করে না। এবং তাই এটি দরকারী শেখার নয়। আমরা বলছি যে মহাকাশটি 280 এরও বেশি ছাড়িয়ে গেছে বা অতিমাত্রায় চালিত হচ্ছে।

আমরা একটি নিউরাল নেটওয়ার্ক প্রশিক্ষণ দিচ্ছি এবং ব্যয় (প্রশিক্ষণের ডেটাতে) প্রায় 400 অবধি নেমে যাচ্ছে তবে শ্রেণিবিন্যাসের নির্ভুলতা স্থির হয়ে উঠছে (কয়েকটি স্টোকাস্টিক ওঠানামা বাদে) যুগের পরে 280 সুতরাং আমরা উপসংহারে পৌঁছেছি যে মডেল প্রশিক্ষণের পরে পোস্টের যুগের উপরে 280 ছাড়িয়ে যাচ্ছে।

আমরা দেখতে পারি যে পরীক্ষার ডেটাতে ব্যয় আরও প্রায় 15 পর্ব পর্যন্ত উন্নত হয়, তবে এর পরে এটি প্রকৃতপক্ষে আরও খারাপ হতে শুরু করে, যদিও প্রশিক্ষণের ডেটাতে ব্যয় আরও ভাল হতে থাকে। এটি অন্য একটি চিহ্ন যা আমাদের মডেলটি অত্যধিক মানানসই। এটি একটি ধাঁধা বহন করে, যদিও, আমাদের পর্বকে 15 বা মহাকাব্যকে বিবেচনা করা উচিত 288 বা মহাকাব্যকে যে পয়েন্টে ওভারফিটিং শেখার উপর প্রভাব ফেলতে চলেছে? ব্যবহারিক দৃষ্টিকোণ থেকে, আমরা সত্যই যা যত্ন করি তা হ'ল পরীক্ষার ডেটাগুলিতে শ্রেণিবিন্যাসের নির্ভুলতা উন্নত করা হয়, যখন পরীক্ষার ডেটাতে ব্যয় শ্রেণিবিন্যাসের নির্ভুলতার জন্য প্রক্সি ছাড়া আর কিছু নয়। এবং তাই এটি মহাকাব্যকে 280 পয়েন্ট হিসাবে বিবেচনা করে বিবেচ্য করে তোলে যা আমাদের স্নায়বিক নেটওয়ার্কগুলিতে অধিকতর দক্ষতা অর্জন করে learning

আগে প্রশিক্ষণের ব্যয়ের তুলনায় পরীক্ষার ডেটাতে শ্রেণিবদ্ধকরণের নির্ভুলতার বিপরীতে আমরা এখন প্রশিক্ষণের ব্যয়ের তুলনায় পরীক্ষার ডেটাতে ব্যয় রাখছি।

তারপরে বইটি ব্যাখ্যা করল যে কেন 280 হ'ল সঠিক যুগটি যেখানে ওভারফিট করা শুরু হয়েছিল। এটাই আমার একটা সমস্যা আছে। আমি এদিকে মাথা গুটিয়ে রাখতে পারি না।

আমরা মডেলকে ব্যয়কে হ্রাস করতে বলছি এবং এইভাবে খরচটি মেট্রিক এটি সঠিকভাবে শ্রেণিবদ্ধকরণের জন্য নিজের শক্তির পরিমাপ হিসাবে ব্যবহার করে। যদি আমরা ২৮০ জনকে যথাযথ যুগ হিসাবে বিবেচনা করি যেখানে ওভারফিটিং শুরু হয়েছে, আমরা কি কোনও উপায়ে মডেল তৈরি করি নি যে নির্দিষ্ট পরীক্ষার তথ্যের জন্য আরও ভাল শ্রেণিবদ্ধকারী তবে তবুও কম আত্মবিশ্বাসের সাথে সিদ্ধান্ত নিচ্ছে এবং তাই বিচ্যুত হওয়ার প্রবণতা আরও বেশি পরীক্ষার তথ্য দেখানো ফলাফল থেকে?


মডেল পরীক্ষার সেট সম্পর্কে সচেতন নয় । এটি অদেখা তথ্যের জন্য প্রক্সি হিসাবে দাঁড়িয়েছে। অতএব, যদি এটি কোনও প্রতিনিধি বিতরণ থেকে আসে তবে আপনি কখন অতিরিক্ত পোশাক পরে তা নির্ধারণ করতে এটি ব্যবহার করতে পারেন। আপনি যদি চান তবে আপনি আরও একটি হোল্ড আউট সেট তৈরি করতে পারেন এবং এই অনুমানটি ধারণ করে কিনা তা দেখতে পারেন।
এমরে

'স্বল্প আত্মবিশ্বাসের সাথে সিদ্ধান্ত গ্রহণ' বলতে কী বোঝ?
ঘাসফড়িং

@ গ্রাশ্প্পার আমাদের বলি যে মডেল 4 টি শ্রেণির মধ্যে একটি, এ, বি, সি, ডি pred পূর্বাভাস দেওয়ার চেষ্টা করছে} পরীক্ষার ডেটা লেবেলগুলি (ক্রমে) হ'ল (এ, বি, সি, ডি)। এখন এক উদাহরণে মডেল সম্ভাব্যতাগুলিকে (যেমন আমি ভবিষ্যদ্বাণীগুলি বরাবর লেবেল করব) হিসাবে ছুঁড়ে ফেলেছি ((0.28, 0.24, 0.24, 0.24) (এ)) (0.24,0.28,0.24,0.24) (বি), (0.24,0.24, 0.28,0.24) (সি), (0.24,0.24,0.24,0.28) (ডি)) এবং অন্যটিতে মডেল নিক্ষেপ করেছে ((1,0,0,0) (এ)), (0,1,0,0) (বি), (0.24,0.26,0.25,0.25) (বি), (0,0,0,1) (ডি))। স্বল্প আত্মবিশ্বাসের দ্বারা আমি যা বুঝি তা হ'ল প্রথম উদাহরণ। দয়া করে নোট করুন শ্রেণীবিন্যাস সঠিকতা প্রথমত 100% এবং এখনো খরচ বেশি
নিতিন Siwach

সংক্ষেপে মডেলের প্রথম উদাহরণটি 280 যুগের পরে তৈরি করা হয়েছে (জিজ্ঞাসা করা প্রশ্নটি দেখুন) এবং মডেলের দ্বিতীয় উদাহরণটি 15 যুগের পরে তৈরি করা হবে। এখন বইটি ওভার-ফিটিং শুরু হয়েছে এমন এক হিসাবে 280 যুগের পরামর্শ দিতে চলেছে। আমি এটি গ্রাস করতে অসুবিধে হচ্ছে। আপনি যে কোনও সহায়তা বা ভাবনা সরবরাহ করতে পারেন সেগুলি প্রশংসিত।
নিতিন শিওয়াচ

উত্তর:


6

আসুন আমরা বলি আমরা ভবিষ্যদ্বাণী করতে চাই যে কোনও শিক্ষার্থী তার জীবনবৃত্তির ভিত্তিতে কোনও কাজের সাক্ষাত্কার নেবে কিনা।

এখন ধরে নিন, আমরা 10,000 টি জীবনবৃত্তান্ত এবং তাদের ফলাফলগুলির একটি ডেটাসেট থেকে একটি মডেলকে প্রশিক্ষণ দিই।

এর পরে, আমরা আসল ডেটাসেটে মডেলটি ব্যবহার করে দেখি এবং এটি 99% যথার্থতার সাথে ফলাফলের পূর্বাভাস দেয় ... বাহ!

তবে এখন খারাপ খবর আসে।

যখন আমরা পুনরায় চালু হওয়ার নতুন ("অদেখা") ডেটাসেটে মডেলটি চালাই, তখন আমরা কেবল 50% নির্ভুলতা পাই ... আহ-ওহ!

আমাদের মডেল অদৃশিত ডেটা সম্পর্কে আমাদের প্রশিক্ষণ ডেটা থেকে ভাল জেনারেলাইজ করে না।

এটি ওভারফিটিং হিসাবে পরিচিত এবং এটি মেশিন লার্নিং এবং ডেটা সায়েন্সে একটি সাধারণ সমস্যা।

ওভারফিটিং ভি / এস আন্ডারফিটিং

বিপরীত সমস্যা, আন্ডারফিটিং দেখে আমরা ওভারফিটিং আরও ভাল করে বুঝতে পারি।

আন্ডারফিটিং ঘটে যখন কোনও মডেল খুব সাধারণ হয় - খুব কম বৈশিষ্ট্য দ্বারা জানানো হয় বা খুব বেশি নিয়মিত করা হয় - যা এটি ডেটাসেট থেকে শেখার ক্ষেত্রে জটিল।

সাধারণ শিক্ষণার্থীরা তাদের ভবিষ্যদ্বাণীগুলির তুলনায় কম বৈকল্পিক হয় তবে ভুল ফলাফলের প্রতি আরও পক্ষপাত হয় (দেখুন: বায়াস-ভেরিয়েন্স ট্রেড অফ)।

অন্যদিকে, জটিল শিক্ষার্থীরা তাদের ভবিষ্যদ্বাণীগুলিতে আরও বৈচিত্র্য লাভ করে।

পক্ষপাত এবং বৈকল্পিকতা উভয়ই মেশিন লার্নিংয়ের পূর্বাভাস ত্রুটির ফর্ম।

সাধারণত, আমরা পক্ষপাত থেকে ত্রুটি হ্রাস করতে পারি তবে ফলস্বরূপ ত্রুটি থেকে ত্রুটি বাড়াতে পারে।

খুব সহজ (উচ্চ পক্ষপাত) বনাম খুব জটিল (উচ্চ বৈকল্পিক) এর মধ্যে এই বাণিজ্য বন্ধটি পরিসংখ্যান এবং মেশিন লার্নিংয়ের একটি মূল ধারণা এবং এটি সমস্ত তদারক করা শিক্ষার অ্যালগরিদমগুলিকে প্রভাবিত করে।


2

আমি শক্তভাবে যে কিছু শিখেছি তা হ'ল লার্নিং কার্ভগুলি প্লট করা, আমি জানি, প্রতি-সে-মেশিন লার্নিং কোডটি লেখার মতো মজাদার নয়, তবে কী ঘটছে তা দৃশ্যত বুঝতে এটি মৌলিক।

থাম্ব সংজ্ঞায়নের একটি নিয়ম হ'ল যখন আপনার ট্রেনের যথার্থতা উন্নতি করে যখন আপনার বৈধতার যথার্থতা উন্নতি বন্ধ করে (বা আরও খারাপ হতে শুরু করে) তখন ওভার ফিটিং হয়।

ওভার ফিটিং এড়ানোর সহজ সমাধান হ'ল তাড়াতাড়ি থামানো (জিনিস খারাপ দেখায় ট্রেনিং বন্ধ করুন), অবশ্যই সহজ সমাধান হওয়ায় ব্যয় হয়: এটি সর্বোত্তম সমাধান নয়। নিয়মিতকরণ এবং ড্রপআউট ফিটিংয়ের বিরুদ্ধে লড়াইয়ের জন্য ভাল সরঞ্জাম, তবে এটি ভিন্ন বিষয় :)

আশা করি এটা সাহায্য করবে


2

উত্স হিসাবে আপনি যে উদ্ধৃতি দিচ্ছেন তা বলেছে "পরীক্ষার ডেটাতে ব্যয় শ্রেণিবদ্ধকরণের নির্ভুলতার জন্য প্রক্সি ছাড়া আর কিছু নয়।" আপনি জিজ্ঞাসা করতে পারেন, কেন আমরা প্রক্সি ব্যবহার করব, সঠিকতাটি সরাসরি ব্যবহার করা হবে না কেন? উত্তরটি হ'ল আপনাকে ওজন এবং পক্ষপাতদুষ্টের ক্ষেত্রে ব্যয় ফাংশনটি হ্রাস করতে হবে। সুতরাং এটি ওজন এবং বায়াসগুলির একটি পৃথক ফাংশন হতে হবে। নির্ভুলতা একটি পৃথক ফাংশন নয় এবং তাই সরাসরি ব্যবহার করা যায় না। তবে শেষ পর্যন্ত আপনি যথার্থতার বিষয়ে যত্ন নিচ্ছেন, যেমন আপনি নিজে উপরে চিত্রিত করেছেন (... দয়া করে নোট করুন শ্রেণিবদ্ধকরণের নির্ভুলতা প্রথম ক্ষেত্রে 100% এবং তবুও ব্যয় আরও বেশি ...), আপনি পরীক্ষার যথাযথতার উপর ভিত্তি করে ওভারফিটিং নির্ধারণ করেন সেট।


0

ওভারফিটিংয়ের অর্থ কী এবং এটি কীভাবে মডেলের যথার্থতাকে প্রভাবিত করে তা বোঝার জন্য আপনাকে পক্ষপাত - বৈকল্পিক ট্রেড অফ বুঝতে হবে।

আন্ডার-ফিটিংয়ের পাশাপাশি ওভারফিটিং হ'ল দুটি ভিন্ন সমস্যা যা সরাসরি পক্ষপাত-বৈষম্য সমস্যার সাথে সম্পর্কিত। তিনটি ভিন্ন কারণের মধ্যে সম্পর্ক এবং এই কারণগুলি কীভাবে পক্ষপাত-বৈসাদৃশ্য (অত্যধিক মানানসই-অধস্তন-ফিটিং) সমস্যার সাথে যুক্ত রয়েছে তা বোঝা সর্বদা গুরুত্বপূর্ণ:

1- মডেল আকার। পরামিতি সংখ্যা

2- প্রশিক্ষণের জন্য প্রাপ্ত পরিমাণের পরিমাণ। প্রশিক্ষণের নমুনার সংখ্যা।

3- পুনরাবৃত্তির সংখ্যা। প্রশিক্ষণ পুনরাবৃত্তি।

অন্যের দিকে না তাকিয়ে ফিট-আন্ডার-ফিটিং সমস্যার জন্য এই কারণগুলির যে কোনওটির মধ্যে সরাসরি সংযোগ স্থাপন সর্বদা ভুল সিদ্ধান্তে নিয়ে যায় to

এই বিষয়গুলি বোঝার কারণে এবং অতিরিক্ত ফিটিংয়ের সমস্যাগুলি এড়াতে গাণিতিক সমীকরণগুলি ব্যবহার করে থিমের সংযোগ স্থাপন করা একটি কঠিন কাজ, এর চেয়ে বেশি একটি নির্ভরশীল টাস্ক, লোকেরা ওভারফিটিংয়ের বিষয়টি আবিষ্কার এবং এড়াতে সহজ পদ্ধতিগুলি ব্যবহার করে। সহজ উপায় হ'ল ডেটাটিকে তিনটি বিভিন্ন ভাগে ভাগ করা, প্রশিক্ষণ, বৈধতা এবং পরীক্ষা করা। পরীক্ষা স্পর্শ করা উচিত নয়। নেটওয়ার্কটি প্রশিক্ষণের জন্য প্রশিক্ষণ সেট এবং প্রতিটি পুনরাবৃত্তির পরে বা বেশ কয়েকটি পুনরাবৃত্তির পরে নেটওয়ার্কটি পরীক্ষার জন্য বৈধতা সেট ব্যবহার করুন। তাত্ত্বিকভাবে, আপনি দেখতে পাবেন যে বৈধতা সেটটিতে ত্রুটিটি প্রথম এন পুনরাবৃত্তির জন্য ধীরে ধীরে হ্রাস পাবে এবং তারপরে খুব কম পুনরাবৃত্তির জন্য স্থিতিশীল থাকবে এবং তারপরে বাড়তে শুরু করবে। ত্রুটি যখন বাড়তে শুরু করে, আপনার নেটওয়ার্ক প্রশিক্ষণের ডেটার অতিরিক্ত উপস্থাপন শুরু করে এবং প্রশিক্ষণ প্রক্রিয়াটি বন্ধ করা উচিত।

দ্রষ্টব্য: আমি মান তালিকাটি উপরে বর্ণিত তিনটি কারণের সাথে খুব সম্পর্কিত। একটি ডেমো প্রশিক্ষণ সেট করা এবং বিভিন্ন মডেল, প্রশিক্ষণ ডেটার সাথে পরীক্ষা করা সর্বদা একটি ভাল অনুশীলন। আপনি দেখতে পাবেন যে বৃহত্তর মডেলটি - কম প্রশিক্ষণের ডেটা তত কম এন smaller


আপনি বলেছেন "তাত্ত্বিকভাবে, আপনি দেখতে পাবেন যে বৈধতা সেটটিতে ত্রুটি প্রথম এন পুনরাবৃত্তির জন্য ধীরে ধীরে হ্রাস পাবে এবং তারপরে খুব কম পুনরাবৃত্তির জন্য স্থিতিশীল থাকবে এবং তারপরে বৃদ্ধি শুরু হবে।" এখানে ত্রুটি বলতে কী বোঝাতে চাইছেন। আমি ঠিক উত্থাপিত বিষয়টি ঠিক এটাই। উত্তরটি যদি আমি ত্রুটির পরিমাপ হিসাবে ব্যয় করি এবং 280 আমি যদি ত্রুটির পরিমাপ হিসাবে শ্রেণিবদ্ধকরণের যথাযথতা গ্রহণ করি
নিতিন শিওয়াচ

দয়া করে উপরের মন্তব্যে সংশোধনটি নোট করুন: ওভারফিটিং শুরু হয়ে গেলে এর উত্তরটি হল পর্ব 15 যদি আমি ত্রুটির পরিমাপ হিসাবে ব্যয় করি এবং 280 পর্বের অগ্রযাত্রা করি যদি আমি ত্রুটির পরিমাপ হিসাবে শ্রেণিবদ্ধকরণের যথাযথতা গ্রহণ করি
নিতিন সিওয়াচ

বৈধতা সেটটিতে ত্রুটি
বাশার হাদ্দাদ

আর সেই ত্রুটির পরিমাপ কি? (100 - শ্রেণিবদ্ধকরণ নির্ভুলতা) বা ব্যয়। শ্রেণিবদ্ধকরণ নির্ভুলতার সাথে বৈধতা সেটটিতে ত্রুটিটি বোঝার অর্থ। তবে আমি ঠিক তাই করছি। খরচ হয় না কেন? দয়া করে মূল প্রশ্নের উপর ঘাসের জবাবে আমি যে মন্তব্যগুলি
দিয়েছি তা উল্লেখ করুন
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.