ওভারফিটিং কি এতটাই খারাপ যে আপনি পরীক্ষার ত্রুটিটি আরও কম হলেও আপনার পক্ষে এমন কোনও মডেল বাছাই করা উচিত নয়? না। তবে এটির নির্বাচনের জন্য আপনার কাছে ন্যায়সঙ্গত হওয়া উচিত।
এই আচরণটি এক্সজিবিস্টে সীমাবদ্ধ নয়। এটি সমস্ত মেশিন শেখার কৌশলগুলির মধ্যে একটি সাধারণ থ্রেড; আন্ডারফিটিং এবং ওভারফিটিংয়ের মধ্যে সঠিক ট্রেডঅফ সন্ধান করা। আনুষ্ঠানিক সংজ্ঞাটি বায়াস-ভেরিয়েন্স ট্রেড অফ (উইকিপিডিয়া) ।
পক্ষপাত-বৈকল্পিক ট্রেড অফ
নীচে আপনার মডেলের পছন্দকে ন্যায়সঙ্গত করতে সহায়তা করার জন্য বায়াস-ভেরিয়েন্স ট্রেড অফের সরলীকরণ রয়েছে।
আমরা বলি যে কোনও মডেল যদি ডেটার তথ্য সম্পূর্ণরূপে ব্যবহার করতে সক্ষম না হয় তবে একটি উচ্চ পক্ষপাত রয়েছে । এটি সাধারণ তথ্যের উপর খুব নির্ভরশীল যেমন সর্বাধিক ঘন ঘন কেস, প্রতিক্রিয়ার গড় বা কিছু শক্তিশালী বৈশিষ্ট্য। বায়াস ভুল অনুমান থেকে আসতে পারে, উদাহরণস্বরূপ ধরে নেওয়া যে ভেরিয়েবলগুলি সাধারণত বিতরণ করা হয় বা মডেলটি লিনিয়ার।
আমরা বলি যে কোনও মডেল যদি ডেটা থেকে খুব বেশি তথ্য ব্যবহার করে তবে উচ্চতর বৈকল্পিকতা থাকে। এটি কেবলমাত্র সেই প্রশিক্ষণ সংস্থায় উপস্থাপিত হয়েছে এমন তথ্যের উপর নির্ভরশীল, যা যথেষ্ট পরিমাণে সাধারণীকরণ করে না। সাধারণত, আপনি যদি প্রশিক্ষণ সেটটি পরিবর্তন করেন তবে মডেলটি অনেকটাই বদলে যাবে, সুতরাং "উচ্চ বৈকল্পিক" নাম।
এই সংজ্ঞাটি আন্ডারফিটিং এবং ওভারফিটিংয়ের সংজ্ঞাগুলির সাথে খুব মিল। যাইহোক, এই সংজ্ঞাগুলি প্রায়শই বিপরীতে হিসাবে সরল করা হয়, যেমনটি
- প্রশিক্ষণ এবং পরীক্ষার ত্রুটি উভয়ই বেশি হলে মডেলটি উপযোগী। এর অর্থ মডেলটি খুব সহজ simple
- পরীক্ষার ত্রুটি প্রশিক্ষণের ত্রুটির চেয়ে বেশি হলে মডেলটি অত্যধিক মানায়। এর অর্থ মডেলটি খুব জটিল।
এই সরলীকরণগুলি অবশ্যই সহায়ক, কারণ তারা মডেলের সঠিক জটিলতা বেছে নিতে সহায়তা করে। তবে তারা একটি গুরুত্বপূর্ণ বিষয়টিকে উপেক্ষা করে, এই সত্য যে (প্রায়) প্রতিটি মডেলের একটি পক্ষপাত এবং বৈকল্পিক উপাদান উভয়ই থাকে। আন্ডারফিটিং / ওভারফিটিং বর্ণনা আপনাকে জানায় যে আপনার অনেক বেশি পক্ষপাত / অত্যধিক বৈচিত্র রয়েছে তবে আপনার (প্রায়) সর্বদা উভয়ই থাকে ।
আপনি যদি পক্ষপাত-বৈকল্পিক ট্রেডঅফ সম্পর্কে আরও তথ্য চান তবে এগুলি গুগলের মাধ্যমে প্রচুর সহায়ক দৃষ্টিভঙ্গি এবং ভাল রিসোর্স। প্রতিটি মেশিন লার্নিং পাঠ্যপুস্তকের পক্ষপাতিত্ব-বৈকল্পিক ট্রেড অফের একটি বিভাগ থাকবে, এখানে কয়েকটি দেওয়া আছে
- পরিসংখ্যানগত শিক্ষা এবং পরিসংখ্যানগত শিক্ষার উপাদানগুলির একটি ভূমিকা (এখানে উপলভ্য) ।
- ক্রিস্টোফার বিশপ দ্বারা প্যাটার্ন রিকগনিশন এবং মেশিন লার্নিং।
- মেশিন লার্নিং: কেভিন মারফি লিখেছেন একটি সম্ভাব্য দৃষ্টিভঙ্গি।
এছাড়াও, একটি দুর্দান্ত ব্লগ পোস্ট যা আমাকে উপলব্ধি করতে সহায়তা করেছিল তা হ'ল স্কট ফোর্টম্যান-রো এর বায়াস-ভারিরিয়ান্স ট্রেড অফকে বোঝা ।
আপনার সমস্যার জন্য আবেদন
সুতরাং আপনার দুটি মডেল রয়েছে,
MARSXGBoostট্রেন এমএই∼ 4.0∼ 0.3পরীক্ষা এমএই∼ 4.0। 2.4নিম্ন বৈকল্পিকতা, উচ্চতর পক্ষপাত ,উচ্চতর বৈকল্পিকতা, নিম্ন পক্ষপাত ,
এবং আপনার একটি বাছাই করা দরকার। এটি করার জন্য, আপনাকে একটি আরও ভাল মডেল কী তা নির্ধারণ করতে হবে। আপনার সিদ্ধান্তগুলিতে যে পরামিতিগুলি অন্তর্ভুক্ত করা উচিত সেগুলি হ'ল জটিলতা এবং মডেলের কার্য সম্পাদন।
- জটিলতার কতগুলি "ইউনিট" আপনি পারফরম্যান্সের একটি "ইউনিট" বিনিময় করতে ইচ্ছুক?
- আরও জটিলতা উচ্চতর বৈকল্পিকের সাথে সম্পর্কিত। আপনি যদি চান যে আপনার মডেলটি এমন কোনও ডেটাসেটে ভাল জেনারালাইজড করুন যা আপনি প্রশিক্ষণ দিয়েছেন তার চেয়ে কিছুটা আলাদা, আপনার কম জটিলতার লক্ষ্য করা উচিত।
- আপনি যদি এমন কোনও মডেল চান যা আপনি সহজেই বুঝতে পারেন তবে আপনি মডেলটির জটিলতা হ্রাস করে পারফরম্যান্স ব্যয়ে এটি করতে পারেন।
- আপনি যদি এমন কোনও ডেটাসেটের সেরা পারফরম্যান্সের দিকে লক্ষ্য রাখেন যা আপনি জানেন যে আপনার প্রশিক্ষণ সেটের তুলনায় একই উত্পাদনকারী প্রক্রিয়া থেকে এসেছে তবে আপনি নিজের পরীক্ষার ত্রুটিটি অনুকূল করতে এবং এটিকে মেট্রিক হিসাবে ব্যবহার করার জন্য জটিলতা চালিয়ে যেতে পারেন। আপনার প্রশিক্ষণ সেটটি বড় সেট থেকে এলোমেলোভাবে নমুনা তৈরি করা হয় এবং আপনার সেটটি এই সেটটিতে প্রয়োগ করা হবে। উদাহরণস্বরূপ, বেশিরভাগ কেগল প্রতিযোগিতায় এটি।
এখানে লক্ষ্য এমন একটি মডেল খুঁজে পাওয়া নয় যা "অত্যধিক উপকারে আসে না"। এটি সেরা মডেল-বৈকল্পিক ট্রেড অফ রয়েছে এমন মডেলটি সন্ধান করা। এই ক্ষেত্রে, আমি যুক্তি দিয়ে বলব যে এক্সজিবিস্ট মডেল দ্বারা সম্পন্ন পক্ষপাতের হ্রাস বৈকল্পিকতা বৃদ্ধির ন্যায়সঙ্গত করার পক্ষে যথেষ্ট ভাল good
আপনি কি করতে পারেন
তবে হাইপারপ্যারামিটারগুলি সুর করে আপনি সম্ভবত আরও ভাল করতে পারেন।
রাউন্ডের সংখ্যা বৃদ্ধি এবং শেখার হার হ্রাস একটি সম্ভাবনা। গ্রেডিয়েন্ট উত্সাহদান সম্পর্কে "অদ্ভুত" এমন কিছু যা প্রশিক্ষণের ত্রুটি শূন্যের কোঠায় এসে গেছে এমন অবস্থাটি ভালভাবে চালানো এখনও পরীক্ষার ত্রুটির উন্নতি করে বলে মনে হয় (এখানে যেমন আলোচনা করা হয়েছে: শ্যালো ভাল হলেই কি আরও গভীরতর? )। আপনি যখন অন্য পরামিতিগুলি সেট করেন, আপনি নিজের ডেটাশেটে আপনার মডেলটিকে কিছুটা দীর্ঘ প্রশিক্ষণের চেষ্টা করতে পারেন,
আপনার যে গাছগুলি বাড়বে তার গভীরতা শুরু করার জন্য খুব ভাল জায়গা। আপনাকে লক্ষ্য রাখতে হবে যে প্রতি একক গভীরতার জন্য আপনি তৈরি করতে পাতার সংখ্যা দ্বিগুণ করেন। আপনি যদি আকার 16 এর পরিবর্তে দুটি আকারের গাছগুলি বাড়তে থাকেন তবে তা লাগবে1 / 214সময়! আপনার আরও ছোট গাছ বাড়ানোর চেষ্টা করা উচিত। কারণ কেন যে হয় গাছের গভীরতা বৈশিষ্ট্য মিথস্ক্রিয়া ডিগ্রী উপস্থাপিত করে । এটি জার্গন হতে পারে তবে আপনার বৈশিষ্ট্যগুলিতে 3 টির ইন্টারঅ্যাকশন ডিগ্রি থাকলে (মোটামুটি: 4 টি বৈশিষ্ট্যের সংমিশ্রণটি feature বৈশিষ্ট্যগুলির 3 এর সংমিশ্রণের চেয়ে আরও শক্তিশালী নয় + চতুর্থ), তবে 3 টির চেয়ে বড় আকারের গাছগুলি হ'ল ক্ষতিকারক। চার গভীরতার দুটি গাছের চারটি গভীরতার এক গাছের চেয়ে আরও সাধারণীকরণ শক্তি থাকবে। এটি একটি বরং জটিল ধারণা এবং আমি এখনই এটিতে যাব না তবে আপনি এই কাগজপত্রের সংগ্রহটি শুরু করার জন্য পরীক্ষা করতে পারেন । এছাড়াও, নোট করুন যে গভীর গাছগুলি উচ্চ বৈচিত্রের দিকে পরিচালিত করে!
ব্যাগিং হিসাবে পরিচিত সাব-স্যাম্পলিং ব্যবহার করা বৈকল্পিকতা হ্রাস করতে দুর্দান্ত। যদি আপনার পৃথক গাছের উচ্চতর বৈকল্পিকতা থাকে তবে ব্যাগিংয়ের গাছগুলি গড় গড় হয়ে যায় এবং পৃথক গাছের তুলনায় গড়ের পরিমাণ কম হয়। যদি আপনার গাছগুলির গভীরতা সুর করার পরেও আপনি উচ্চতর বৈকল্পিকতার মুখোমুখি হন তবে সাব-স্যাম্পলিং বাড়ানোর চেষ্টা করুন (এটি ব্যবহৃত ডেটার ভগ্নাংশ হ্রাস করুন)। বৈশিষ্ট্য স্পেস সাবসাম্পলিংও এই লক্ষ্য অর্জন করে।