এলোমেলো বনাঞ্চলের জন্য প্রশিক্ষণের ত্রুটির কোন পরিমাপ?


16

আমি বর্তমানে randomForestআর এ প্যাকেজটি ব্যবহার করে একটি শ্রেণিবদ্ধকরণ সমস্যার জন্য এলোমেলো বনগুলিতে ফিট করছি এবং এই মডেলগুলির প্রশিক্ষণের ত্রুটি কীভাবে রিপোর্ট করবেন সে সম্পর্কে আমি অনিশ্চিত ।

আমার প্রশিক্ষণের ত্রুটি 0% এর কাছাকাছি যখন আমি কমান্ডটি পেয়েছি এমন পূর্বাভাস ব্যবহার করে এটি গণনা করি:

predict(model, data=X_train)

X_trainপ্রশিক্ষণের ডেটা কোথায় ।

সম্পর্কিত প্রশ্নের উত্তরে আমি পড়েছি যে এলোমেলো বনাঞ্চলের প্রশিক্ষণ ত্রুটি মেট্রিক হিসাবে আউট-অফ-ব্যাগ (ওওবি) প্রশিক্ষণ ত্রুটি ব্যবহার করা উচিত । এই পরিমাণটি কমান্ডের সাথে প্রাপ্ত পূর্বাভাসগুলি থেকে গণনা করা হয়:

predict(model)

এই ক্ষেত্রে, ওওবি প্রশিক্ষণের ত্রুটি গড় 10-সিভি পরীক্ষার ত্রুটির তুলনায় অনেক বেশি, যা 11%।

আমি অবাক হচ্ছি:

  1. এলোমেলো বনাঞ্চলের প্রশিক্ষণ ত্রুটির পরিমাপ হিসাবে সাধারণত ওওবি প্রশিক্ষণের ত্রুটিটি রিপোর্ট করা স্বীকার করা হয়?

  2. ট্রেনিং ত্রুটির প্রচলিত পরিমাপটি কৃত্রিমভাবে কম কি এটি সত্য?

  3. যদি প্রশিক্ষণের ত্রুটির প্রচলিত পরিমাপটি কৃত্রিমভাবে কম হয়, তবে আরএফ অত্যধিক মানানসই কিনা তা পরীক্ষা করার জন্য আমি কোন দুটি পদক্ষেপের তুলনা করতে পারি?

উত্তর:


11

@ সোরেন এইচ। ওয়েলিং এর উত্তর যোগ করতে।

1. এলোমেলো বনাঞ্চলের প্রশিক্ষণ ত্রুটির পরিমাপ হিসাবে সাধারণত ওওবি প্রশিক্ষণের ত্রুটিটি রিপোর্ট করা স্বীকার করা হয়?

না। প্রশিক্ষিত মডেলটিতে ওওবি ত্রুটি প্রশিক্ষণের ত্রুটির মতো নয়। এটি তবে ভবিষ্যদ্বাণীমূলক নির্ভুলতার একটি পরিমাপ হিসাবে পরিবেশন করতে পারে।

২. এটি কি সত্য যে প্রশিক্ষণের ত্রুটির প্রচলিত পরিমাপটি কৃত্রিমভাবে কম?

এটি সত্য যদি আমরা ডিফল্ট সেটিংস ব্যবহার করে কোনও শ্রেণিবিন্যাসের সমস্যা চালাচ্ছি। সঠিক প্রক্রিয়াটি অ্যান্ডি লিয়াউ একটি ফোরাম পোস্টে বর্ণনা করেছেন , যিনি এটি রক্ষণ করেনrandomForest প্যাকেজটি :

বেশিরভাগ ক্ষেত্রে, প্রশিক্ষণের সেটটিতে পারফরম্যান্স অর্থহীন। (এটি বেশিরভাগ অ্যালগরিদমের ক্ষেত্রে তবে বিশেষত আরএফের ক্ষেত্রে।) ডিফল্ট (এবং প্রস্তাবিত) সেটিং-এ গাছগুলি সর্বোচ্চ আকারে বাড়ানো হয় যার অর্থ সম্ভবত বেশিরভাগ টার্মিনাল নোডে কেবলমাত্র একটি ডেটা পয়েন্ট রয়েছে এবং টার্মিনাল নোডগুলিতে পূর্বাভাস নোডের সংখ্যাগরিষ্ঠ শ্রেণি বা লোন ডেটা পয়েন্ট দ্বারা নির্ধারিত হয়। ধরা যাক সারাক্ষণ এমন ঘটনা ঘটে; অর্থাত্, সমস্ত গাছে সমস্ত টার্মিনাল নোডের কেবল একটি ডেটা পয়েন্ট থাকে। একটি নির্দিষ্ট ডেটা পয়েন্ট বনের প্রায় %৪% গাছের মধ্যে "ইন-ব্যাগ" হবে এবং সেই গাছগুলির প্রত্যেকেরই সেই ডেটা পয়েন্টের সঠিক ভবিষ্যদ্বাণী রয়েছে। এমনকি যদি সেই সমস্ত গাছ যেখানে ডেটা পয়েন্ট বাইরে থাকে, সমস্ত গাছের সংখ্যাগরিষ্ঠ ভোট দিয়ে ভুল পূর্বাভাস দেয়, আপনি এখনও শেষ পর্যন্ত সঠিক উত্তর পেতে। সুতরাং মূলত আরএফের জন্য ট্রেনের সেটের নিখুঁত ভবিষ্যদ্বাণী হ'ল "ডিজাইনের মাধ্যমে"।

nodesize > 1sampsize < 0.5N(এক্সআমি,Yআমি)

৩. যদি প্রশিক্ষণের ত্রুটির প্রচলিত পরিমাপটি কৃত্রিমভাবে কম হয়, তবে আরএফ অত্যধিক মানানসই কিনা তা পরীক্ষা করার জন্য আমি কোন দুটি ব্যবস্থা তুলনা করতে পারি?

যদি আমরা আরএফটি চালায় nodesize = 1এবং এর সাথে sampsize > 0.5, তবে আরএফের প্রশিক্ষণ ত্রুটি সর্বদা 0 এর কাছাকাছি থাকবে। এক্ষেত্রে, মডেলটি অত্যধিক ফিট কিনা তা বলার একমাত্র উপায় হ'ল একটি স্বাধীন বৈধতা সেট হিসাবে কিছু তথ্য রাখা। এরপরে আমরা 10-সিভি পরীক্ষার ত্রুটিটি (বা OOB পরীক্ষা ত্রুটি) স্বতন্ত্র বৈধতা সেটটিতে ত্রুটির সাথে তুলনা করতে পারি। যদি 10-সিভি পরীক্ষার ত্রুটিটি স্বতন্ত্র বৈধতা সেটটিতে ত্রুটির তুলনায় অনেক কম থাকে তবে মডেলটি অত্যধিক মানানসই হতে পারে।


2

[21.7.15 8:31 পূর্বাহ্ন সিএসটি সম্পাদিত]

আমি মনে করি আপনি শ্রেণিবিন্যাসের জন্য আরএফ ব্যবহার করেছেন। কারণ এই ক্ষেত্রে, অ্যালগরিদম কেবলমাত্র একটি লক্ষ্য শ্রেণীর খাঁটি টার্মিনাল নোড সহ সম্পূর্ণরূপে উত্থিত গাছ উত্পাদন করে।

predict(model, data=X_train)

এই কোডিংয়ের লাইনটি একটি কুকুরের মতো [~ 66%] নিজের লেজ তাড়া করছে। যে কোনও প্রশিক্ষণের নমুনার পূর্বাভাস হ'ল প্রশিক্ষণ নমুনার শ্রেণি। রিগ্রেশনের জন্য আরএফ স্টপ করে যদি নোডে 5 বা তার চেয়ে কম নমুনা থাকে বা নোড খাঁটি থাকে। এখানে পূর্বাভাস ত্রুটি ছোট হবে তবে 0% নয়।

মেশিন লার্নিংয়ে আমরা প্রায়শই বড় হাইপোথিসিস স্পেস নিয়ে কাজ করি। এর অর্থ হ'ল আমাদের প্রশিক্ষণ সেটের ডেটা স্ট্রাকচারের জন্য এখনও সবসময় অনেকগুলি মিথ্যা কল্পনা / ব্যাখ্যা / মডেল থাকবে না। শাস্ত্রীয় পরিসংখ্যানগুলিতে হাইপোথিসিসের স্থানটি প্রায়শই ছোট এবং সেইজন্য প্রত্যক্ষ মডেল-ফিট কিছু অনুমানযোগ্যতা তত্ত্ব অনুসারে তথ্যবহুল। মেশিন লার্নিংয়ে মডেলের পক্ষপাতদুষ্টতার সাথে সরাসরি অভাবের ফিট থাকে । বায়াস হ'ল মডেলের "অবিচ্ছেদ্যতা"। এটা নাযাইহোক, জেনারালাইজেশন শক্তি (নতুন ঘটনা পূর্বাভাস করার ক্ষমতা) এর একটি প্রায় অনুমান সরবরাহ করুন। অ্যালগরিদমিক মডেলগুলির জন্য ক্রস-বৈধকরণ আনুমানিক সাধারণীকরণ শক্তির সেরা সরঞ্জাম, কারণ কোনও তত্ত্ব তৈরি হয় না। তবে, যদি স্যাম্পলিং স্যাম্পলিংয়ের মডেল অনুমানগুলি ব্যর্থ হয় তবে মডেলটি কোনওভাবেই অকেজো হতে পারে, এমনকি যদি কোনও ভাল সম্পাদিত ক্রস-বৈধতা অন্যথায় প্রস্তাব দেওয়া হয়। শেষ পর্যন্ত, সবচেয়ে শক্তিশালী প্রমাণটি সন্তুষ্টিজনকভাবে বিভিন্ন উত্সের বাহ্যিক পরীক্ষা-সংস্থাগুলির পূর্বাভাস দেওয়া।

সিভিতে ফিরুন: আউট-অফ-ব্যাগ প্রায়শই একটি স্বীকৃত ধরণের সিভি হয়। আমি ব্যক্তিগতভাবে ধরে রাখব যে ওওবি-সিভি 5-ভাঁজ-সিভি হিসাবে একই ফলাফল সরবরাহ করে তবে এটি একটি খুব সামান্য উপদ্রব। যদি তুলনা করতে যাক এসভিএমকে আরএফ বলতে, তবে OOB-CV ব্যবহারযোগ্য নয় কারণ আমরা সাধারণত SVM ব্যাগ করা এড়াতে পারি। পরিবর্তে এসভিএম এবং আরএফ উভয়ই একই একই ক্রস-বৈধকরণ প্রকল্পে এম্বেড করা হবে যেমন প্রতিটি পুনরাবৃত্তির জন্য মিলবে পার্টিশনের সাথে 10-ভাঁজ 10-পুনরাবৃত্তি। যে কোনও বৈশিষ্ট্য ইঞ্জিনিয়ারিং পদক্ষেপগুলি প্রায়শই ক্রস-বৈধ হওয়া প্রয়োজন। জিনিসগুলি পরিষ্কার রাখতে পারলে পুরো ডেটা পাইপ-লাইন সিভিতে এম্বেড করা যেতে পারে।

আপনি যদি নিজের মডেলটিকে আপনার টেস্ট-সেট (বা ক্রস-বৈধকরণ) দিয়ে টিউন করেন তবে আপনি আবার আপনার অনুমানের স্থানটি স্ফীত করছেন এবং বৈধিকৃত পূর্বাভাসের পারফরম্যান্স সম্ভবত অতিরিক্ত আশাবাদী। পরিবর্তে আপনার চূড়ান্ত অনুকূল মডেলটি নির্ধারণের জন্য আপনার টিউন করার জন্য একটি ক্যালিব্রেশন-সেট (বা ক্যালিব্রেশন সিভি-লুপ) এবং একটি পরীক্ষার বৈধতা সেট (বা বৈধকরণ সিভি-লুপ) প্রয়োজন।

চূড়ান্ত অর্থে, আপনার বৈধতার স্কোরটি কেবলমাত্র পক্ষপাতহীন হবে যদি আপনি কখনই এই ফলাফলটিতে কাজ না করেন, যখন আপনি এটি দেখেন। এটি বৈধতার বৈপরীত্য, কেন আমরা কেন এমন জ্ঞান অর্জন করব যা আপনি যদি এটিতে কাজ না করেন তবেই সত্য। অনুশীলনে সম্প্রদায়টি স্বেচ্ছায় কিছু প্রকাশনার পক্ষপাতিত্ব গ্রহণ করে, যেখানে অযথা দুর্ভাগ্যজনকভাবে ওভার-হতাশাবাদী বৈধতা অর্জনকারীদের তুলনায় যারা গবেষকরা এলোমেলোভাবে একটি অতিরিক্ত-আশাবাদী বৈধতা পেয়েছিলেন তাদের প্রকাশের সম্ভাবনা বেশি। অতএব কখনও কখনও কেন অন্যদের মডেল পুনরুত্পাদন করতে পারে না।


এই জন্য আপনাকে ধন্যবাদ. দুটি প্রশ্ন: (1) কোনও প্রশিক্ষণের নমুনার পূর্বাভাস কীভাবে প্রশিক্ষণের নমুনার শ্রেণি হয়? এমন গাছ থাকতে হবে যা প্রশিক্ষণের নমুনা ব্যবহার করে না যা সংখ্যাগরিষ্ঠ ভোট পদ্ধতিতে ব্যবহৃত হয়? (২) সুতরাং কোনও আরএফ পরিমাপ অত্যধিক মানানসই হলে আপনি কীভাবে মূল্যায়ন করবেন?
বার্ক ইউ

(1) আচ্ছা হ্যাঁ আমি সেখানে একটু দ্রুত ছিলাম, আমি উত্তরটি সম্পাদনা করেছি। যে কোনও নমুনা গাছের ~ 66% এ ইনব্যাগ হবে। প্রশিক্ষণের সময় যদি কোনও গাছের কোনও নমুনা ইনবাগ হয়, তবে এটি পূর্বাভাস দেওয়ার সময় একই নোডে শেষ হবে% 66%, এবং এটি প্রতিবার সংখ্যাগরিষ্ঠ ভোট জয়ের পক্ষে যথেষ্ট। উদাহরণস্বরূপ ট্রেনের নমুনাগুলির 30% স্যাম্পসাইজ কমিয়ে এটি নিশ্চিত করুন এবং 0% শ্রেণিবদ্ধকরণ ত্রুটি থেকে বৃদ্ধি লক্ষ্য করুন। (২) আমি মনে করি আমি এর জবাব দিয়েছি। আরএফ প্রতি ওভারফিটের জন্য নয়, আপনি উদাহরণস্বরূপ সুরের সময় একটি প্রসঙ্গ তৈরি করতে পারেন যেখানে আপনি একটি ওভার-আশাবাদী ওওবি-সিভি ফলাফল পাবেন। নিশ্চিতভাবে জানতে আপনার সম্পূর্ণ প্রক্রিয়াটি একটি নতুন সিভিতে এম্বেড করুন।
সোরেন হাভেলুন্ড ওয়েলিং
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.