কোন পরিস্থিতিতে গ্রেডিয়েন্ট বুস্টিং মেশিনগুলি এলোমেলো বনগুলিকে ছাপিয়ে যায়?

Question

ফ্রেডম্যানের গ্রেডিয়েন্ট বুস্টিং মেশিনটি কি ব্রেইম্যানের র্যান্ডম ফরেস্টের চেয়ে ভাল পারফরম্যান্স অর্জন করতে পারে ? যদি তা হয় তবে কোন পরিস্থিতিতে বা কোন ধরণের ডেটা সেট জিবিএমকে আরও উন্নত করতে পারে?

Comments

কোনও প্রাইমারী বলার উপায় নেই; আপনি এটি চেষ্টা করে দেখতে হবে।

— বায়ারজ

ঠিক আছে, বাস্তবে, বুস্টিং প্রায় সবসময় আরএফকে ছাড়িয়ে যায় ... যদিও আমি সত্যিই ঠিক তা জানি না, তবে ব্যক্তিগতভাবে আমি এমন কোনও ঘটনার মুখোমুখি হইনি যেখানে আরএফ বুস্টিংকে ছাড়িয়ে গেছে।

— আন্তোইন

লেবেলযুক্ত ডেটা এবং / অথবা লেবেল শব্দের সাথে @ অ্যান্টাইন শিখতে বাড়াতে বিশেষত ভয়ানক ব্যবহার case

— মার্ক Claesen

ওয়েল, আরএফ এবং বুস্টিং প্রাথমিকভাবে তত্ত্বাবধানে শেখার কাজের জন্য ব্যবহৃত হয়, এমনকি যদি কখনও কখনও এটি সত্য হয় যে ক্লাস্টারিংয়ের জন্য আরএফ ব্যবহার করা যেতে পারে। ক্ষতিকারক ক্ষতির ফলে ক্ষতিকারক ক্ষতির ক্রিয়াকলাপের কারণে অ্যাডাবোস্ট বিভ্রান্তিকর পক্ষে খুব বেশি দৃust় নয়, তবে সাধারণ ক্ষেত্রে স্টোকাস্টিক গ্রেডিয়েন্ট বুস্টিং (উদাহরণস্বরূপ বহুজাতিক বিচ্যুতি সহ) আরও শক্তিশালী।

— আঁটোইন

@ মার্কক্লেসেন আপনি কি এই প্রশ্নটি একবার দেখতে পারেন ?

— এন্টোইন

Answer 1

নীচে বুস্টিং সাধারণত র্যান্ডম ফরেস্টকে অনুশীলনে কেন দক্ষ করে তোলে সেই অনুসারে নীচে একটি ব্যাখ্যা সরবরাহ করা হয়েছে তবে আমি অন্যান্য আগ্রহী বিষয়গুলি নির্দিষ্ট সেটিংসে আরএফের চেয়ে বুস্টিংয়ের প্রান্তটি ব্যাখ্যা করতে পারে তা জানতে আগ্রহী।

$error=bias+variance$

অন্যদিকে, Boosting পক্ষপাত হ্রাস (তাই যে কি পূর্ববর্তী গাছ মিস হয়েছিল বন্দী করা হয় ক্রমানুসারে প্রতিটি নতুন গাছ যোগ করে), কিন্তু এছাড়াও ভ্যারিয়েন্স (অনেক মডেল মিশ্রন দ্বারা)।

সুতরাং, বুস্টিং উভয় ফ্রন্টের ত্রুটি হ্রাস করে, যেখানে আরএফ কেবল বৈকল্পিকতা হ্রাসের মাধ্যমে ত্রুটি হ্রাস করতে পারে। অবশ্যই, যেমনটি আমি বলেছিলাম, বাস্তবে পালিত বুস্টিংয়ের আরও ভাল পারফরম্যান্সের জন্য অন্যান্য ব্যাখ্যা থাকতে পারে। উদাহরণস্বরূপ, উপরোক্ত বইয়ের 591 পৃষ্ঠার পৃষ্ঠাটি বলা হয়েছে যে বুস্টিং নেস্টেড গোলক সমস্যার উপর আরএফকে ছাড়িয়ে যায় কারণ সেই বিশেষ ক্ষেত্রে সত্যিকারের সিদ্ধান্তের সীমানা যুক্ত হয় । (?) তারা আরও জানায় যে স্প্যাম এবং ক্যালিফোর্নিয়ার হাউজিং ডেটার জন্য বুস্টিং আরএফের চেয়ে ভাল করেছে।

আরএফকে ছাড়িয়ে যাওয়ার জন্য বুস্টিংকে পাওয়া অন্য একটি উল্লেখটি হলেন কারুয়ানা এবং নিকুলেসকু-মিজিল 2006 । দুর্ভাগ্যক্রমে, তারা ফলাফলগুলি রিপোর্ট করে তবে তাদের কী কারণ তা বোঝানোর চেষ্টা করবেন না। তারা 8 টি বিভিন্ন পারফরম্যান্স মেট্রিকের জন্য 11 বাইনারি শ্রেণিবদ্ধকরণ সমস্যাগুলিতে দুটি শ্রেণিবদ্ধ (এবং আরও অনেক) তুলনা করেছেন।

Answer 2

যেমনটি বৈয়ারজ বলেছিলেন, তেমন কোনও প্রাইমারী জানার উপায় নেই!

এলোমেলো বনগুলি ক্যালিব্রেট করা তুলনামূলকভাবে সহজ: বেশিরভাগ বাস্তবায়নের ডিফল্ট পরামিতি (উদাহরণস্বরূপ আর বা পাইথন) দুর্দান্ত ফলাফল অর্জন করে।

অন্যদিকে, জিবিএম টিউন করা শক্ত (খুব বেশি সংখ্যক গাছ গাছের উপকারের দিকে নিয়ে যায়, সর্বাধিক গভীরতা গুরুতর, শিক্ষার হার এবং গাছের সংখ্যা একসাথে কাজ করে ...) এবং প্রশিক্ষণের জন্য দীর্ঘতর (বহুবিশ্লেষিত বাস্তবায়ন দুষ্প্রাপ্য) । আলগাভাবে সঞ্চালিত টিউনিং কম কর্মক্ষমতা হতে পারে।

তবে, আমার অভিজ্ঞতা থেকে, আপনি যদি জিবিএমগুলিতে যথেষ্ট সময় ব্যয় করেন তবে আপনি এলোমেলো বনের চেয়ে ভাল পারফরম্যান্স অর্জনের সম্ভাবনা রয়েছে।

সম্পাদনা করুন। কেন GBM গুলি এলোমেলো বনগুলিকে ছাপিয়ে যায়? এন্টোইনের উত্তরটি অনেক বেশি কঠোর, এটি কেবল একটি স্বজ্ঞাত ব্যাখ্যা। তাদের আরও সমালোচনামূলক পরামিতি রয়েছে। এলোমেলো বনের মতোই, আপনি গাছের সংখ্যাও ক্যালিব্রেট করতে পারেন এবং$m$যে গাছগুলির গাছে গাছে সেগুলির সংখ্যা। তবে আপনি শেখার হার এবং সর্বোচ্চ গভীরতাও ক্যালিব্রেট করতে পারেন। আপনি এলোমেলো অরণ্যের তুলনায় যত বেশি ভিন্ন মডেল দেখেন সেহেতু আপনি আরও ভাল কিছু আবিষ্কার করার সম্ভাবনা বেশি।

Comments

A loosely performed tuning may lead to dramatic performance?ভুল ব্যাখ্যার থেকে সাবধান থাকুন, কারণ ইংরাজীতে dramaticমানে খুব ভাল, ব্যতিক্রমী, অভূতপূর্ব ইত্যাদি! আমি অনুমান করি যে আপনি যা বলতে চেয়েছিলেন তার বিপরীতে ... এছাড়াও, আপনি কেন সাবধানতার সাথে জিবিএম আউটফর্মের আরএফকে সামঞ্জস্য করেছেন তার কোনও ব্যাখ্যা আছে? এটি মূলত প্রশ্ন ...

— আন্তোইন