আমি GBM এবং XGBOOST এর মধ্যে মূল পার্থক্য বোঝার চেষ্টা করছি। আমি এটি গুগল করার চেষ্টা করেছি, তবে দুটি অ্যালগরিদমের মধ্যে পার্থক্য এবং xgboost প্রায় সবসময় GBM এর চেয়ে আরও ভাল পারফর্ম করে কেন এমন কোনও ভাল উত্তর খুঁজে পাইনি could এক্সবিজিওএসটি এত দ্রুত কী করে?
উত্তর:
লেখকের উদ্ধৃতি xgboost:
এক্সজিস্ট এবং জিবিএম উভয়ই গ্রেডিয়েন্ট বুস্টিংয়ের নীতি অনুসরণ করে। মডেলিংয়ের বিশদগুলির মধ্যে পার্থক্য রয়েছে। বিশেষত, এক্সজিস্ট ওভার-ফিটিং নিয়ন্ত্রণের জন্য আরও নিয়মিত মডেল ফর্মালাইজেশন ব্যবহার করেছে, যা এটি আরও ভাল পারফরম্যান্স দেয়।
আমরা মডেলটির ভূমিকা সম্পর্কিত একটি বিস্তৃত টিউটোরিয়াল আপডেট করেছি, যা আপনি একবার খেয়াল করতে চাইতে পারেন। বুস্টড ট্রিগুলির পরিচিতি
Xgboost নামটি আসলে প্রকৃত বৃক্ষের অ্যালগোরিদমগুলির জন্য গণনা সংস্থানগুলির সীমাটি সরিয়ে দেওয়ার জন্য প্রকৌশল লক্ষ্যকে বোঝায়। যে কারণে অনেকে xgboost ব্যবহার করেন। মডেলের জন্য, এটি নিয়মিত গ্রেডিয়েন্ট বুস্টিং হিসাবে ডাকা আরও উপযুক্ত be
সম্পাদনা করুন: এক্সজিস্টের একটি বিশদ গাইড রয়েছে যা আরও পার্থক্য দেখায়।
https://xgboost.readthedocs.io/en/latest/tutorials/model.html
আইসিব্ল্যাডের দেওয়া উত্তর ছাড়াও, এক্সজিস্টের বিকাশকারীগণ বাস্তবায়নের বিভিন্ন অংশে বেশ কয়েকটি গুরুত্বপূর্ণ পারফরম্যান্স বর্ধন করেছেন যা গতি এবং মেমরির ব্যবহারের ক্ষেত্রে একটি বড় পার্থক্য করে:
বড় ডেটাসেটগুলি প্রশিক্ষণের সময় (৫ মিলিয়ন + রেকর্ডস) যখন জিবিএম এবং এক্সজিবিস্ট ব্যবহার করার সময় আমার অভিজ্ঞতায়, আমি একই ডেটাসেটের জন্য মেমরির ব্যবহারের (আর মধ্যে) উল্লেখযোগ্যভাবে হ্রাস পেয়েছি এবং প্রশিক্ষণের সময় হ্রাস করতে একাধিক কোর ব্যবহার করা সহজ পেয়েছি।
একটি অত্যন্ত গুরুত্বপূর্ণ পার্থক্যটি ডার্টxgboost বাস্তবায়িত করেছে , রিগ্রেশন গাছগুলির জন্য ড্রপআউট নিয়মিতকরণ ।
রশ্মি, কেভি, এবং গিলাদ-বাচরাচ, আর। (2015)। ডার্ট: ড্রপআউটগুলি একাধিক সংযোজক রিগ্রেশন গাছের সাথে দেখা করে। আরএক্সিভ প্রিপ্রিন্ট আরএক্সিভ: 1505.01866।
আমি মনে করি গ্রেডিয়েন্ট বুস্টিং এবং এক্সগুস্টের মধ্যে পার্থক্যটি xgboost এ রয়েছে অ্যালগরিদম গাণিতিক শক্তির উপর দৃষ্টি নিবদ্ধ করে, গাছের গঠনের সমান্তরাল করে যা এই ব্লগে দেখতে পাবে ।
গ্রেডিয়েন্ট বুস্টিং কেবলমাত্র বৈচিত্রের দিকে দৃষ্টি নিবদ্ধ করে তবে পক্ষপাতের মধ্যে বাণিজ্য বন্ধ করে দেয় না যেখানে এক্সজি বুস্ট হিসাবে নিয়মিতকরণের ফ্যাক্টারেও ফোকাস করতে পারে।
এক্সজিবিস্ট বাস্তবায়ন বগি। ভি 082-তে জিপিইউতে প্রশিক্ষণ দেওয়ার সময় নিঃশব্দে ক্র্যাশ হয়েছে । এটি আমার সাথে ভি ০.৯.৯-তেও হয়েছে , সুতরাং এখন পর্যন্ত সমস্যাটির সমাধান করা হয়নি, এবং গিটহাবে প্রদত্ত "ফিক্স" আমার পক্ষে কাজ করে নি।
এলজিবিএম ২.৩.১ বাক্সের বাইরে মনোযোগের মতো কাজ করে, যদিও এটি ইনস্টল করতে কিছুটা বেশি প্রচেষ্টা প্রয়োজন। এখনও পর্যন্ত জিপিইউ সম্পর্কে কোনও প্রশিক্ষণ নেই।
আমাদের সম্পর্কে XGBoost হচ্ছে " এত দ্রুত ", আপনি কটাক্ষপাত করা উচিত এই benchmarks ।