লাইটজিবিএম বনাম এক্সজিবিস্ট

Question

আমি কোনটি আরও ভাল তা বোঝার চেষ্টা করছি (আরও নির্ভুল, বিশেষত শ্রেণিবদ্ধকরণের সমস্যায়)

আমি লাইটজিবিএম এবং এক্সজিবিস্টের তুলনা করে নিবন্ধগুলি সন্ধান করেছি তবে কেবল দুটি পেয়েছি:

1. https://medium.com/implodinggradients/benchmarking-lightgbm-how-fast-is-lightgbm-vs-xgboost-15d224568031 - যা কেবল গতি সম্পর্কে কিন্তু নির্ভুলতার জন্য নয়।
2. https://github.com/Mic Microsoft/LightGBM/wiki/Experiments - যা লাইটজিবিএম-র লেখকগণের এবং কোনও আশ্চর্য লাইটজিবিএম সেখানে জিততে পারে না।

আমার পরীক্ষায় আমি উভয় অ্যালগরিদমের জন্য একই রকম এউসি পাই তবে লাইটজিবিএম 2 থেকে 5 গুণ দ্রুত ফর্মটি চালায়।

এলজিবিএম যদি খুব দুর্দান্ত হয় তবে আমি কেন এখানে এবং কাগগলে এ বিষয়ে এত কিছু শুনি না :)

Comments

ধন্যবাদ, তবে লাইটজিবিএম-তেও বেশিরভাগ ক্যাগলারের দ্বারা ব্যবহৃত আর এবং পাইথনের প্যাকেজ রয়েছে। আমি পাইথনের সাথে এটি ব্যবহার করছি। আমার ডেটা এবং ইন্টারনেট গবেষণায় এলজিবিএম খুব নিখুঁত বলে মনে হচ্ছে: খুব দ্রুত এবং কম নির্ভুল নয়। তবে সম্ভবত আমি এখানে কিছু মিস করছি যদি এটি এখনও এত ব্যাপকভাবে ব্যবহার না করা হয় :)

— সের্গেই নিঝেভিয়াসভ

Answer 1

লাইটজিবিএম একটি দুর্দান্ত বাস্তবায়ন যা এক্সজিবিস্টের অনুরূপ তবে কয়েকটি নির্দিষ্ট উপায়ে পরিবর্তিত হয়, বিশেষত কীভাবে এটি গাছগুলি তৈরি করে।

এটি কিছু আলাদা পরামিতি সরবরাহ করে তবে তাদের বেশিরভাগই তাদের এক্সজিবিস্ট অংশগুলির সাথে খুব মিল similar

আপনি যদি একই পরামিতি ব্যবহার করেন তবে আপনি প্রায় সর্বদা খুব কাছের স্কোর পান। বেশিরভাগ ক্ষেত্রে, প্রশিক্ষণটি যদিও 2-10 গুণ বেশি দ্রুত হবে।

---

কেন আরও লোকেরা এটি ব্যবহার করবেন না?

এক্সজিবিস্ট প্রায় দীর্ঘ সময় নিয়েছে এবং ইতিমধ্যে অনেকগুলি মেশিনে ইনস্টল করা আছে। লাইটজিবিএম বরং নতুন এবং প্রথমে পাইথনের মোড়ক নেই। বর্তমান সংস্করণটি ইনস্টল করা এবং ব্যবহার করা সহজ তাই এখানে কোনও বাধা নেই।

কেগল এবং অনুরূপ সাইটগুলিতে আরও উন্নত ব্যবহারকারী ইতিমধ্যে লাইটজিবিএম ব্যবহার করেন এবং প্রতিটি নতুন প্রতিযোগিতার জন্য, এটি আরও এবং বেশি কভারেজ পায়। তবুও, স্টার্টার স্ক্রিপ্টগুলি প্রায়শই XGBoost এর আশেপাশে থাকে কারণ লোকেরা কেবল তাদের পুরানো কোডটি পুনরায় ব্যবহার করে এবং কয়েকটি পরামিতি সামঞ্জস্য করে। আমি নিশ্চিত যে এটি ব্যবহার করার বিষয়ে আরও কয়েকটি টিউটোরিয়াল এবং গাইড থাকলে এটি আরও বাড়বে (বর্তমানে বেশিরভাগ নন-সাইকিটলার্ন গাইড এক্সজিবিস্ট বা নিউরাল নেটওয়ার্কগুলিতে ফোকাস করছে)।

Comments

ধন্যবাদ, এটি উপলব্ধি করে। শীর্ষস্থানীয় কাগলারের পক্ষে গণনা শক্তি কোনও বড় সমস্যা নয় এবং স্ক্রিপ্টগুলি রাখা আরও সহজ।

— সের্গেই নিজহেভাসভ

Answer 2

এক্সজিবিস্টে এখন লাইটজিবিএম ব্যবহারের মতো গাছের বৃদ্ধির জন্য হিস্টোগ্রাম বিনিং বিকল্প রয়েছে। এটি একই স্তরের গতি এবং একই ধরণের নির্ভুলতার বৈশিষ্ট্যগুলি সরবরাহ করে, যদিও অ্যালগোরিদমগুলি এখনও ঠিক একই নয়।

এখানে কিছু প্লট এবং সারণী রয়েছে যেগুলি এখন একে অপরের শীর্ষে কীভাবে তা দেখায়। https://github.com/dmlc/xgboost/issues/1950

ন্যায়সঙ্গত হওয়ার জন্য, লাইটজিবিএম তাদের নিজস্ব পারফরম্যান্স টেস্টের উদ্ধৃতি দিয়ে দেখায় যে তারা এখনও এক্সজিবিস্ট (হিস্ট) প্রান্তিকরণ করছে, যদিও এর চেয়ে বেশি মাত্রার অর্ডার না দিয়ে। https://github.com/Microsoft/LightGBM/blob/master/docs/Experiments.rst#comparison-experiment