এক্সজিবিস্ট বনাম পাইথন স্ক্লায়ারেন গ্রেডিয়েন্ট গাছগুলি বাড়িয়েছে

Question

আমি এক্সজিবিস্ট কীভাবে কাজ করে তা বোঝার চেষ্টা করছি। আমি ইতিমধ্যে বুঝতে পেরেছি যে পাইথন স্কলারনে গ্রেডিয়েন্ট বুস্টেড গাছগুলি কীভাবে কাজ করে। আমার কাছে যা স্পষ্ট নয় তা হ'ল এক্সজিবিস্ট একইভাবে কাজ করে তবে দ্রুততর, বা যদি পাইথন বাস্তবায়নের মধ্যে মৌলিক পার্থক্য রয়েছে।

আমি যখন এই কাগজ পড়ি

http://learningsys.org/papers/LearningSys_2015_paper_32.pdf

এটি আমার কাছে দেখে মনে হচ্ছে এক্সজি বুস্ট থেকে শেষ ফলাফলটি পাইথন বাস্তবায়নের মতোই, তবে প্রধান পার্থক্যটি হ'ল প্রতিটি জিগ্রেস্ট ট্রিতে এক্সজি বুস্ট সেরা বিভাজনটি কীভাবে খুঁজে পায়।

মূলত, এক্সজিবিস্ট একই ফলাফল দেয় তবে এটি দ্রুত।

এটি কি সঠিক, না অন্য কিছু আমি মিস করছি?

Answer 1

আপনি সঠিক, এক্সজিবিস্ট ('এক্সট্রিম গ্রেডিয়েন্ট বুস্টিং') এবং স্ক্লেরনের গ্রেডিয়েন্টবুস্ট মূলত একই, কারণ এগুলি উভয়ই গ্রেডিয়েন্ট বৃদ্ধির বাস্তবায়ন।

তবে ব্যবহারিক অর্থে হুডের নীচে খুব উল্লেখযোগ্য পার্থক্য রয়েছে। এক্সজিবিস্টটি স্কেলার্নের চেয়ে অনেক দ্রুত (দেখুন http://machinelearningmastery.com/gentle-intr پيداوار-xgboost-applied-machine-learning/) sk এক্সজিবিস্টটি বেশ স্মৃতিশক্তি-দক্ষ এবং সমান্তরাল হতে পারে (আমি মনে করি যে স্ক্লার্নগুলি ডিফল্টরূপে এটি করতে পারে না, আমি স্কেলের্নের স্মৃতি-দক্ষতা সম্পর্কে ঠিক জানি না তবে আমি এটি যথেষ্ট পরিমাণে আত্মবিশ্বাসী যে এটি এক্সজিবিস্টের নীচে রয়েছে)।

উভয়টি ব্যবহার করে, এক্সজিবিস্টের গতিটি বেশ চিত্তাকর্ষক এবং এর অভিনয়টি স্ক্লার্নের গ্রেডিয়েন্ট বুস্টিংয়ের চেয়ে উচ্চতর।

Comments

পারফরম্যান্সের পার্থক্যও রয়েছে। এক্সজিবিস্ট প্রতিটি টার্মিনাল নোডে অনুকূল ধ্রুবক খুঁজতে দ্বিতীয় ডেরিভেটিভ ব্যবহার করেছেন। মানক বাস্তবায়ন কেবল প্রথম ডেরাইভেটিভ ব্যবহার করে।

— জেলাজনি

@ জেলাজনি 7 আপনার বক্তব্যটির জন্য কোনও রেফারেন্স রয়েছে? কেউ আশা করতে পারে যে 2 য় ডেরিভেটিভস গণনা করা কর্মক্ষমতা হ্রাস করবে। এর অর্থ হ'ল গ্রেডিয়েন্ট বংশোদ্ভূত উত্স ছাড়াও (কোনও স্বাদযুক্ত) ব্যবহার করা হয়েছিল।

— meh

medium.com/towards-data-science/...

— Zelazny7

ডেটাসায়েন্স সম্পর্কিত প্রাসঙ্গিক প্রশ্নোত্তর: কেন স্কিগার্নের চেয়ে এক্সজিবিস্ট এত দ্রুত এবং এখানে ওএস পরিসংখ্যান: টেলর এক্সপেনশন

— উইঙ্কস

@ K88 পোস্টে নিশ্চিতকরণ, sklearn এর GradientBoostingClassifier একটি নেই n_jobsপ্রাপ্তিসাধ্য প্যারামিটার ইন্টারফেস; স্ক্যালারনের অ্যালগরিদমের প্রয়োগের সাথে সমান্তরাল প্রক্রিয়াকরণ অভ্যন্তরীণভাবে সম্ভব নয়।

— বিএমসি

Answer 2

স্ক্লেয়ারেনের গ্রেডিয়েন্ট বুস্টিংয়ের বিপরীতে, এক্সবিবুস্ট অতিরিক্ত চাপ এড়ানোর জন্য গাছটিকে নিয়মিতকরণ করে এবং এটি নিখরচায় থাকা মানগুলির সাথে দক্ষতার সাথেও কাজ করে। নিচের লিঙ্কটি xgboost অবিকলভাবে জানতে https://www.youtube.com/watch?v=Vly8xGnNiWs শিখতে সহায়ক হতে পারে

Comments

স্ক্লার্নের জিবিএম প্যারামিটার লার্নিং_রেটের মাধ্যমে নিয়মিতকরণ করে।

— তেজা শেব্রোল

Answer 3

এক্সজিস্ট হ'ল জিবিডিটি বাস্তবায়ন করছে র্যান্ডমাইজেশনের সাথে (এটি কোলমন স্যাম্পলিং এবং সারি নমুনা ব্যবহার করে) GB জিবিডিটির প্রতিটি বেস মডেলের জন্য সমস্ত প্রশিক্ষণ ডেটা ব্যবহার না করেই স্যাম্পলিং সম্ভব। প্রতিটি বেস-মডেলের জন্য সমস্ত প্রশিক্ষণের ডেটা ব্যবহার না করে, আমরা সারিগুলির একটি উপসেট নমুনা করি এবং প্রতিটি বেস মডেল তৈরি করতে কেবল সেই সারিগুলির ডেটা ব্যবহার করি। এটি নিশ্চিত করে যে ওভারফিট করার কম সুযোগ রয়েছে যা সাধারণ জিবিডিটি সহ একটি বড় সমস্যা যা এক্সজিবিস্ট এই র্যান্ডমাইজেশন ব্যবহার করে সম্বোধন করার চেষ্টা করে।