গ্রেডিয়েন্ট ট্রি বৃদ্ধিতে গাছের আকার

Question

ফ্রেডম্যান প্রস্তাবিত গ্র্যাডিয়েন্ট ট্রি বুস্টিং Jবেস টেকসই হিসাবে টার্মিনাল নোড (= পাতাগুলি) সহ সিদ্ধান্ত গাছ ব্যবহার করে । ঠিক Jনোড সহ একটি গাছ বাড়ানোর বিভিন্ন উপায় রয়েছে উদাহরণস্বরূপ, কেউ গভীর ফ্যাশন বা প্রস্থের প্রথম ফ্যাশনে গাছ বাড়তে পারে, ...

Jগ্রেডিয়েন্ট ট্রি বুস্টিংয়ের জন্য টার্মিনাল নোডগুলি সহ কীভাবে গাছ বাড়ানো যায় তার কোনও প্রতিষ্ঠিত উপায় আছে ?

আমি আর এর gbmপ্যাকেজের গাছ বৃদ্ধির পদ্ধতিটি পরীক্ষা করে দেখেছি বলে মনে হচ্ছে যে এটি গাছটিকে গভীরতা-প্রথম ফ্যাশনে প্রসারিত করে এবং বাম বা ডান চাইল্ড নোডটি প্রসারিত করতে হবে তা চয়ন করতে ত্রুটি উন্নতির উপর ভিত্তি করে একটি হিউরিস্টিক ব্যবহার করে - এটি কি সঠিক?

Comments

জিবিএম গাছগুলি তৈরি করতে কার্ট ব্যবহার করে, এটি 80 এর দশকের সুপরিচিত একটি অ্যালগরিদম। চিকিত্সাবিদকে বলা হয় গিনি অপরিষ্কার, চতুর্ভুজ ক্ষতির সাথে প্রতিরোধের জন্য একটি দুর্দান্ত মান standard

আফাইক গিনি অপরিষ্কার শ্রেণিবিন্যাস সমস্যার জন্য ব্যবহৃত হয়। তবুও, প্রশ্ন গাছগুলির আকার বোঝায়।

— পিটার প্রেটেনহোফার

এটি একবারে একটি শাখা যুক্ত করে। আমি বিস্মিত হই যদি প্রতিটি পরবর্তী বিভাজন কেবল শাখা নয়, গাছের বাকী বিভক্ত প্রার্থীদের মধ্যে সেরা হয়। এমন অনেক সময় আছে যখন ডেটা কোনও সঠিক সংখ্যা সমর্থন করে না - যেমন 'জে' এর জন্য যখন ডেটা খুব ছোট হয়।

— EngrStudent

@ এঙ্গারস্টুডেন্ট যেমন বলেছে, আপনি একটি নির্দিষ্ট সংখ্যক নোড জোর করতে পারবেন না। তবে নোডের সংখ্যার উপরের গতির উপর আপনার কিছুটা নিয়ন্ত্রণ রয়েছে। gbmএকটি প্যারামিটার রয়েছে n.minobsinnodeযা নোডের প্রতি সর্বনিম্ন সংখ্যার সংখ্যা নিয়ন্ত্রণ করে। অবশ্যই, তারপরে নোডের সংখ্যা সংখ্যাঅফপয়েন্ট / এন.মিনোবসিনোডের থেকে কম বা সমান

— G5W

আমি যদি 'জে' পাতাগুলি সন্ধান করতাম, তবে আমি পুরোপুরি গাছটি তৈরি করতাম এবং ধরে নিই যে জে পাতার চেয়েও বেশি কিছু আছে, আমি জেকে ছাঁটাই করব This এটি আমাকে 'জে' নোড দেবে, এবং সেগুলি সর্বাধিক হবে তথ্যমূলক বিভাজন - এটি হতে পারে স্বাস্থ্যকর কার্ট মডেল। যদি যথেষ্ট পরিমাণে বিভাজন না হয় তবে আমি 'জে' পেতে ডোমেনগুলির মধ্যে এলোমেলোভাবে বিভক্ত হতে পারতাম তবে সেগুলি উত্সাহী এবং কিছুটা তুচ্ছ হবে। আমি পাতার মধ্যে মান বিতরণের দিকে নজর দিতে পারি এবং একটি সিডিএফ চালিত এপ্রোক্সিমেশন ব্যবহার করতে পারি, তবে এটি প্রতি লিফের গড় মডেল থেকে চলে যাবে।

— EngrStudent

Answer 1

আর এর সমাধানগুলি gbmকোনও সাধারণ নয়।

অন্যান্য প্যাকেজ, মত scikit-learnবা LightGBMব্যবহার তথাকথিত (scikit-শিখতে মধ্যে) BestFirstTreeBuilder, যখন পাতার সংখ্যা সীমিত করা হয়েছে। এটি সমস্ত পাতার একটি অগ্রাধিকার সারি সমর্থন করে এবং প্রতিটি পুনরাবৃত্তিতে পাতার বিভাজন করে যা সেরা অপরিচ্ছন্নতা হ্রাস এনে দেয়। সুতরাং এটি পাতাগুলির গণনার উপর ভিত্তি করে গভীরতা-প্রথম বা প্রস্থ-প্রথম নয়, তৃতীয় অ্যালগরিদম।

$i$$i$