এক্সজিবিস্ট অ্যালগরিদমে মিনি_চিল্ড_ওয়েটের ব্যাখ্যা


23

সংজ্ঞা xgboost মধ্যে min_child_weight প্যারামিটারের হিসেবে দেওয়া হয়:

কোনও বাচ্চার জন্য ন্যূনতম পরিমাণের ওজন (হেসিয়ান) প্রয়োজন। যদি গাছের বিভাজনের পদক্ষেপের ফলাফলটি একটি পাতার নোডে উদাহরণস্বরূপ ওজনের যোগফলের সাথে মিনি_চাইল্ডওয়েটের চেয়ে কম হয়, তবে বিল্ডিং প্রক্রিয়াটি আরও বিভাজন ছেড়ে দেবে। লিনিয়ার রিগ্রেশন মোডে এটি প্রতিটি নোডে থাকা ন্যূনতম সংখ্যার সাথে সামঞ্জস্য হয়। বৃহত্তর, তত বেশি রক্ষণশীল অ্যালগরিদম হবে।

আমি মূল কাগজ সহ এক্সজিবিস্টে বেশ কয়েকটি জিনিস পড়েছি (সূত্র 8 এবং সমীকরণ 9 এর পরে একটি দেখুন), এই প্রশ্ন এবং গুগল অনুসন্ধানের প্রথম কয়েকটি পৃষ্ঠায় এক্সজিস্টের সাথে করা বেশিরভাগ জিনিস। ;)

মূলত আমি এখনও খুশি নই কেন আমরা হেসিয়ানদের যোগফলের যোগসূত্র চাপিয়ে দিচ্ছি? আমার একমাত্র মূল কাগজ থেকে মিনিটে এ চিন্তা এটি ভরযুক্ত সমাংশক স্কেচ অধ্যায় (এবং সমীকরণ 3 ভরযুক্ত স্কোয়ারড ক্ষতির হিসাবে reformulation) সম্পর্কিত যা আছে hi প্রতিটি অনুরোধের 'ওজন' হিসেবে।

আরও একটি প্রশ্ন সম্পর্কিত যে এটি লিনিয়ার রিগ্রেশন মোডে কেবল উদাহরণগুলির সংখ্যা কেন? আমার ধারণা এটি বর্গ সমীকরণের যোগফলের দ্বিতীয় ডেরিভেটিভের সাথে সম্পর্কিত?

উত্তর:


42

একটি প্রতিরোধের জন্য, নোডের প্রতিটি পয়েন্টের ক্ষতি হয়

12(yiyi^)2

yi^1

বাইনারি লজিস্টিক রিগ্রেশনের জন্য, নোডের প্রতিটি পয়েন্টের জন্য হেসিয়ান এর মতো শর্তাদি রাখে

σ(yi^)(1σ(yi^))

σyi^σ(yi^)

নিয়মিতকরণ এবং গাছের গভীরতা সীমাবদ্ধ করার জন্য হেসিয়ান একটি বুদ্ধিমান জিনিস। রিগ্রেশনেশনের জন্য, আপনি যদি সর্বদা নোডগুলিতে বিভক্ত হয়ে থাকেন তবে বলুন যে আপনি কেবলমাত্র 1 টি পর্যবেক্ষণ দিয়ে কীভাবে আপনার চেয়ে বেশি পছন্দ করতে পারেন তা সহজ। একইভাবে, শ্রেণিবিন্যাসের জন্য, প্রতিটি নোড খাঁটি না হওয়া পর্যন্ত আপনি বিভক্ত হওয়ার বিষয়ে জোর দিলে আপনার কীভাবে উপকার হবে তা দেখতে সহজ easy


উত্তরের জন্য আপনাকে ধন্যবাদ, কম সুনামের কারণে আমি আপনাকে উজ্জীবিত করতে পারি না।
maw501

1
হাই @ মাও 501: কোনও সমস্যা নেই, আমি পারি। উত্তম উত্তর হাহডগ!
ক্যাটবিল্টস

সুতরাং অত্যন্ত ভারসাম্যহীন ডেটার ক্ষেত্রে আপনার মিনি_চাইল্ড ওজনের জন্য প্রস্তাবিত পরিসীমা কত?
মাহদী বাব্বনজাদেহ

ভারসাম্যহীন ডেটাসেটে থাকা অবস্থায়, মিনি_চাইল্ড ওয়েটের পাশাপাশি ওজনও অন্তর্ভুক্ত করা উচিত? ধন্যবাদ! @ শাহদাগ
হানাকাজে
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.