এক্সবিস্টের আনুমানিক বিভাজন পয়েন্ট প্রস্তাব বুঝতে সহায়তা প্রয়োজন

Question

পটভূমি:

মধ্যে xgboost $t$ পুনরাবৃত্তির চেষ্টা একটি গাছ মাপসই $f_t$ সর্বাঙ্গে $n$ উদাহরণ যা উদ্দেশ্য নিম্নলিখিত ছোট করায়:

$$\sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i)]$$

যেখানে $g_i, h_i$ প্রথম অর্ডার ও আমাদের পূর্ববর্তী সেরা মূল্যায়নের উপর দ্বিতীয় ক্রম ডেরাইভেটিভস হয় Y (পুনরাবৃত্তির থেকে টি - 1 ):$\hat{y}$$t-1$

• $g_i=d_{\hat{y}}l(y_i, \hat{y})$
• $h_i=d^2_{\hat{y}}l(y_i, \hat{y})$

এবং $l$ হ'ল আমাদের ক্ষতির কাজ।

---

প্রশ্ন (শেষ অবধি):

যখন নির্মাণ $f_t$এবং নির্দিষ্ট বিভাজনে একটি নির্দিষ্ট বৈশিষ্ট্য বিবেচনা করে $k$, তারা কেবলমাত্র কয়েকটি বিভক্ত প্রার্থীদের মূল্যায়ন করতে নীচের তাত্ত্বিক ব্যবহার করেন: তারা সমস্ত এক্সকে $x_k$ অনুসারে বাছাই করে, সাজানো তালিকার উপর দিয়ে পাস করে এবং তাদের দ্বিতীয় ডেরিভেটিভ সমষ্টি করে $h_i$। তারা একটি বিভক্ত প্রার্থী বিবেচনা শুধুমাত্র যখন সমষ্টি থেকে অনেক বেশি পরিবর্তন $\epsilon$ । তা কেন ???

তারা যে ব্যাখ্যা দেয় তা আমাকে অন্তর্ভুক্ত করে:

তাদের দাবি যে আমরা আগের সমীকরণটি আবার লিখতে পারি:

$$\sum_{i=1}^n\frac{1}{2}h_i[f_t(x_i) - g_i/h_i]^2 + constant$$

এবং আমি বীজগণিত অনুসরণ করতে ব্যর্থ - আপনি কেন এটি সমান হয় প্রদর্শন করতে পারেন?

এবং তারপর তারা দাবি করে যে "এই ঠিক লেবেল সহ স্কোয়ারড ক্ষতি পরিমেয় হয় এবং ওজন জ আমি " - একটি বিবৃতি আমি একমত, কিন্তু আমি বুঝতে পারছি না কিভাবে এটা বিভক্ত প্রার্থী অ্যালগরিদম তারা ব্যবহার করছেন কহা না। ..$gi/hi$$h_i$

ধন্যবাদ এবং দুঃখিত যদি এই ফোরামটির জন্য এটি দীর্ঘ হয়।

Answer 1

আমি বিশদে যাব না তবে নিম্নলিখিতটি আপনাকে ধারণাটি উপলব্ধি করতে সহায়তা করবে।

কোয়ান্টাইলগুলি (উইকিপিডিয়া) তারা কোথায় বিভক্ত হবে তা নির্ধারণ করতে ব্যবহার করে । আপনি 100 সম্ভব বিভক্ত পয়েন্ট থাকে, তাহলে (সাজানো), আপনি চেষ্টা করে দেখতে পারেন 10 -quantiles পয়েন্ট বিভক্ত { এক্স 10 , x 20 , ⋯ , x 90 } এবং ভালো পড়তা ইতিমধ্যে আছে। এই কি ε প্যারামিটার করছে। তারা একটি বিভক্ত বিন্দু যখন বিভক্ত হয়েছে বিবেচনা ~ ε এন গত বিভক্ত বিন্দু তুলনায় এটি অধীনে আরো পয়েন্ট। যদি ϵ = $\{x_1, \cdots, x_{100}\}$$10$$\{x_{10}, x_{20}, \cdots, x_{90}\}$$\epsilon$$\sim \epsilon N$$\epsilon = 0.01$, আপনি { 1 % , 2 % , এর চেয়ে বড় হয়ে বিভাজন পয়েন্ট দিয়ে শেষ করবেন । । । , 99 % } অন্যান্য পয়েন্ট। "যোগফল ϵ এর চেয়ে বেশি পরিবর্তিত হয়" যখন তারা নতুন বিভাজন বিবেচনা করে না তবে যখন বর্তমান পয়েন্টের অধীনে পয়েন্টের সংখ্যা শেষের চেয়ে ϵ দ্বারা বড় হয় ।$\sim 100$$\{1\%, 2\%, ..., 99\%\}$$\epsilon$$\epsilon$

এখন, আপনার যদি ইতিমধ্যে অনেকগুলি ক্রমাগত পয়েন্ট থাকে যা ইতিমধ্যে ভাল শ্রেণিবদ্ধ রয়েছে, তবে তাদের মধ্যে বিভক্ত হওয়া অযথা। আপনি আপনার ডেটা সেটের সেই অংশগুলি বিভক্ত করতে চান যা খুব ভুল, যেগুলি শেখা কঠিন। এটি করতে তারা ওজনযুক্ত কোয়ান্টাইল ব্যবহার করে। এই যেখানে ওজন একটি ভূমিকা পালন করে। প্রথম কোয়ান্টাইল প্রথম পয়েন্ট হবে না যা 10 % পয়েন্টের চেয়ে বড় , তবে প্রথম পয়েন্টটি 10 % ওজনের 10 % এর চেয়ে বড় is$10$$10\%$$10\%$

Comments

আমি আপনাকে আপ-আপ দিতে কেবল লগ ইন করেছি। সহজে উপলব্ধি করার ব্যাখ্যার জন্য আপনাকে ধন্যবাদ।

— পাকপুম তিওয়াকর্নকিট

Answer 2

@ উইঙ্কসের উত্তরে কেবল বীজগণিত অংশ যুক্ত করুন:

দ্বিতীয় সমীকরণটির চিহ্নটি এর বিপরীত হওয়া উচিত:

$$\sum_{i=1}^n\frac{1}{2}h_i[f_t(x_i) - (-g_i/h_i)]^2 + constant = \sum_{i=1}^n\frac{1}{2}h_i[f_t^2(x_i) + 2\frac{f_t(x_i)g_i}{h_i} + (g_i/h_i)^2] = \sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i) + \frac{gi^2}{2h_i}]$$

শেষ শব্দটি প্রকৃতপক্ষে ধ্রুবক: মনে রাখবেন যে এবং h আমি পূর্ববর্তী পুনরাবৃত্তির দ্বারা নির্ধারিত হয়, তাই f t সেট করার চেষ্টা করার সময় এগুলি স্থির থাকে ।$g_i$$h_i$$f_t$

সুতরাং, এখন আমরা দাবি করতে পারি "এটি হ'ল লেবেলগুলির সাথে হ্রাসযুক্ত স্কোয়ার্স ক্ষতি এবং ওজন এইচ আই "$-gi/hi$$h_i$

আমাকে এটি বোঝানোর জন্য ক্রেডিট আমার দল থেকে ইয়ারন এবং আভির কাছে যায়।

Answer 3

এবং তারপরে তারা দাবি করে যে "এটি হ'ল লেবেলগুলি জিআই / হাইগি / হাই এবং ওজন হিহি সহ সঠিক স্কোয়ার্স ক্ষতি" - একটি বিবৃতি যার সাথে আমি একমত, তবে আমি বুঝতে পারি না যে এটি যে বিভক্ত প্রার্থীর অ্যালগরিদমের সাথে তারা ব্যবহার করছে তা কীভাবে সম্পর্কিত ... ।

1. যদি শুধুমাত্র একটি নমুনা, এবং আপনি নিখুঁত হয় $w$ এ $t-t_h$ পুনরাবৃত্তির, এটি সহজ দেখতে মান হতে হবে $w* = -gi/hi$ ব্যাখ্যা $(ft - -(gi/hi))^2$

2. $w*$$-avg(gi)/const$$-sigma(gi)/sigma(hi)$$w*$$hi$$gi$$w*$$hi$

$hi$