গ্রেডিয়েন্ট বুস্টিং সহ শ্রেণীবদ্ধকরণ: ভবিষ্যদ্বাণীটি কীভাবে রাখবেন [0,1]

17

প্রশ্নটি

গ্রেডিয়েন্ট বুস্টিংয়ের সাথে বাইনারি শ্রেণিবদ্ধকরণ করার সময় $[0,1]$ ব্যবধানের মধ্যে কীভাবে ভবিষ্যদ্বাণী করা হয় তা বুঝতে আমি সংগ্রাম করছি ।

ধরা যাক আমরা একটি বাইনারি শ্রেণিবদ্ধকরণ সমস্যা নিয়ে কাজ করছি এবং আমাদের উদ্দেশ্যগত ফাংশনটি হ'ল লগ ক্ষতি, , যেখানে টার্গেট ভেরিয়েবল এবং আমাদের বর্তমান মডেল। $-\sum y_i \log(H_m(x_i)) + (1-y_i) \log(1-H_m(x_i))$ $y$ $\in \{0,1\}$ $H$

পরবর্তী দুর্বল শিক্ষার্থীদের প্রশিক্ষণ দেওয়ার সময় যখন আমাদের নতুন মডেলটি , তখন রাখার অনুমিত পদ্ধতিটি কী ? বা, হতে পারে আরও প্রাসঙ্গিক প্রশ্ন, এমন কোনও ব্যবস্থা আছে কি? $h_i$ $H_i = H_{i-1} + h_i$ $H_i \in [0,1]$

আমি কী করছি সে সম্পর্কে আরও তথ্য

আমি রিগ্রেশন ট্রি ব্যবহার করে গ্রেডিয়েন্ট বুস্টিং বাস্তবায়নের চেষ্টা করছি। এটি এড়াতে আমি যা করি তা হ'ল গুণক দ্বারা বহুগুণ , যেমন শূন্য বা তার উপরে না যায় এক, এবং আমি এই পরিসীমাটিতে নির্বাচন করি যা ক্ষতির কার্যকারিতা হ্রাস করে। $h_i$ $c \in [0,c_{\text{max}}]$ $H + c_{\text{max}}h$ $c$

এটি নিম্নলিখিত সমস্যাটি নিয়ে আসে: কিছু রাউন্ডের পরে আমার একটি পয়েন্ট রয়েছে যা পুরোপুরি শ্রেণিবদ্ধ করা হয়েছে এবং গ্রেডিয়েন্টের দিকে শ্রেণিবদ্ধকারীকে ধাক্কা দেওয়ার জন্য উপলব্ধ সেরা বিভাজনটি এই বিন্দুটিকে উপরের দিকে চাপতে চায়, যা নিশ্চিত আমি নিশ্চিত করি যে এটি ঘটবে না সেট করা হচ্ছে । সুতরাং পরবর্তী সমস্ত পুনরাবৃত্তি একই বিভাজন এবং একই নির্বাচন করবে । $c = 0$ $c = 0$

আমি সাধারণ নিয়মিতকরণ অনুশীলন চেষ্টা করেছি

Multip দ্বারা গুণগতমানের হার হ্রাস করা । এটি কেবল সমস্যাটি বিলম্ব করে। $c$ $\mu = 0.01$
বৈশিষ্ট্য স্থান সাবমলিং, কিন্তু কিছু পয়েন্ট শ্রেণিবদ্ধ করা খুব সহজ, তারা প্রায় প্রতিটি বাক্সে টিক দেয় "এটি কি ইতিবাচক?" ফর্ম এবং প্রায় প্রতিটি "ভাল বিভাজন" এই আচরণটি দেখায়।

আমি মনে করি এটা প্যারামিটার একটা সমস্যা হয় না, এবং একটি আরো সেখানে উচিত শব্দ এই সমাধানের জন্য উপায়। আমার বাস্তবায়ন ভেঙে যাওয়ার সম্ভাবনাটি আমি ছাড়ছি না, তবে এই সমস্যাটি সমাধান করার মতো কিছুই আমি পাইনি।

যৌক্তিক ক্ষতির প্রেক্ষাপটে আমরা যা চালনা করছি, তার সম্ভাবনা হওয়া উচিত, তাই আমরা কীভাবে এড়াতে পারি?

আমার অনুভূতি মডেল আমরা নির্মাণ করা হয়, করা হবে , একটি সিগমা ফাংশনে যেমন যে এটি বেষ্টিত , এবং আমি অনুমান যে কাজ, কিন্তু আমি জানতে চাই যদি অন্যান্য সমাধানের চান। যেহেতু শ্রেণিবদ্ধকরণের কার্যগুলিতে গ্রেডিয়েন্ট বুস্টিং সফলভাবে ব্যবহৃত হয়, তাই একটি "সঠিক" (অর্থাত্ ন্যায়সঙ্গততা সহ) সমাধান থাকা উচিত। $H$ $[0,1]$

logistic classification boosting

— winks
সূত্র

আপনার প্রয়োজন হতে পারে যে গুণক, সেই ক্ষেত্রে other আপনার অন্যান্য বিশেষজ্ঞদের সাথে সংযোজনাত্মক আচরণ করে।

H

$H$

\ln (H)

$\ln(H)$

— অ্যালেক্স আর

22

আমি লিনিয়ার মডেলগুলির ক্ষেত্রে এবং জিএলএমগুলিতে (জেনারালাইজড লিনিয়ার মডেলগুলি) তাদের বর্ধনের সাথে সাদৃশ্য করে এগুলি ভাবতে চাই।

লিনিয়ার মডেলটিতে আমরা আমাদের প্রতিক্রিয়ার পূর্বাভাস দেওয়ার জন্য একটি লিনিয়ার ফাংশন ফিট করি

\hat{y} = β_{0} + β_{1} x_{1} + \dots β_{n} x_{n}

$\hat y = \beta_0 + \beta_1 x_1 + \cdots \beta_n x_n$

অন্যান্য পরিস্থিতিতে সাধারণীকরণের জন্য, আমরা একটি লিঙ্ক ফাংশন প্রবর্তন করি যা মডেলের লিনিয়ার অংশটিকে প্রতিক্রিয়ার স্কেলে রূপান্তরিত করে (প্রযুক্তিগতভাবে এটি একটি বিপরীত লিঙ্ক, তবে আমি মনে করি এটি লিনিয়ার ভবিষ্যদ্বাণীকে রূপান্তরিত করে এভাবে ভাবতে সহজ হবে) প্রতিক্রিয়াটিকে লিনিয়ার ভবিষ্যদ্বাণীতে রূপান্তরিত করার পরিবর্তে প্রতিক্রিয়াতে রূপান্তর করা)।

উদাহরণস্বরূপ, লজিস্টিক মডেল সিগময়েড (বা লগইট) ফাংশনটি ব্যবহার করে

\hat{y} = \frac{1}{1 + \exp (- (β_{0} + β_{1} x_{1} + \dots β_{n} x_{n}))}

$\hat y = \frac{1}{1 + \exp(-(\beta_0 + \beta_1 x_1 + \cdots \beta_n x_n))}$

এবং পোয়েসন রিগ্রেশন একটি ক্ষতিকারক ফাংশন ব্যবহার করে

\hat{y} = \exp (β_{0} + β_{1} x_{1} + \dots β_{n} x_{n})

$\hat y = \exp(\beta_0 + \beta_1 x_1 + \cdots \beta_n x_n)$

গ্রেডিয়েন্ট বুস্টিংয়ের সাথে সাদৃশ্য তৈরি করতে, আমরা এই মডেলগুলির লিনিয়ার অংশটিকে বুস্টেড গাছের যোগফলের সাথে প্রতিস্থাপন করি। সুতরাং, উদাহরণস্বরূপ, গাউসিয়ান কেস (লিনিয়ার রিগ্রেশন সহ অভিন্ন) সুপরিচিত হয়ে ওঠে

\hat{y} = \sum_{i} h_{i}

$\hat y = \sum_i h_i$

যেখানে আমাদের দুর্বল শিক্ষার্থীদের ক্রম। দ্বিপদী কেসটি লজিস্টিক রিগ্রেশনের সাথে সাদৃশ্যপূর্ণ (আপনি নিজের উত্তরে উল্লেখ করেছেন) $h_i$

\hat{y} = \frac{1}{1 + \exp (- \sum_{i} h_{i})}

$\hat y = \frac{1}{1 + \exp\left(-\sum_i h_i\right)}$

এবং পোয়েসন বুস্টিং পিসন রিগ্রেশন-এর সমতুল্য

\hat{y} = \exp (\sum_{i} h_{i})

$\hat y = \exp\left(\sum_i h_i\right)$

প্রশ্নটি রয়ে গেছে, লিংক ফাংশন জড়িত থাকার সাথে একজন কীভাবে এই বুস্টেড মডেলগুলি ফিট করে? গাউসির ক্ষেত্রে, যেখানে লিঙ্কটি পরিচয় ফাংশন, প্রায়শই শ্রমজীবী দুর্বল শিক্ষার্থীদের বর্তমানের কাজের মডেলের অবশিষ্টাংশগুলিতে ফিট করার মন্ত্রটি কার্যকর হয়, তবে এটি আরও জটিল মডেলগুলিতে সত্যিই সাধারণীকরণ করে না। কৌশলটি হ'ল ক্ষতির ফাংশনটি মডেলের লিনিয়ার অংশের কার্যকারিতা হিসাবে হ্রাস করা (যেমন জিএলএম গঠনের অংশ)) $\sum_i \beta_i x_i$

উদাহরণস্বরূপ, দ্বিপদী ক্ষতি সাধারণত হিসাবে সম্মুখীন হয়

\sum_{i} y_{i} \log (p_{i}) + (1 - y_{i}) \log (1 - p_{i})

$\sum_i y_i \log(p_i) + (1 - y_i)\log(1 - p_i)$

এখানে, ক্ষতির একটি ফাংশন , প্রতিক্রিয়া হিসাবে একই স্কেল, এবং এর পূর্বাভাস মান রৈখিক predictor একটি অ রৈখিক রূপান্তর হয় । পরিবর্তে, আমরা এটি ক্রিয়াকলাপ হিসাবে পুনরায় প্রকাশ করতে , (এই ক্ষেত্রে লগ হিসাবেও পরিচিত) $p_i$ $p_i$ $L_i$ $L_i$

\sum_{i} y_{i} L_{i} - \log (1 + \exp (L_{i}))

$\sum_i y_i L_i - \log(1 + \exp(L_i))$

তারপরে আমরা প্রতি সম্মানের সাথে এর গ্রেডিয়েন্ট নিতে পারি এবং সরাসরি এই পরিমাণটি হ্রাস করতে উত্সাহ দিতে পারি। $L$

কেবল একদম শেষে, যখন আমরা ব্যবহারকারীর জন্য ভবিষ্যদ্বাণী তৈরি করতে চাই, আমরা কী ভবিষ্যদ্বাণীগুলিকে প্রতিক্রিয়া হিসাবে একই স্কেলের উপর রাখার জন্য দুর্বল শিখরাদের চূড়ান্ত ক্রমে লিঙ্ক ফাংশনটি প্রয়োগ করি? মডেলটি ফিট করার সময়, আমরা অভ্যন্তরীণভাবে পুরো সময়রেখায় রৈখিক স্কেলে কাজ করি।

— ম্যাথু ড্রুরি
সূত্র

2

"মডেলের লিনিয়ার অংশের ক্রিয়া হিসাবে ক্ষতির ফাংশনটি হ্রাস করা হবে" এর সাথে সম্মত হন। তবে আমি মনে করি লগের প্রতিকূলতা ছাড়াই এটি বোঝার সহজ-সরল উপায় হ'ল: মডেলের লিনিয়ার অংশের জন্য, অর্থাৎ , ক্ষতির ফাংশনটি মনে করে , এবং সিউডো-অবশিষ্ট মাত্র হ্রাস wrt ডেরিভেটিভ করা হয় ।

r \in (- \infty, \infty)

$r \in (-\infty, \infty)$

- \sum_{i} (y_{i} \log \frac{1}{1 + e^{- r}} + (1 - y_{i}) \log (1 - \frac{1}{1 + e^{- r}}))

$- \sum_i \big( y_i \log \frac{1}{1+e^{-r}}+(1-y_i)\log ( 1 - \frac{1}{1+e^{-r}}) \big)$

r

$r$

— ব্যবহারকারী 2830451

@ ম্যাথু-ড্রুরি আপনি কি দয়া করে একই অ্যালগরিদমের কে-শ্রেণীর বহু-বিভাগীয় বিভাগে কিছু আলো যুক্ত করতে পারেন যেখানে অনুরূপ ধারণাটি এটির জন্য কাজ করতে প্রসারিত?

— মিশ্রকোডে 21'13

6

কিছু গবেষণা করার পরে, আমার অন্তর্দৃষ্টি এবং অ্যালেক্স আর এর মন্তব্যটি সঠিক বলে মনে হচ্ছে ।

পূর্বাভাস সহ একটি অবিচ্ছিন্ন মডেল তৈরি করতে, কেউ মডেলটিকে একটি লজিস্টিক ফাংশন (উইকিপিডিয়া) এ রাখতে পারেন , যেমন , আমাদের কাছে have গ্রেডিয়েন্ট বুস্টিং পদক্ষেপগুলি তারপরে প্রতি সম্মান নিয়ে ডেরিভেটিভ নেয় এবং মডেলটি আপডেট করে, যেমন লজিস্টিক ফাংশন ব্যয় কার্যের অংশ ছিল এবং এটি কাজ করে। $[0,1]$ $H$ $H \in \mathbb{R}$

\frac{1}{1 + e^{- H}} \in [0, 1]

$\frac{1}{1 + e^{-H}} \in [0,1]$

H

$H$

এটি কাগজে অ্যাডিটিভ লজিস্টিক রিগ্রেশন: ফ্রিডম্যান, হাস্টি এবং তিবশিরানী দ্বারা লজিস্টবস্ট (উইকিপিডিয়া) , লজিস্টিক লসের সাথে অ্যাডাপ্টস অ্যাডাপ্টেশন (উইকিপিডিয়া) গড়ার একটি পরিসংখ্যানগত দৃষ্টিভঙ্গির পরামর্শ দেওয়া হয়েছে ।

খুব বেসিক পদগুলিতে, যদি সিগময়েড যুক্ত করে লিনিয়ার রিগ্রেশন থেকে লজিস্টিক রিগ্রেশনে যাওয়া সম্ভব হয় তবে এটি রিগ্রেশন বুস্টিংকে শ্রেণিবদ্ধকরণ বৃদ্ধিতে রূপান্তরিত করতেও কাজ করে।

— winks
সূত্র