লজিস্টিক ক্ষতি ফাংশনের জন্য গ্রেডিয়েন্ট

আমি এই সম্পর্কিত একটি প্রশ্ন জিজ্ঞাসা করব ।

আমি এখানে এক্সজিস্টের জন্য কাস্টম লস ফাংশন লেখার একটি উদাহরণ পেয়েছি :

loglossobj <- function(preds, dtrain) {
  # dtrain is the internal format of the training data
  # We extract the labels from the training data
  labels <- getinfo(dtrain, "label")
  # We compute the 1st and 2nd gradient, as grad and hess
  preds <- 1/(1 + exp(-preds))
  grad <- preds - labels
  hess <- preds * (1 - preds)
  # Return the result as a list
  return(list(grad = grad, hess = hess))
}

লজিস্টিক ক্ষতি ফাংশন হয়

l o g (1 + e^{- y P})

$log(1+e^{-yP})$

যেখানে লগ-প্রতিক্রিয়া এবং হল লেবেল (0 বা 1)। $P$ $y$

আমার প্রশ্ন: আমরা কীভাবে সঠিক মান এবং পূর্বাভাসের সম্ভাব্যতার (যেমন লগ-প্রতিক্রিয়া থেকে গণনা করা preds <- 1/(1 + exp(-preds))) পার্থক্যের সমান গ্রেডিয়েন্ট (প্রথম ডেরাইভেটিভ) পেতে পারি ?

— Ogurtsov
সূত্র

এটি অর্জনের জন্য আপনার স্কোয়ার ত্রুটির ক্ষতি ব্যবহার করা উচিত। আপনার স্বরলিপি বিভ্রান্তিকর এবং পোস্টে সংজ্ঞায়িত করা উচিত। যদি পূর্বাভাস ঝুঁকি, তারপর ক্ষতি কি আপনি চান হয়। আমি বিভ্রান্ত কারণ আমরা লগ-প্রতিক্রিয়া বোঝাতে কখনও ব্যবহার করি না ।

p

$p$

(y - p)^{2}

$(y-p)^2$

p

$p$

— অ্যাডমো

p

$p$ মূলধন স্থির করা হয়েছিল । এটি লগ-প্রতিক্রিয়া, এবং এটি প্রশ্নে স্পষ্টভাবে চিহ্নিত করা হয়েছে। আমি ক্ষয় ফাংশন জন্য যে গ্রেডিয়েন্ট জানি হয় , কিন্তু এটা squred ক্ষতি, লজিস্টিক নয়।

P

$P$

(y - f (x))^{2}

$(y-f(x))^2$

f (x) - y

$f(x)-y$

— ওগুরতসভ

আপনি যখন "গ্রেডিয়েন্ট" বলবেন, আপনার গ্রেডিয়েন্ট বলতে কী বোঝায়? ক্ষতির গ্রেডিয়েন্ট? এটি একটি সাধারণ গাণিতিক সম্পর্ক যে কোনও অভিব্যক্তির ব্যয় যদি একটি লিনিয়ার পার্থক্য হয় তবে প্রকাশটি একটি চতুর্ভুজ পার্থক্য বা স্কোয়ার ত্রুটির ক্ষতি।

— অ্যাডমো

হ্যাঁ, এটি সমস্ত ক্ষতির গ্রেডিয়েন্ট সম্পর্কে। এটি সহজ, যখন ক্ষতির ফাংশনটি স্কোয়ার ত্রুটি হয়। এই ক্ষেত্রে ক্ষতি ফাংশন হ'ল লজিস্টিক লস ( en.wikedia.org/wiki/LogitBoost ), এবং আমি এই ফাংশনের গ্রেডিয়েন্ট এবং প্রদত্ত কোড উদাহরণের মধ্যে চিঠিপত্র খুঁজে পাচ্ছি না।

— ওগুরতসভ

আমার প্রশ্নের আমার উত্তর: হ্যাঁ, এটি দেখানো যেতে পারে যে লজিস্টিক ক্ষতির জন্য গ্রেডিয়েন্টটি সত্য মান এবং পূর্বাভাসের সম্ভাবনার মধ্যে পার্থক্যের সমান। সংক্ষিপ্ত ব্যাখ্যা এখানে পাওয়া গেছে ।

প্রথমত, লজিস্টিক ক্ষতি হ'ল নেতিবাচক লগ-সম্ভাবনা, তাই আমরা লগ-সম্ভাবনার জন্য অভিব্যক্তি দিয়ে শুরু করতে পারি ( পৃষ্ঠা 74 - এই অভিব্যক্তিটি লগ-সম্ভাবনা নিজেই, নেতিবাচক লগ-সম্ভাবনা নয়):

L = y_{i} \cdot l o g (p_{i}) + (1 - y_{i}) \cdot l o g (1 - p_{i})

$L=y_{i}\cdot log(p_{i})+(1-y_{i})\cdot log(1-p_{i})$

$p_{i}$ $p_{i}=\frac{1}{1+e^{-\hat{y}_{i}}}$ $\hat{y}_{i}$

L = y_{i} \cdot l o g (\frac{1}{1 + e^{- {\hat{y}}_{i}}}) + (1 - y_{i}) \cdot l o g (\frac{e^{- {\hat{y}}_{i}}}{1 + e^{- {\hat{y}}_{i}}})

$L=y_{i}\cdot log\left(\frac{1}{1+e^{-\hat{y}_{i}}}\right)+(1-y_{i})\cdot log\left(\frac{e^{-\hat{y}_{i}}}{1+e^{-\hat{y}_{i}}}\right)$

ওল্ফ্রাম আলফা ব্যবহার করে প্রাপ্ত প্রথম ডেরাইভেটিভ:

L^{'} = \frac{y_{i} - (1 - y_{i}) \cdot e^{{\hat{y}}_{i}}}{1 + e^{{\hat{y}}_{i}}}

${L}'=\frac{y_{i}-(1-y_{i})\cdot e^{\hat{y}_{i}}}{1+e^{\hat{y}_{i}}}$

$\frac{e^{-\hat{y}_{i}}}{e^{-\hat{y}_{i}}}$

L^{'} = \frac{y_{i} \cdot e^{- {\hat{y}}_{i}} + y_{i} - 1}{1 + e^{- {\hat{y}}_{i}}} = \frac{y_{i} \cdot (1 + e^{- {\hat{y}}_{i}})}{1 + e^{- {\hat{y}}_{i}}} - \frac{1}{1 + e^{- {\hat{y}}_{i}}} = y_{i} - p_{i}

${L}'=\frac{y_{i}\cdot e^{-\hat{y}_{i}}+y_{i}-1}{1+e^{-\hat{y}_{i}}}= \frac{y_{i}\cdot (1+e^{-\hat{y}_{i}})}{1+e^{-\hat{y}_{i}}}-\frac{1}{1+e^{-\hat{y}_{i}}}=y_{i}-p_{i}$

সাইন পরিবর্তন করার পরে আমাদের লজিস্টিক লস ফাংশনের গ্রেডিয়েন্টের জন্য এক্সপ্রেশন রয়েছে:

p_{i} - y_{i}

$p_{i}-y_{i}$

— Ogurtsov
সূত্র

\hat{y}

$\hat{y}$

y

$y$

ν

$\nu$

\frac{1}{p_{i} (1 - p_{i})} (y_{i} - p_{i})

$\frac{1}{p_i(1-p_i)}(y_i - p_i)$