কেন দুটি ভিন্ন লজিস্টিক লোকসান ফর্মুলেশন / স্বরলিপি রয়েছে?

আমি দুটি ধরণের লজিস্টিক লোকসান ফর্মুলেশন দেখেছি। আমরা সহজে দেখাতে পারেন যে তারা অভিন্ন হয়, শুধু পার্থক্য ট্যাগ সংজ্ঞা । $y$

সূত্র / নোটেশন 1, : $y \in \{0, +1\}$

L (y, β^{T} x) = - y \log (p) - (1 - y) \log (1 - p)

$L(y,\beta^Tx)=-y\log(p)-(1-y)\log(1-p)$

যেখানে যেখানে লজিস্টিক ফাংশনটি একটি বাস্তব সংখ্যা থেকে 0,1 ব্যবধানে ম্যাপ করে । $p=\frac 1 {1+\exp(-\beta^Tx)}$ $\beta^T x$

সূত্র / স্বরলিপি 2, : $y \in \{-1, +1\}$

L (y, β^{T} x) = \log (1 + \exp (- y \cdot β^{T} x))

$L(y,\beta^Tx)=\log(1+\exp{(-y\cdot \beta^Tx}))$

একটি স্বরলিপি নির্বাচন করা ভাষা বেছে নেওয়ার মতো, একে অপরকে ব্যবহার করার পক্ষে মতামত রয়েছে। এই দুটি স্বরলিপি জন্য ভাল এবং কনস কি?

এই প্রশ্নের উত্তর দেওয়ার জন্য আমার প্রচেষ্টাটি হ'ল মনে হচ্ছে পরিসংখ্যান সম্প্রদায়টি প্রথম স্বরলিপিটি পছন্দ করে এবং কম্পিউটার বিজ্ঞান সম্প্রদায় দ্বিতীয় স্বরলিপি পছন্দ করে।

প্রথম স্বরলিপিটি "সম্ভাব্যতা" শব্দটি দিয়ে ব্যাখ্যা করা যেতে পারে, কারণ লজিস্টিক ফাংশনটি একটি আসল সংখ্যা number 0,1 ব্যবধানে রূপান্তর করে । $\beta^Tx$
এবং দ্বিতীয় স্বরলিপিটি আরও সংক্ষিপ্ত এবং কব্জ হ্রাস বা 0-1 ক্ষতির সাথে তুলনা করা আরও সহজ।

আমি কি সঠিক? অন্য কোন অন্তর্দৃষ্টি?

— হাইতাও ডু
সূত্র

আমি নিশ্চিত এটি ইতিমধ্যে একাধিকবার জিজ্ঞাসা করা উচিত। উদাহরণস্বরূপ stats.stackexchange.com/q/145147/5739

— StasK

আপনি কেন বলছেন যে দ্বিতীয় স্বরলিপি কবজ ক্ষতির সাথে তুলনা করা সহজ? এটি defined পরিবর্তে on বা অন্য কিছুর উপরে সংজ্ঞায়িত হয়েছে বলেই ?

{- 1, 1}

$\{-1, 1\}$

{0, 1}

$\{0, 1\}$

— শ্যাডএলকার

আমি প্রথম ফর্মের প্রতিসাম্য পছন্দ করি, তবে লিনিয়ার অংশটি বেশ গভীরভাবে কবর দেওয়া হয়, সুতরাং এটির সাথে কাজ করা শক্ত হতে পারে।

— ম্যাথু ড্র্যারি

@ এসএসডেকট্রোল দয়া করে এই চিত্রটি দেখুন, cs.cmu.edu/~yandongl/loss.html যেখানে x অক্ষ , এবং y অক্ষের লোকসানের মান। এই ধরনের সংজ্ঞা 01 লোকসান, কবজ হ্রাস ইত্যাদির সাথে তুলনা করা সুবিধাজনক

- y \cdot β^{T} x

$-y\cdot \beta^Tx$

— হাইটাও ডু

উত্তর:

সংক্ষিপ্ত সংস্করণ

হাঁ
হাঁ

দীর্ঘ সংস্করণ

গাণিতিক মডেলিংয়ের সুন্দর জিনিসটি এটি নমনীয়। এটি প্রকৃতপক্ষে সমতুল্য ক্ষতির ফাংশন, তবে এগুলি ডেটাগুলির খুব পৃথক অন্তর্নিহিত মডেল থেকে প্রাপ্ত।

1 নং সূত্র

একটি থেকে প্রথম স্বরলিপি আহরিত বের্নুলির সম্ভাব্যতা মডেল জন্য , যা সাধারনত উপর সংজ্ঞায়িত করা হয় । এই মডেলটিতে, ফলাফল / লেবেল / শ্রেণি / পূর্বাভাসটি একটি এলোমেলো ভেরিয়েবল দ্বারা প্রতিনিধিত্ব করা হয় যা একটি বন্টন অনুসরণ করে। তাই এর সম্ভাবনা হ'ল: $y$ $\{0, 1\}$ $Y$ $\mathrm{Bernoulli}(p)$

P (Y = y | p) = L (p; y) = p^{y} (1 - p)^{1 - y} = {\begin{cases} 1 - p & y = 0 \\ p & y = 1 \end{cases}

$P(Y = y\ |\ p) = \mathcal L(p; y) = p^y\ (1-p)^{1-y} = \begin{cases}1-p &y=0 \\ p &y=1 \end{cases}$

জন্য । সূচক মান হিসাবে 0 এবং 1 ব্যবহার করা আমাদের সংক্ষিপ্ত প্রকাশের জন্য ডানদিকে ডান দিকের অংশবিশেষকে হ্রাস করতে দেয়। $p\in[0, 1]$

যেমনটি আপনি উল্লেখ করেছেন, আপনি দিয়ে মেট্রিক্স ইনপুট ডেটা এর সাথে যুক্ত করতে পারেন । এখান থেকে সরল বীজগণিত কারসাজি প্রকাশ করে যে আপনার প্রশ্নের প্রথম এর সমান (ইঙ্গিত: )। সুতরাং লগ-ক্ষয়কে চেয়ে কম করা হচ্ছে $Y$ $x$ $\operatorname{logit} p = \beta^T x$ $\log \mathcal L(p;y)$ $L(y, \beta^Tx)$ $(y - 1) = - (1 - y)$ একটি বের্নুলির মডেল সর্বোচ্চ সম্ভাবনা প্রাক্কলন দেওয়ার সমতুল্য। $\{0, 1\}$

এই সূত্র এছাড়াও একটি বিশেষ ক্ষেত্রে দেখা যায় সাধারণ রৈখিক মডেল , যা প্রণয়ন করা হয় একটি বিপরীত, differentiable ফাংশন জন্য ও ডিস্ট্রিবিউশনের মধ্যে সূচকীয় পরিবার । $Y \sim D(\theta),\ g(Y) = \beta^T x$ $g$ $D$

সূত্র 2

$y$ $\{-1, 1\}$

max ({0, 1 - y β^{T} x}) + λ ‖ β ‖^{2} .

$\max \left(\{0, 1 - y \beta^T x \}\right) + \lambda \|\beta\|^2.$

এটি একটি সীমিত অপটিমাইজেশন সমস্যার ল্যাঙ্গরজিয়ান ফর্ম । এটা এছাড়াও একটি একটি উদাহরণ নিয়মিত উদ্দেশ্য ফাংশন অপ্টিমাইজেশান সমস্যা কিছু ক্ষতি ফাংশন জন্য এবং একটি স্কেলার hyperparameter যে নিয়ন্ত্রণ নিয়মিতকরণ পরিমাণ ("সঙ্কুচিত" নামেও পরিচিত) প্রয়োগ হয় । কবজা ক্ষতির মাত্র এক বিভিন্ন ড্রপ-এ জন্য সম্ভাবনার , যা দ্বিতীয় অন্তর্ভুক্ত আপনার প্রশ্নের হবে।

ℓ (y, β) + λ ‖ β ‖^{2}

$\ell(y, \beta) + \lambda \|\beta\|^2$

ℓ

$\ell$

λ

$\lambda$

β

$\beta$

ℓ

$\ell$

L (y, β^{T} x)

$L(y, \beta^Tx)$

— shadowtalker
সূত্র

সূত্র 1 এ, এটি হওয়া উচিত নয়:

p^{y} (1 - p)^{1 - y 1 - y}

$p^y(1 - p)^{\pmb{1 - y}}$

— glebm

আমার মনে হয় @ এসএসডেকট্রোলের খুব ভাল উত্তর ছিল। আমি কেবল আমার নিজের প্রশ্নের জন্য সূত্র 2 এর জন্য কিছু মন্তব্য যুক্ত করতে চাই।

L (y, \hat{y}) = \log (1 + \exp (- y \cdot \hat{y}))

$L(y,\hat y)=\log(1+\exp{(-y\cdot \hat y}))$

লোকেরা এই সূত্রটি পছন্দ করার কারণ হ'ল এটি অত্যন্ত সংক্ষিপ্ত এবং এটি "সম্ভাবনার ব্যাখ্যার বিশদ" সরিয়ে দেয়।

জটিল স্বরলিপি হ'ল , নোট, একটি বাইনারি পরিবর্তনশীল তবে এখানে একটি আসল সংখ্যা। ফর্মুলেশন 1 এর সাথে তুলনা করে, আমাদের এটিকে পৃথক লেবেল তৈরি করার জন্য আরও দুটি পদক্ষেপের প্রয়োজন, পদক্ষেপ 1. সিগমড ফাংশন পদক্ষেপ 2. 0.5 থ্রেশহোল্ড প্রয়োগ করুন। $\hat y$ $y$ $\hat y$

তবে এই বিবরণগুলি ছাড়াই ভাল হয় আমরা সহজেই এটি অন্য শ্রেণিবিন্যাসের ক্ষতির সাথে তুলনা করতে পারি, যেমন 01 ক্ষতি বা কব্জা ক্ষতি।

L_{01} (y, \hat{y}) = I [y \cdot \hat{y} > 0] L_{hinge} (y, \hat{y}) = (1 - y \cdot \hat{y})_{+} L_{logistic} (y, \hat{y}) = \log (1 + \exp (- y \cdot \hat{y}))

$L_{01}(y,\hat y)=I[y \cdot \hat y >0]\\ L_{\text{hinge}}(y,\hat y)=(1-y \cdot \hat y)_+\\ L_{\text{logistic}}(y,\hat y)=\log(1+\exp(-y \cdot \hat y))$

এখানে আমরা তিনটি ক্ষতির ফাংশন প্লট করব, এক্স অক্ষটি হ'ল এবং এক্স অক্ষ হ'ল মান। দ্রষ্টব্য, উপরের সমস্ত সূত্রে একটি আসল সংখ্যা এবং এই সংখ্যাটি লিনিয়ার ফর্ম বা অন্যান্য ফর্ম থেকে আসতে পারে । এই জাতীয় স্বরলিপি সম্ভাবনার বিবরণ গোপন করে। $y \cdot \hat y$ $\hat y$ $\beta^Tx$

— হাইতাও ডু
সূত্র

আমি দেখতে পাচ্ছি সহজ তুলনা সম্পর্কে আপনি কী বোঝাতে চেয়েছেন

— ছায়াছবির