বহু বহুবিধ লজিস্টিক লস বনাম (ক্রস এন্ট্রপি বনাম স্কোয়ার ত্রুটি)

আমি লক্ষ্য করেছি যে ক্যাফে (একটি গভীর শিক্ষার কাঠামো) বেশিরভাগ মডেলের নমুনাগুলির জন্য আউটপুট স্তর হিসাবে সফটম্যাক্স লস লেয়ার ব্যবহার করে ।SoftmaxWithLoss

যতদূর আমি জানি, সফটম্যাক্স লস স্তরটি বহু বহুবিধ লজিস্টিক লস লেয়ার এবং সফটম্যাক্স লেয়ারের সংমিশ্রণ ।

ক্যাফে থেকে, তারা বলেছে যে

সফটম্যাক্স লস লেয়ার গ্রেডিয়েন্ট গণনা আরও সংখ্যাসূচক স্থিতিশীল

যাইহোক, এই ব্যাখ্যাটি আমি যে উত্তরটি চাই তা নয়, ব্যাখ্যাটি কেবলমাত্র স্তরের পরিবর্তে মাল্টিনোমিয়াল লজিস্টিক লস লেয়ার এবং সফটম্যাক্স লস স্তরটির সংমিশ্রণের তুলনা করে । তবে অন্য ধরণের ক্ষতির ফাংশনের সাথে তুলনা করবেন না।

তবে আমি আরও জানতে চাই যে তত্ত্বাবধানে শেখার দৃষ্টিভঙ্গিতে মাল্টিনোমিয়াল লজিস্টিক লস , ক্রস এন্ট্রপি (সিই) এবং স্কয়ার ত্রুটি (এসই) এই 3 ত্রুটি ফাংশনের পার্থক্য / সুবিধা / অসুবিধাগুলি কী? কোন সহায়ক নিবন্ধ?

— karfai
সূত্র

কেবল একটি ইঙ্গিত: আমার ধারণা আপনি যদি আপনার প্রশ্নের সাথে "ক্যাফে" ট্যাগ যুক্ত করেন তবে আপনি একটি দ্রুত উত্তর পেয়ে যাবেন। এছাড়াও স্ট্যাকএক্সচেঞ্জের পরিবর্তে স্ট্যাকওভারফ্লোতে পোস্ট করা এটি আরও মনোযোগ দিতে পারে)।

— এমসি এক্সচেঞ্জ

সংমিশ্রণটি গ্রেডিয়েন্টকে গণনা করা সহজ করে তোলে, ঠিক y-t। willamette.edu/~gorr/class/cs449/classify.html

— উ

উত্তর:

আমার মতে লোকসান ফাংশন হ'ল উদ্দেশ্যমূলক ফাংশন যা আমরা চাই আমাদের নিউরাল নেটওয়ার্কগুলি এটি অনুসারে এর ওজনকে অনুকূল করতে পারে। অতএব, এটি কার্য-নির্দিষ্ট এবং একরকম অভিজ্ঞতাগতও। কেবল স্পষ্ট করে বলতে গেলে , বহুজাতিক লজিস্টিক লস এবং ক্রস এন্ট্রপি ক্ষতি একই (দয়া করে http://ufldl.stanford.edu/wiki/index.php/Softmax_Regression দেখুন )। মাল্টিনোমিয়াল লজিস্টিক লসের ব্যয় ফাংশনটি এর মতো $J(\theta) = -\frac{1}{m} \left[ \sum_{i=1}^m y^{(i)} \log h_\theta(x^{(i)}) + (1-y^{(i)}) \log (1-h_\theta(x^{(i)})) \right].$

এটি সাধারণত শ্রেণিবদ্ধকরণ সমস্যার জন্য ব্যবহৃত হয়। স্কয়ার ত্রুটি মত সমীকরণ হয়েছে $\frac 1 {2N} \sum_{i=1}^N \| x^1_i - x^2_i \|_2^2.$

অতএব, এটি নির্মাণের কিছু ত্রুটি ব্যবহার করে সাধারণত হ্রাস করতে ব্যবহৃত হয়।

সম্পাদনা করুন: @ মার্টিনথোমা বহু-জাতীয় রসদ হ্রাসের উপরের সূত্রটি কেবল বাইনারি ক্ষেত্রে, সাধারণ ক্ষেত্রে, এটি হওয়া উচিত $J(\theta) = -\left[ \sum_{i=1}^{m} \sum_{k=1}^{K} 1\left\{y^{(i)} = k\right\} \log P(y^{(i)} = k | x^{(i)} ; \theta) \right]$ , যেখানে কে বিভাগের সংখ্যা।

— beahacker
সূত্র

Caffe সালে MultinomialLogisticLoss হয়

\frac{- 1}{N} \sum_{n = 1}^{N} \log (p_{n, l_{n}})

$\frac{-1}{N}\sum_{n=1}^{N}\log(p_{n,l_n})$ , তাহলে এখানে কে ভুল?

— moi

ভুল নয়,

y^{i}

$y^i$ বাইনারি ভেরিয়েবল হয়, শেষ পর্যন্ত, এটি আপনার গঠনের মধ্যে হ্রাস করা যেতে পারে।

— বিহ্যাকার

আমি ভেবেছিলাম মাল্টিনমেল লজিস্টিক ক্ষতি দ্বিতীয় সমষ্টি ছাড়াই ছিল, তাই

J (θ) = - \frac{1}{m} [\sum_{i = 1}^{m} y^{(i)} \log h_{θ} (x^{(i)})]

$J(\theta) = - \frac{1}{m} [\sum_{i=1}^m y^{(i)} \log h_\theta(x^{(i)})]$

— মার্টিন থোমা 26'16

@ মার্টিনথোমা আমার সূত্রটি কেবল বাইনারি কেসের জন্য, সাধারণ ক্ষেত্রে এটি হওয়া উচিত

J (θ) = - [\sum_{i = 1}^{m} \sum_{k = 1}^{K} 1 {y^{(i)} = k} \log P (y^{(i)} = k | x^{(i)}; θ)]

$J(\theta) = -\left[ \sum_{i=1}^{m} \sum_{k=1}^{K} 1\left\{y^{(i)} = k\right\} \log P(y^{(i)} = k | x^{(i)} ; \theta) \right]$

— বিহ্যাকার

@ বিহাকার আপনি মার্টিন থোমার নির্দেশ অনুসারে মাল্টিনোমিনাল মামলায় দ্বিতীয় সমান কেন অন্তর্ভুক্ত করা হয়নি তা দয়া করে আমাকে বলতে পারেন? আমি কেন চেষ্টা করে দেখছি যে এটি কেন এমন হয়। অন্ততপক্ষে আপনি আমাকে অনুসন্ধান করতে কিছু সংস্থানতে নির্দেশ করতে পারেন।

— নন্দীশ

আমি আরও জানতে চাই যে এই 3 ত্রুটি ফাংশনের পার্থক্য / সুবিধাগুলি / অসুবিধাগুলি যা তত্ত্বাবধানে শেখার দৃষ্টিভঙ্গিতে মাল্টিনোমিয়াল লজিস্টিক লস, ক্রস এন্ট্রপি (সিই) এবং স্কয়ার ত্রুটি (এসই)?

বহু-জাতীয় লজিস্টিক ক্ষতি কার্যত ক্রস এনট্রপি হিসাবে একই। এই ফাংশনটি দেখুন ( সফটম্যাক্সের ব্যয় ফাংশন ):

J (θ) = - \sum_{i = 1}^{m} \sum_{k = 1}^{K} 1 {y^{(i)} = k} \log p (y^{(i)} = k ∣ x^{(i)}; θ)

$J( \theta ) = - \sum^m_{i=1} \sum^K_{k=1} 1 \{ y^{(i)} = k \} \log p(y^{(i)} = k \mid x^{(i)} ; \theta)$ যেখানে মি হ'ল নমুনা সংখ্যাটি, কে শ্রেণিবদ্ধ নম্বর।

সূচক ফাংশন ( $1 \{ y^{(i)} = k \}$ ) নির্ধারণ করে যে $p(x)$ বেলো ক্রস এনট্রপি সংজ্ঞাতে 0 বা 1 , যা প্রশিক্ষণের ডেটাতে একটি গরম হিসাবে চিহ্নিত করা হয় এবং $p(y^{(i)} = k \mid x^{(i)} ; \theta)$ হ'ল সফটম্যাক্সের শর্তযুক্ত সম্ভাবনা (কিউ (এক্স) বেলো হিসাবে দেখানো হয়েছে)।

- \sum_{x} p (x) \log q (x)

$-\sum_x p(x) \log q(x)$

এবং এমএসই মূলত সেই পরিস্থিতিতে যেখানে লিঙ্ক ফাংশনটি হ'ল unityক্য ফাংশন (প্রতিক্রিয়া বিতরণটি একটি সাধারণ বিতরণ অনুসরণ করে), আদর্শ লিনিয়ার রিগ্রেশন, যখন ক্রস এনট্রপি সাধারণত লিংক ফাংশন যেখানে লিংক ফাংশন সেটির জন্য। আপনি উল্লেখ করতে পারেন এখানে দুর্দান্ত একটি তুলনা করা হয়।

কোন সহায়ক নিবন্ধ?

লিঙ্কগুলির মধ্যে ব্যতীত, আপনাকে এই চিত্রিত চিত্রটির প্রস্তাব দিন: https://github.com/rasbt/python-machine-learning-book/blob/master/faq/softmax_regression.md

— লারনার ঝাং
সূত্র

এমএসই একটি (বাইনারি) শ্রেণিবদ্ধের জন্য প্রয়োগ করা হয় তাকে বারিয়োর স্কোর বলে।

— ডেভ

সংক্ষিপ্ত উত্তর অন্যান্য উত্তর অনুসারে বহু বহুবিধ লজিস্টিক ক্ষতি এবং ক্রস এন্ট্রপি ক্ষতি একই are

ক্রস এন্ট্রপি ক্ষতি এনএন এর জন্য সিগময়েডস অ্যাক্টিভেশন ফাংশন যার সাথে নির্ভরতা দূর করতে কৃত্রিমভাবে চালু করা হয়েছে একটি বিকল্প ব্যয় ফাংশন $\sigma'$ আপডেট সমীকরণের উপর। কিছু সময় এই শব্দটি শেখার প্রক্রিয়াটি ধীর করে দেয়। বিকল্প পদ্ধতিগুলি ব্যয় ক্রিয়াকে নিয়মিত করা হয়।

এই ধরণের নেটওয়ার্কগুলিতে আউটপুট হিসাবে একের সম্ভাবনা থাকতে পারে তবে বহুজাতিক নেটওয়ার্কের সিগময়েডগুলির সাথে এটি হয় না। সফটম্যাক্স ফাংশন আউটপুটগুলিকে স্বাভাবিক করে তোলে এবং তাদের সীমার মধ্যে জোর করে $[0,1]$ । এটি এমএনআইএসটি শ্রেণিবদ্ধকরণে উদাহরণস্বরূপ কার্যকর হতে পারে।

কিছু অন্তর্দৃষ্টি সহ দীর্ঘ উত্তর

উত্তরটি বেশ দীর্ঘ তবে আমি সংক্ষেপে জানার চেষ্টা করব।

ব্যবহৃত প্রথম আধুনিক কৃত্রিম নিউরনগুলি হ'ল সিগময়েডগুলি যার ফাংশন:

σ (x) = \frac{1}{1 + e^{- x}}

$\sigma(x) = \frac{1}{1+e^{-x}}$ যার নিম্নলিখিত আকার রয়েছে:

কার্ভটি দুর্দান্ত কারণ এটি আউটপুট সীমার মধ্যে রয়েছে বলে গ্যারান্টি দেয় $[0,1]$ ।

ব্যয় ফাংশনের পছন্দ সম্পর্কে, একটি প্রাকৃতিক পছন্দ হ'ল চতুষ্কোণ ব্যয়ের ক্রিয়াকলাপ, যার ডেরাইভেটিভ উপস্থিত থাকার গ্যারান্টিযুক্ত এবং আমরা জানি এটির একটি সর্বনিম্ন রয়েছে।

চতুর্ভুজ ব্যয় ফাংশন সহ প্রশিক্ষিত সিগময়েড সহ একটি এনএন এখন বিবেচনা করুন $L$ স্তর।

আমরা ইনপুটগুলির সেটের জন্য আউটপুট স্তরের স্কোয়ার ত্রুটির যোগফল হিসাবে ব্যয় কার্যটি সংজ্ঞায়িত করি $X$ :

C = \frac{1}{2 N} \sum_{x}^{N} \sum_{j = 1}^{K} (y_{j} (x) - a_{j}^{L} (x))^{2}

$C = \frac{1}{2N}\sum_x^N\sum_{j=1}^K (y_j(x) - a_j^L(x))^2$

কোথায় $a_j^L$ আউটপুট স্তরের জে-থিউ নিউরন $L$ , $y_j$ পছন্দসই আউটপুট এবং $N$ প্রশিক্ষণের উদাহরণ সংখ্যা।

সরলতার জন্য আসুন একক ইনপুটটির জন্য ত্রুটিটি বিবেচনা করি:

C = \sum_{j = 1}^{K} (y_{j} (x) - a_{j}^{L} (x))^{2}

$C = \sum_{j=1}^K (y_j(x) - a_j^L(x))^2$

এখন এর জন্য একটি অ্যাক্টিভেশন আউটপুট $j$ ইন নিউরন $\ell$ স্তর, $a_j^\ell$ হল:

a_{j}^{ℓ} = \sum_{k} w_{j k}^{ℓ} \cdot a_{j}^{ℓ - 1} + b_{j}^{ℓ} = w_{j}^{ℓ} \cdot a_{j}^{ℓ - 1} + b_{j}^{ℓ}

$a_j^\ell = \sum_k w_{jk}^\ell \cdot a_j^{\ell-1}+b_j^\ell = \mathbf{w}_{j}^\ell \cdot \mathbf{a}_j^{\ell-1}+b_j^\ell$

বেশিরভাগ সময় (সর্বদা না থাকলে) এনএন গ্রেডিয়েন্ট বংশোদ্ভূত কৌশলগুলির সাথে প্রশিক্ষিত হয়, যা মূলত ওজনগুলি আপডেট করার অন্তর্ভুক্ত $w$ এবং পক্ষপাত $b$ কমানোর দিকের দিকে ছোট ছোট পদক্ষেপ দ্বারা। লক্ষ্যটি হ'ল ব্যয় কার্যকারিতা হ্রাস করার দিকের দিকে ওজন এবং বায়াসগুলিতে একটি সামান্য পরিবর্তন প্রয়োগ করা।

ছোট পদক্ষেপের জন্য নিম্নলিখিতগুলি ধারণ করে:

Δ C \approx \frac{\partial C}{\partial v_{i}} Δ v_{i}

$\Delta C \approx \frac{\partial C}{\partial v_i}\Delta v_i$

আমাদের $v_i$ ওজন এবং বায়াস। এটি একটি ব্যয় ফাংশন হওয়ায় আমরা হ্রাস করতে চাই, অর্থাত্ যথাযথ মানটি সন্ধান করতে $\Delta v_i$ । ধরুন আমরা বেছে নিই

Δ v_{i} = - η \frac{\partial C}{\partial v_{i}}

$\Delta v_i = -\eta \frac{\partial C}{\partial v_i}$ তারপরে:

Δ C \approx - η (\frac{\partial C}{\partial v_{i}})

$\Delta C \approx -\eta \left(\frac{\partial C}{\partial v_i}\right)$

যার অর্থ পরিবর্তন $\Delta v_i$ পরামিতি দ্বারা ব্যয় কার্য কমে দ্বারা $\Delta C$ ।

বিবেচনা করুন $j$ - আউটপুট নিউরন:

C = \frac{1}{2} (y (x) - a_{j}^{L} (x)^{2}

$C = \frac{1}{2}(y(x)-a_j^L(x)^2$

a_{j}^{L} = σ = \frac{1}{1 + e^{- (w_{j}^{ℓ} \cdot a_{j}^{ℓ - 1} + b_{j}^{ℓ})}}

$a_j^L =\sigma = \frac{1}{ 1+e^{ -(\mathbf{w}_j^\ell \cdot \mathbf{a}_j^{\ell-1}+b_j^\ell)}}$

মনে করুন আমরা ওজন আপডেট করতে চাই $w_{jk}^\ell$ যা নিউরন থেকে ওজন $k$ মধ্যে $\ell-1$ স্তর স্তর $j$ -আল স্তর মধ্যে নিউরন। তারপর আমাদের আছে:

w_{j k}^{ℓ} \Rightarrow w_{j k}^{ℓ} - η \frac{\partial C}{\partial w_{j k}^{ℓ}}

$w_{jk}^\ell \Rightarrow w_{jk}^\ell -\eta \frac{\partial C}{\partial w_{jk}^\ell}$

b_{j}^{ℓ} \Rightarrow b_{j}^{ℓ} - η \frac{\partial C}{\partial b_{j}^{ℓ}}

$b_{j}^\ell \Rightarrow b_{j}^\ell -\eta \frac{\partial C}{\partial b_{j}^\ell}$

চেইন বিধি ব্যবহার করে ডেরিভেটিভগুলি গ্রহণ:

\frac{\partial সি}{\partial W_{ঞ ট}^{ℓ}} = ({একটি}_{ঞ}^{এল} (এক্স) - Y (এক্স)) σ^{'} {একটি}_{ট}^{ℓ - 1}

$\frac{\partial C}{\partial w_{jk}^\ell} = \left(a_j^L(x)-y(x)\right) \sigma' a_k^{\ell-1}$

\frac{\partial সি}{\partial খ_{ঞ}^{ℓ}} = ({একটি}_{ঞ}^{এল} (এক্স) - Y (এক্স)) σ^{'}

$\frac{\partial C}{\partial b_{j}^\ell} = \left(a_j^L(x)-y(x)\right) \sigma'$

আপনি সিগময়েডের ডেরাইভেটিভের উপর নির্ভরতা দেখতে পাচ্ছেন (প্রথমটিতে রিটার্ট হয় $w$ দ্বিতীয় কব্জিতে $b$ প্রকৃতপক্ষে, তবে উভয়ই এক্সপোশনার হওয়ায় এটি খুব বেশি পরিবর্তন হয় না।

এখন জেনেরিক একক ভেরিয়েবল সিগময়েডের জন্য ডেরাইভেটিভ $z$ হল:

\frac{ঘ σ (z- র)}{ঘ z- র} = σ (z- র) (1 - σ (z- র))

$\frac{d \sigma(z)}{d z} = \sigma(z)(1-\sigma(z))$

এখন একটি একক আউটপুট নিউরন বিবেচনা করুন এবং মনে করুন যে নিউরনের আউটপুট হওয়া উচিত $0$ পরিবর্তে এটি কাছাকাছি একটি মান আউটপুট হয় $1$ : আপনি গ্রাফ থেকে উভয়ই দেখতে পাবেন যা সিগময়েডের মানগুলির নিকটে রয়েছে $1$ সমতল, যেমন এর ডেরাইভেটিভ কাছাকাছি $0$ , অর্থাত্ প্যারামিটারের আপডেটগুলি খুব ধীর হয় (যেহেতু আপডেটের সমীকরণগুলি নির্ভর করে $\sigma'$ ।

ক্রস-এনট্রপি ফাংশন প্রেরণা

ক্রস-এনট্রপিটি কীভাবে মূলত উদ্ভূত হয়েছে তা দেখতে, ধরুন যে কেউ এই শব্দটি সন্ধান করেছেন $\sigma'$ শেখার প্রক্রিয়াটি ধীর করে দিচ্ছে। আমরা ভাবতে পারি যে এই শব্দটি তৈরির জন্য কোনও ব্যয় ফাংশন চয়ন করা সম্ভব কিনা $\sigma'$ উধাও হয়ে যায়। মূলত কেউ চাইবে:

\begin{aligned} \frac{\partial সি}{\partial W} & = এক্স (একটি - Y) \\ \frac{\partial সি}{\partial খ} = (একটি - Y) \end{aligned}

$\begin{equation} \begin{aligned} \frac{\partial C}{\partial w} & =x \left( a - y\right)\\ \frac{\partial C}{\partial b} =\left( a - y\right) \end{aligned} \end{equation}$ আমাদের চেইন-রুল থেকে:

\frac{\partial সি}{\partial খ} = \frac{\partial সি}{\partial একটি} \frac{\partial একটি}{\partial খ} = \frac{\partial সি}{\partial একটি} σ^{'} (z- র) = \frac{\partial সি}{\partial একটি} σ (1 - σ)

$\begin{equation} \frac{\partial C}{\partial b} =\frac{\partial C}{\partial a} \frac{\partial a}{\partial b } =\frac{\partial C}{\partial a}\sigma'(z) = \frac{\partial C}{\partial a} \sigma(1-\sigma) \end{equation}$ চেইন রুলের একটির সাথে কাঙ্ক্ষিত সমীকরণের তুলনা করলে একটি পাওয়া যায়

\frac{\partial সি}{\partial একটি} = \frac{একটি - Y}{একটি (1 - একটি)}

$\begin{equation} \frac{\partial C}{\partial a} = \frac{a-y}{a(1-a)} \end{equation}$ কভার আপ পদ্ধতি ব্যবহার করে:

\frac{\partial সি}{\partial একটি} = - [Y Ln একটি + + (1 - Y) Ln (1 - একটি)] + + গ ণ এন গুলি টি

$\begin{equation} \frac{\partial C}{\partial a} = -\left[ y\ln a + (1-y)\ln(1-a)\right]+const \end{equation}$ সম্পূর্ণ ব্যয় ক্রিয়াকলাপটি পেতে, আমাদের অবশ্যই সমস্ত প্রশিক্ষণের নমুনাগুলির চেয়ে বেশি গড় করতে হবে

\frac{\partial সি}{\partial একটি} = - \frac{1}{এন} \underset{এক্স}{Σ} [Y Ln একটি + + (1 - Y) Ln (1 - একটি)] + + গ ণ এন গুলি টি

$\begin{equation} \frac{\partial C}{\partial a} = -\frac{1}{n}\sum_x\left[y\ln a + (1-y)\ln(1-a)\right]+const \end{equation}$ যেখানে এখানে ধ্রুবক প্রতিটি প্রশিক্ষণের উদাহরণের জন্য পৃথক ধ্রুবকের গড় is

তথ্য তত্ত্বের ক্ষেত্র থেকে আগত ক্রস-এনট্রপির ব্যাখ্যা করার একটি স্ট্যান্ডার্ড উপায় রয়েছে। মোটামুটিভাবে বলতে গেলে, ধারণাটি হ'ল ক্রস-এনট্রপি একটি বিস্ময়ের পরিমাপ। আউটপুট যদি আমরা কম চমক পেতে $a$ আমরা কি আশা করি ( $y$ ), এবং আউটপুটটি অপ্রত্যাশিত হলে উচ্চ আশ্চর্য।

Softmax

বাইনারি শ্রেণিবদ্ধকরণের জন্য ক্রস-এনট্রপি তথ্য তত্ত্বের সংজ্ঞাটির সাথে সাদৃশ্যপূর্ণ এবং মানগুলি এখনও সম্ভাবনার হিসাবে ব্যাখ্যা করা যায়।

বহুজাতিক শ্রেণিবদ্ধকরণের সাথে এটি আর সত্য হয় না: আউটপুটগুলি নোট পর্যন্ত যোগ করে $1$ ।

আপনি যদি তাদের চান যোগ করতে চান $1$ আপনি সফটম্যাক্স ফাংশনটি ব্যবহার করেন যা আউটপুটগুলিকে স্বাভাবিক করে তোলে যাতে যোগফল হয় $1$ ।

এছাড়াও যদি আউটপুট স্তরটি সফটম্যাক্স ফাংশনগুলি নিয়ে গঠিত হয় তবে ধীরগতির শব্দটি উপস্থিত নেই। আপনি যদি সফটম্যাক্স আউটপুট স্তরের সাথে লগ-সম্ভাবনা ব্যয় ফাংশন ব্যবহার করেন, ফলস্বরূপ আপনি আংশিক ডেরিভেটিভসের একটি ফর্ম পাবেন এবং সিগময়েড নিউরনের সাথে ক্রস-এনট্রপি ফাংশনের জন্য পাওয়া আপডেটের সমীকরণগুলির পরিবর্তে update

যাহোক

— ফ্রান্সেসকো বোই
সূত্র