অ্যাপ্লিকেশনগুলির পাশাপাশি স্নায়বিক নেটওয়ার্কগুলিতে ব্যবহৃত ব্যয় ফাংশনের একটি তালিকা

133

নিউরাল নেটওয়ার্কগুলির কার্যকারিতা মূল্যায়নে সাধারণ ব্যয়ের কাজগুলি কী কী?

বিস্তারিত

(এই প্রশ্নটির বাকি অংশটি নির্দ্বিধায় নির্দ্বিধায় মনে করুন, এখানে আমার উদ্দেশ্যটি কেবল সাধারণভাবে পাঠকের কাছে আরও বোধগম্য হতে পারে এমন উত্তরগুলিতে উত্তরগুলি ব্যবহার করতে পারে এমন স্বরলিপি সম্পর্কে স্পষ্টতা প্রদান করা)

আমি মনে করি যে তারা ব্যবহারে ব্যবহার করা হয়েছে এমন কয়েকটি উপায়ের পাশাপাশি সাধারণ ব্যয় ক্রিয়াকলাপগুলির একটি তালিকা থাকা কার্যকর হবে। সুতরাং অন্যরা যদি এতে আগ্রহী হয় তবে আমি মনে করি কোনও সম্প্রদায়ের উইকি সম্ভবত সেরা পন্থা, বা বিষয়টিকে বন্ধ রেখে আমরা এটিকে নামিয়ে আনতে পারি।

স্বরলিপি

সুতরাং শুরু করার জন্য, আমি একটি স্বরলিপিটি সংজ্ঞায়িত করতে চাই যা আমরা সবাই এগুলি বর্ণনা করার সময় ব্যবহার করি, সুতরাং উত্তরগুলি একে অপরের সাথে পুরোপুরি ফিট হয়।

এই স্বরলিপিটি নীলসেনের বই থেকে এসেছে ।

একটি ফিডফর্ডার নিউরাল নেটওয়ার্ক হ'ল নিউরনের অনেক স্তর এক সাথে সংযুক্ত। তারপরে এটি একটি ইনপুট নেয়, সেই ইনপুটটি নেটওয়ার্কের মাধ্যমে "ট্রিকলস" করে এবং তার পরে নিউরাল নেটওয়ার্ক একটি আউটপুট ভেক্টরকে ফেরত দেয়।

আরো আনুষ্ঠানিকভাবে, কল $a^i_j$ সক্রিয়তার (ওরফে আউটপুট) মধ্যে স্নায়ুর স্তর, যেখানে হয় ইনপুট ভেক্টর মধ্যে উপাদান। $j^{th}$ $i^{th}$ $a^1_j$ $j^{th}$

তারপরে আমরা পরবর্তী স্তরের ইনপুটটিকে নীচের সম্পর্কের মাধ্যমে পূর্বের সাথে সম্পর্কিত করতে পারি:

$a^i_j = \sigma(\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j)$

কোথায়

$\sigma$ হ'ল অ্যাক্টিভেশন ফাংশন,

$w^i_{jk}$ থেকে ওজন মধ্যে স্নায়ুর স্তর মধ্যে স্নায়ুর স্তর, $k^{th}$ $(i-1)^{th}$ $j^{th}$ $i^{th}$

$b^i_j$ হ'ল স্তরের নিউরনের পক্ষপাত , এবং $j^{th}$ $i^{th}$

$a^i_j$ এ নিউরনের সক্রিয়করণের মান উপস্থাপন করে $j^{th}$ $i^th$ স্তরটিতে ।

কখনও কখনও আমরা লিখি উপস্থাপন করতে , অন্য কথায়, অ্যাক্টিভেশন ফাংশন প্রয়োগ করার আগে একটি নিউরনের সক্রিয়করণের মান । $z^i_j$ $\sum\limits_k (w^i_{jk} \cdot a^{i-1}_k) + b^i_j$

এখানে চিত্র বর্ণনা লিখুন

আরও সংক্ষিপ্ত স্বরলিপি জন্য আমরা লিখতে পারেন

$a^i = \sigma(w^i \times a^{i-1} + b^i)$

input কিছু ইনপুট জন্য একটি ফিডফোর্ড নেটওয়ার্কের আউটপুট গণনা করতে এই সূত্রটি ব্যবহার করতে , set সেট করুন , তারপরে , , ..., গণনা করুন , যেখানে মি স্তরগুলির সংখ্যা। $I \in \mathbb{R}^n$ $a^1 = I$ $a^2$ $a^3$ $a^m$

ভূমিকা

একটি ব্যয় ফাংশন হল "কতটা ভাল" একটি পরিমাপ যা একটি নিউরাল নেটওয়ার্ক এটির প্রশিক্ষণের নমুনা এবং প্রত্যাশিত আউটপুটকে সম্মান করে did এটি ওজন এবং বায়াসের মতো ভেরিয়েবলগুলির উপরও নির্ভর করে।

একটি ব্যয় ফাংশন একটি ভেল্ট নয়, একটি একক মান, কারণ এটি নির্ধারণ করে যে নিউরাল নেটওয়ার্ক সামগ্রিকভাবে কতটা ভাল করেছে।

বিশেষত, একটি ব্যয় ফাংশন ফর্ম হয়

C (W, B, S^{r}, E^{r})

$C(W, B, S^r, E^r)$

যেখানে আমাদের নিউরাল নেটওয়ার্কের ওজন, আমাদের নিউরাল নেটওয়ার্কের বায়াস, হ'ল একক প্রশিক্ষণ নমুনার ইনপুট, এবং সেই প্রশিক্ষণের নমুনার পছন্দসই আউটপুট। উল্লেখ্য এই ফাংশন এছাড়াও সম্ভাব্য উপর নির্ভরশীল হতে পারে এবং কোন স্নায়ুর জন্য স্তরে , কারণ যারা মান উপর নির্ভরশীল , , আর । $W$ $B$ $S^r$ $E^r$ $y^i_j$ $z^i_j$ $j$ $i$ $W$ $B$ $S^r$

ব্যাকপ্রসারণে, ব্যয় ফাংশনটি আমাদের আউটপুট স্তর, মাধ্যমে ত্রুটি গণনা করতে ব্যবহৃত হয় $\delta^L$

δ_{j}^{L} = \frac{\partial C}{\partial a_{j}^{L}} σ^{'} (z_{j}^{i})

$\delta^L_j = \frac{\partial C}{\partial a^L_j} \sigma^{ \prime}(z^i_j)$ ।

যা দিয়ে ভেক্টর হিসাবেও লেখা যেতে পারে

δ^{L} = \nabla_{a} C ⊙ σ^{'} (z^{i})

$\delta^L = \nabla_a C \odot \sigma^{ \prime}(z^i)$ ।

আমরা দ্বিতীয় সমীকরণের ক্ষেত্রে ব্যয় ফাংশনের গ্রেডিয়েন্ট সরবরাহ করব, তবে যদি কেউ এই ফলাফলগুলি নিজেরাই প্রমাণ করতে চায় তবে প্রথম সমীকরণটি ব্যবহার করার পরামর্শ দেওয়া হচ্ছে কারণ এটির সাথে কাজ করা সহজ।

ব্যয় ফাংশন প্রয়োজনীয়তা

ব্যাকপ্রেগেশন ব্যবহার করতে, একটি ব্যয় ফাংশন অবশ্যই দুটি বৈশিষ্ট্য সন্তুষ্ট করতে হবে:

1: ব্যয় ফাংশন অবশ্যই গড় হিসাবে লিখতে সক্ষম হবে $C$

C = \frac{1}{n} \sum_{x} C_{x}

$C=\frac{1}{n} \sum\limits_x C_x$

পৃথক প্রশিক্ষণের উদাহরণগুলির জন্য ওভার ব্যয় ফাংশন , । $C_x$ $x$

এটি তাই আমাদের একক প্রশিক্ষণের উদাহরণের জন্য গ্রেডিয়েন্ট (ওজন এবং বায়াসের প্রতি সম্মানের সাথে) গণনা করতে এবং গ্রেডিয়েন্ট বংশোদ্ভূত চালানোর অনুমতি দেয়।

2: ব্যয় ফাংশন আউটপুট মান পাশাপাশি কোনও নিউরাল নেটওয়ার্কের কোনও সক্রিয়করণ মানের উপর নির্ভরশীল নয় । $C$ $a^L$

প্রযুক্তিগতভাবে একটি ব্যয় ফাংশন যে বা উপর নির্ভর করতে পারে । আমরা কেবল এই বিধিনিষেধটি তৈরি করি যাতে আমরা ব্যাকপ্রপাগেট করতে পারি, কারণ শেষ স্তরের গ্রেডিয়েন্টটি সন্ধান করার সমীকরণটি কেবলমাত্র ব্যয় ফাংশনের উপর নির্ভরশীল (বাকিগুলি পরবর্তী স্তরটির উপর নির্ভরশীল)। যদি ব্যয় ফাংশন আউটপুট একের পাশাপাশি অন্যান্য অ্যাক্টিভেশন স্তরগুলির উপর নির্ভর করে, ব্যাকপ্রপ্যাজেশন অবৈধ হবে কারণ "পিছনে পিছনে ট্রলিং করা" ধারণাটি আর কাজ করে না। $a^i_j$ $z^i_j$

এছাড়াও, অ্যাক্টিভেশন ফাংশনগুলির সমস্ত জন্য আউটপুট । সুতরাং এই ব্যয় ক্রিয়াকলাপগুলি কেবলমাত্র এই ব্যাপ্তির মধ্যেই সংজ্ঞায়িত করা দরকার (উদাহরণস্বরূপ, valid বৈধ, যেহেতু আমরা )। $0\leq a^L_j \leq 1$ $j$ $\sqrt{a^L_j}$ $a^L_j \geq 0$

machine-learning neural-networks

— Phylliida
সূত্র

এটি একটি প্রশ্নোত্তর সাইট এবং এই পোস্টের ফর্ম্যাটটি সত্যিই এটি খাপ খায় না। আপনার সম্ভবত বেশিরভাগ সামগ্রীর উত্তরে একটি উত্তর দেওয়া উচিত এবং কেবলমাত্র প্রশ্নটি ছেড়ে দেওয়া উচিত (যেমন এনএনএসে ব্যবহৃত ব্যয়গুলির তালিকাগুলি কী?)।

— রজার ফ্যান

ঠিক আছে, এটা কি ভাল? আমি মনে করি সংজ্ঞাগুলি গুরুত্বপূর্ণ, অন্যথায় উত্তরগুলি সেগুলির পক্ষে অস্পষ্ট হয়ে যায় যা লেখক যে পরিভাষা ব্যবহার করেন তার সাথে পরিচিত নয়।

— ফিলিইদা

তবে যদি কোনও আলাদা উত্তর বিভিন্ন স্বরলিপি বা পরিভাষা ব্যবহার করে?

— রজার ফ্যান

ধারণাটি হ'ল প্রত্যেকে এখানে একই পরিভাষা ব্যবহার করে এবং এটি যদি আলাদা হয় তবে আমরা এটিকে রূপান্তর করি, সুতরাং উত্তরগুলি একে অপরের সাথে "ফিট" হয়। তবে আমি মনে করি আপনি যদি এটি সহায়ক বলে মনে করেন না তবে আমি সেই টুকরোটি সরিয়ে ফেলতে পারি।

— ফিলিইদা

আমি কেবলমাত্র মনে করি যে প্রশ্নটিতে প্রশ্নটি প্রবেশ করা হয়েছে তা সত্যিই প্রয়োজনীয় বা প্রাসঙ্গিক নয়। এটি কিছুটা অতিরিক্ত এবং সীমিত মনে হচ্ছে, তবে এটি কেবল আমার।

— রজার ফ্যান

উত্তর:

আমি এখন পর্যন্ত যাঁরা বুঝতে পেরেছি তারা এখানে। 0 এবং 1 এর মধ্যে মান দেওয়া হলে এর বেশিরভাগই সেরা কাজ করে।

চতুর্ভুজ ব্যয়

গড় স্কোয়ার ত্রুটি , সর্বাধিক সম্ভাবনা এবং যোগফলের স্কোয়ার ত্রুটি হিসাবেও পরিচিত , এটি হিসাবে সংজ্ঞায়িত হয়েছে:

C_{M S T} (W, B, S^{r}, E^{r}) = 0.5 \sum_{j} (a_{j}^{L} - E_{j}^{r})^{2}

$C_{MST}(W, B, S^r, E^r) = 0.5\sum\limits_j (a^L_j - E^r_j)^2$

নিউরাল নেটওয়ার্ক এবং কিছু নমুনা এর আউটপুট সম্মানের সাথে এই ব্যয় ফাংশনের গ্রেডিয়েন্টটি হ'ল: $r$

\nabla_{a} C_{M S T} = (a^{L} - E^{r})

$\nabla_a C_{MST} = (a^L - E^r)$

ক্রস-এনট্রপি ব্যয়

বার্নোল্লি নেতিবাচক লগ-সম্ভাবনা এবং বাইনারি ক্রস-এন্ট্রপি হিসাবেও পরিচিত

C_{C E} (W, B, S^{r}, E^{r}) = - \sum_{j} [E_{j}^{r} ln a_{j}^{L} + (1 - E_{j}^{r}) ln (1 - a_{j}^{L})]

$C_{CE}(W, B, S^r, E^r) = -\sum\limits_j [E^r_j \text{ ln } a^L_j + (1 - E^r_j) \text{ ln }(1-a^L_j)]$

নিউরাল নেটওয়ার্ক এবং কিছু নমুনা আর এর আউটপুট সম্মানের সাথে এই ব্যয় ফাংশনের গ্রেডিয়েন্টটি $r$

\nabla_{a} C_{C E} = \frac{(a^{L} - E^{r})}{(1 - a^{L}) (a^{L})}

$\nabla_a C_{CE} = \frac{(a^L - E^r)}{(1-a^L)(a^L)}$

ক্ষতিকারক ব্যয়

$\tau$

C_{E X P} (W, B, S^{r}, E^{r}) = τ \exp (\frac{1}{τ} \sum_{j} (a_{j}^{L} - E_{j}^{r})^{2})

$C_{EXP}(W, B, S^r, E^r) = \tau\text{ }\exp(\frac{1}{\tau} \sum\limits_j (a^L_j - E^r_j)^2)$

$\text{exp}(x)$ $e^x$

\nabla_{a} C = \frac{2}{τ} (a^{L} - E^{r}) C_{E X P} (W, B, S^{r}, E^{r})

$\nabla_a C = \frac{2}{\tau}(a^L- E^r)C_{EXP}(W, B, S^r, E^r)$

$C_{EXP}$ $C_{EXP}$

হেল্পিংজার দূরত্ব

C_{H D} (W, B, S^{r}, E^{r}) = \frac{1}{\sqrt{2}} \sum_{j} (\sqrt{a_{j}^{L}} - \sqrt{E_{j}^{r}})^{2}

$C_{HD}(W, B, S^r, E^r) = \frac{1}{\sqrt{2}}\sum\limits_j(\sqrt{a^L_j}-\sqrt{E^r_j})^2$

$0$ $1$

\nabla_{a} C = \frac{\sqrt{a^{L}} - \sqrt{E^{r}}}{\sqrt{2} \sqrt{a^{L}}}

$\nabla_a C = \frac{\sqrt{a^L}-\sqrt{E^r}}{\sqrt{2}\sqrt{a^L}}$

কুলব্যাক – লেবেলার বিচ্যুতি

এছাড়াও হিসাবে পরিচিত তথ্য ডাইভারজেন্স , তথ্য লাভ , আপেক্ষিক এনট্রপি , KLIC , অথবা কেএল ডাইভারজেন্স (দেখুন এখানে )।

D_{K L} (P ‖ Q) = \sum_{i} P (i) \ln \frac{P (i)}{Q (i)}

$D_{\mathrm{KL}}(P\|Q) = \sum_i P(i) \, \ln\frac{P(i)}{Q(i)}$

$D_{\mathrm{KL}}(P\|Q)$ $Q$ $P$ $P=E^i$ $Q=a^L$ $a^i_j$ $E^i_j$

C_{K L} (W, B, S^{r}, E^{r}) = \sum_{j} E_{j}^{r} \log \frac{E_{j}^{r}}{a_{j}^{L}}

$C_{KL}(W, B, S^r, E^r)=\sum\limits_jE^r_j \log \frac{E^r_j}{a^L_j}$

$P=E^i$ $Q=a^L$

\nabla_{a} C = - \frac{E^{r}}{a^{L}}

$\nabla_a C = -\frac{E^r}{a^L}$

জেনারালাইজড কুলব্যাক – লেবেলার বিচ্যুতি

থেকে এখানে ।

C_{G K L} (W, B, S^{r}, E^{r}) = \sum_{j} E_{j}^{r} \log \frac{E_{j}^{r}}{a_{j}^{L}} - \sum_{j} (E_{j}^{r}) + \sum_{j} (a_{j}^{L})

$C_{GKL}(W, B, S^r, E^r)=\sum\limits_j E^r_j \log \frac{E^r_j}{a^L_j} -\sum\limits_j(E^r_j) + \sum\limits_j(a^L_j)$

\nabla_{a} C = \frac{a^{L} - E^{r}}{a^{L}}

$\nabla_a C = \frac{a^L-E^r}{a^L}$

ইতাকুড়া – সাইতো দূরত্ব

এখান থেকেও ।

C_{G K L} (W, B, S^{r}, E^{r}) = \sum_{j} (\frac{E_{j}^{r}}{a_{j}^{L}} - \log \frac{E_{j}^{r}}{a_{j}^{L}} - 1)

$C_{GKL}(W, B, S^r, E^r)= \sum_j \left(\frac {E^r_j}{a^L_j} - \log \frac{E^r_j}{a^L_j} - 1 \right)$

\nabla_{a} C = \frac{a^{L} - E^{r}}{{(a^{L})}^{2}}

$\nabla_a C = \frac{a^L-E^r}{\left(a^L\right)^2}$

$\left(\left(a^L\right)^2\right)_j = a^L_j \cdot a^L_j$ $\left( a^L\right) ^2$ $a^L$

— ফিলিইডা
সূত্র

ভাগ করে নেওয়ার জন্য ধন্যবাদ, আপনি এগুলিও বিবেচনা করতে পারেন: github.com/torch/nn/blob/master/doc/criterion.md

— ইয়ান্নিস

ক্রস-এনট্রপি ডেরিভেটিভের ডিনোমিনিটিভেটে আপনার একটি ছোট ভুল আছে, এটি হওয়া উচিত a*(1-a)নয়a*(1+a)

— আম্রো

গড় ত্রুটির চেয়ে ত্রুটি কোয়ান্টাইলগুলি হ্রাস করতে পিনবল ক্ষতির ক্রিয়াকলাপটি প্রদর্শন করাও দুর্দান্ত। সিদ্ধান্ত সমর্থন সিস্টেমে খুব ব্যবহৃত।

— রিকার্ডো ক্রুজ

আমি এগুলির জন্য গ্রাফগুলি কোথায় দেখতে পাব?

— coiso

\neq

$\neq$

\neq

$\neq$

মন্তব্য করার খ্যাতি নেই, কিন্তু শেষ 3 গ্রেডিয়েন্টে সাইন ত্রুটি রয়েছে।

\begin{aligned} C & = \sum_{j} E_{j} \log (E_{j} / a_{j}) \\ = \sum_{j} E_{j} \log (E_{j}) - E_{j} \log (a_{j}) \\ d C & = - \sum_{j} E_{j} d \log (a_{j}) \\ = - \sum_{j} (E_{j} / a_{j}) d a_{j} \\ \nabla_{a} C & = \frac{- E}{a} \end{aligned}

$\eqalign{ C &= \sum_j E_j\log(E_j/a_j) \cr &= \sum_j E_j\log(E_j) - E_j\log(a_j) \cr\cr dC &= -\sum_j E_j\,\,d\log(a_j) \cr &= -\sum_j (E_j/a_j)\,da_j \cr\cr \nabla_a C &= \frac{-E}{a} \cr\cr }$ এই একই সাইন ত্রুটি জেনারেলাইজড কেএল ডাইভারজেন্সে উপস্থিত হয়।

\begin{aligned} C & = \sum_{j} (E_{j} / a_{j}) - \log (E_{j} / a_{j}) - 1 \\ = \sum_{j} (E_{j} / a_{j}) - \log (E_{j}) + \log (a_{j}) - 1 \\ d C & = \sum_{j} (- E_{j} / a_{j}^{2}) d a_{j} + d \log (a_{j}) \\ = \sum_{j} (1 / a_{j}) d a_{j} - (E_{j} / a_{j}^{2}) d a_{j} \\ = \sum_{j} (a_{j} - E_{j}) / a_{j}^{2} d a_{j} \\ \nabla_{a} C & = \frac{a - E}{(a)^{2}} \end{aligned}

$\eqalign{ C &= \sum_j (E_j/a_j) - \log(E_j/a_j) - 1 \cr &= \sum_j (E_j/a_j) - \log(E_j) + \log(a_j) -1 \cr\cr dC &= \sum_j (-E_j/a^2_j)\,da_j + d\log(a_j) \cr &= \sum_j (1/a_j)\,da_j - (E_j/a^2_j)\,da_j \cr &= \sum_j (a_j-E_j)/a^2_j\,\,\,da_j \cr\cr \nabla_a C &= \frac{a-E}{(a)^2} \cr }$

— অকপট
সূত্র