নিউরাল নেটওয়ার্কে ক্রস-এনট্রপি ব্যয় ফাংশন

11

আমি এই টিউটোরিয়ালে পাওয়া ক্রস-এনট্রপি ব্যয়ের ফাংশনটি দেখছি :

সি = - \frac{1}{এন} \underset{এক্স}{Σ} [Y Ln একটি + + (1 - Y) Ln (1 - একটি)]

$C = -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)]$

আমরা ঠিক কি সংক্ষেপে হয়? এটা অবশ্যই হয়, ওভার $x$ কিন্তু $y$ এবং $a$ সঙ্গে পরিবর্তন করবেন না $x$ । সকল $x$ এর এক মধ্যে ইনপুট হয় $a$ । $a$ এমনকি সমস্ত $w$ এর এবং $x$ এর যোগফলের সমীকরণ হিসাবে সমীকরণের উপরে অনুচ্ছেদে সংজ্ঞায়িত হয়েছে ।

এছাড়াও, $n$ এই নির্দিষ্ট নিউরনের ইনপুটগুলির সংখ্যা হিসাবে সংজ্ঞায়িত করা হয়েছে, সঠিক? এটি "প্রশিক্ষণের ডেটাগুলির সামগ্রীর সংখ্যা" হিসাবে শব্দযুক্ত ।

সম্পাদনা:

আমি কি ভেবে সঠিক?

সি = - \frac{1}{এন} \underset{এক্স}{Σ} [Y Ln একটি + + (1 - Y) Ln (1 - একটি)]

$C= -\frac{1}{n} \sum_x [y \ln a+(1−y)\ln(1−a)]$

পুরো নেটওয়ার্কের জন্য ব্যয় কাজ হবে, যদিও

সি = [Y Ln একটি + + (1 - Y) Ln (1 - একটি)]

$C = [y \ln a+(1−y)\ln(1−a)]$

স্বতন্ত্র নিউরনের জন্য খরচ হবে? যোগফল প্রতিটি আউটপুট নিউরনের উপরে হওয়া উচিত নয়?

neural-networks error-propagation

— Adam12344
সূত্র

14

আমি এখানে ক্রস-এনট্রপি ক্ষতি কীভাবে প্রকাশ করব তা এখানে :

L (X, Y) = - \frac{1}{n} \sum_{i = 1}^{n} y^{(i)} \ln a (x^{(i)}) + (1 - y^{(i)}) \ln (1 - a (x^{(i)}))

$\mathcal{L}(X, Y) = -\frac{1}{n} \sum_{i=1}^n y^{(i)} \ln a(x^{(i)}) + \left(1 - y^{(i)}\right) \ln \left(1 - a(x^{(i)})\right)$

এখানে, প্রশিক্ষণ ডেটাসেটে ইনপুট উদাহরণ সেট, এবং লেবেলের সংশ্লিষ্ট সেট এই ইনপুট উদাহরণগুলির জন্য। এর স্নায়ুর নেটওয়ার্ক প্রদত্ত ইনপুট আউটপুট প্রতিনিধিত্ব করে । $X = \left\{x^{(1)},\dots,x^{(n)}\right\}$ $Y=\left\{y^{(1)},\dots,y^{(n)} \right\}$ $a(x)$ $x$

প্রতিটি হয় 0 বা 1 হয় এবং আউটপুট অ্যাক্টিভেশন সাধারণত লজিস্টিক সিগময়েড ব্যবহার করে খোলা ব্যবধানে (0, 1) সীমাবদ্ধ থাকে । উদাহরণস্বরূপ, এক-স্তর নেটওয়ার্কের জন্য (যা লজিস্টিক রিগ্রেশনের সমতুল্য), অ্যাক্টিভেশনটি দ্বারা দেওয়া হবে $y^{(i)}$ $a(x)$ যেখানেএকটি ওজন ম্যাট্রিক্স এবংএকটি পক্ষপাতিত্ব ভেক্টর। একাধিক স্তরের জন্য, আপনি ভালো কিছু করার জন্য অ্যাক্টিভেশন ফাংশন প্রসারিত করতে

একটি (এক্স) = \frac{1}{1 + + ই^{- ওয়াট এক্স - খ}}

$a(x) = \frac{1}{1 + e^{-Wx-b}}$

W

$W$

b

$b$

যেখানে

এবং

হ'লপ্রথম স্তরের ওজন ম্যাট্রিক্স এবং পক্ষপাত, এবং

হল নেটওয়ার্কে লুকানো স্তরটির সক্রিয়করণ।

একটি (এক্স) = \frac{1}{1 + + ই^{- ওয়াট z- র (এক্স) - খ}} z- র (এক্স) = \frac{1}{1 + + ই^{- ভী এক্স - গ}}

$a(x) = \frac{1}{1 + e^{-Wz(x)-b}} \\ z(x) = \frac{1}{1 + e^{-Vx-c}}$

V

$V$

c

$c$

z (x)

$z(x)$

উদাহরণগুলি বোঝাতে আমি (i) সুপারস্ক্রিপ্ট ব্যবহার করেছি কারণ এন্ড্রু এনগের মেশিন লার্নিং কোর্সে এটি বেশ কার্যকর বলে আমি পেয়েছি; কখনও কখনও লোকেরা ম্যাট্রিক্সে কলাম বা সারি হিসাবে উদাহরণ প্রকাশ করে তবে ধারণাটি একই থাকে।

— lmjohns3
সূত্র

ধন্যবাদ! সুতরাং এটি আমাদের সমস্ত নমুনার উপরে পুরো নেটওয়ার্কের জন্য আমাদের ত্রুটির জন্য একক সংখ্যা দেবে। পিছনে বংশবিস্তারের জন্য আমাকে এই ফাংশনের আংশিক ডেরাইভেটিভটি চূড়ান্ত স্তরের ওজন ম্যাট্রিক্সের সন্ধান করতে হবে। আমি যে কিভাবে করতে হবে?

— আদম 12344

ব্যাকপ্রপ করা হ'ল কৃমির সম্পূর্ণ পৃথক ক্যান! আপনি যে পৃষ্ঠায় লিঙ্ক করেছেন তাতে কম্পিউটারের ডেরিভেটিভস ইত্যাদির বিবরণ রয়েছে এবং স্ট্যাকওভারফ্লো এবং এই সাইটে ব্যাকপ্রপ সম্পর্কে অনেক প্রশ্ন রয়েছে। কিছুটা দেখার চেষ্টা করুন এবং তারপরে ব্যাকপ্রপ সম্পর্কে বিশেষত একটি পৃথক প্রশ্ন পোস্ট করার চেষ্টা করুন।

— lmjohns3

ব্যাকপ্রপ বোঝার জন্য এটি আপনার পক্ষে কার্যকর হতে পারে এটি একটি চার স্তরের নিউরাল নেটওয়ার্কের সাথে ক্রিয়াল

— গোরো

5

আমরা ঠিক কি সংক্ষেপে হয়?

টিউটোরিয়ালটি আসলে বেশ সুস্পষ্ট:

$n$

$x$ $\Sigma$ $a$

একটি = \underset{ঞ}{Σ} W_{ঞ} {এক্স}_{ঞ} ।

$a = \sum_{j} w_jx_j.$

পরে একই টিউটোরিয়ালে, নীলসন একটি মাল্টি-লেয়ার, মাল্টি-নিউরন নেটওয়ার্কের (ব্যয় function৩) জন্য ব্যয় ফাংশনের জন্য একটি অভিব্যক্তি দেয়:

সি = - \frac{1}{এন} \underset{এক্স}{Σ} \underset{ঞ}{Σ} [Y_{ঞ} Ln {একটি}_{ঞ}^{এল} + + (1 - Y_{ঞ}) Ln (1 - {একটি}_{ঞ}^{এল})] ।

$C = -\frac{1}{n}\sum_{x}\sum_{j}[ y_j \ln a^{L}_{j} + (1 - y_j) \ln (1 - a^{L}_{j})].$

$x$ $j$

— ali_m
সূত্র

অন্তর্দৃষ্টি জন্য ধন্যবাদ, একটি প্রশ্ন: আপনি সংক্ষিপ্ত বিবরণ সংজ্ঞা ক্রস এন্ট্রপি না, তাই না?

— টমমসো গেরিনি

তিনি তার টিউটোরিয়ালে আরও বলেছিলেন যে "y কখনও কখনও 0 এবং 1 এর মধ্যে মধ্যবর্তী মানগুলি নিতে পারে" তবে তিনি যে ফাংশনটি দিয়েছেন তা সবই y এর উপর এবং কোনও অ্যাক্টিভেশন ইনপুট ছিল না। আমরা কিভাবে স্ট্যান্ড ফাংশনে মধ্যবর্তী মানগুলি প্রয়োগ করতে পারি?

— Feras

নীলসনের টিউটোরিয়ালে, যা একটি একক-স্তর পার্সেপট্রন দেখায়, a = \ সিগমা (\ Sum_ {j} w_j x_j) কারণ আপনার আউটপুট স্তরের জন্য সিগময়েড অ্যাক্টিভেশন ফাংশন রয়েছে, একটি = \ Sum_ {j} w_j x_j

— আর্ট