ক্রস এনট্রপি ক্ষতি ফাংশনের বিভিন্ন সংজ্ঞা

Question

আমি নিউরাল নেটওয়ার্কস এবং ডিপ্লিয়ার্নিং ডট কম টিউটোরিয়াল দিয়ে নিউরাল নেটওয়ার্ক সম্পর্কে শিখতে শুরু করেছি। বিশেষ করে তৃতীয় অধ্যায়ে ক্রস এনট্রপি ফাংশন সম্পর্কে একটি বিভাগ রয়েছে এবং ক্রস এনট্রপি ক্ষতি হিসাবে এইভাবে সংজ্ঞায়িত করা হয়েছে:

$C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j + (1-y_j) \ln (1 - a^L_j))$

যাইহোক, টেনসরফ্লো প্রবর্তনটি পড়লে ক্রস এনট্রপি ক্ষতি হিসাবে সংজ্ঞায়িত করা হয়েছে:

$C = -\frac{1}{n} \sum\limits_x \sum\limits_j (y_j \ln a^L_j)$ (উপরের মত একই চিহ্ন ব্যবহার করার সময়)

তারপরে কী চলছে তা সন্ধান করার জন্য আমি আরও একটি নোটের সেট পেয়েছি: ( https://cs231n.github.io/linear-classify/#softmax-classifier ) যা ক্রস এন্ট্রপি ক্ষতির সম্পূর্ণ ভিন্ন সংজ্ঞা ব্যবহার করে, নিউরাল নেটওয়ার্কের চেয়ে সফটম্যাক্স ক্লাসিফায়ারের জন্য সময়।

কেউ কি আমাকে বোঝাতে পারেন এখানে কী চলছে? বিটিডব্লিউতে কেন তাত্পর্য রয়েছে? মানুষ ক্রস-এনট্রপি ক্ষতি হিসাবে সংজ্ঞা দেয়? এখানে কি কিছু অতি নীতির নীতি আছে?

Comments

ঘনিষ্ঠভাবে সম্পর্কিত: stats.stackexchange.com/questions/260505/…

— সাইকোরাক্স মনিকাকে

Answer 1

এই তিনটি সংজ্ঞা মূলত একই।

1) টেনসরফ্লো ভূমিকা , rac

$$C = -\frac{1}{n} \sum\limits_x\sum\limits_{j} (y_j \ln a_j).$$

2) বাইনারি শ্রেণিবদ্ধকরণের জন্য , এটি এবং the এবং এর সীমাবদ্ধতার কারণে , এটি হিসাবে আবার লেখা যেতে পারে যা তৃতীয় অধ্যায়ে একই ।$j=2$

$$C = -\frac{1}{n} \sum\limits_x (y_1 \ln a_1 + y_2 \ln a_2)$$ $\sum_ja_j=1$$\sum_jy_j=1$ $$C = -\frac{1}{n} \sum\limits_x (y_1 \ln a_1 + (1-y_1) \ln (1-a_1))$$

3) তদুপরি, যদি হ'ল এক-গরম ভেক্টর (যা সাধারণত শ্রেণিবদ্ধকরণ লেবেলের ক্ষেত্রে হয়) কেবল কেবল নন-শূন্য উপাদান, তবে সংশ্লিষ্ট নমুনার ক্রস এনট্রপি ক্ষতি হ'ল $y$$y_k$

$$C_x=-\sum\limits_{j} (y_j \ln a_j)=-(0+0+...+y_k\ln a_k)=-\ln a_k.$$

ইন cs231 নোট , এক নমুনা ক্রস এনট্রপি ক্ষতি যেমন softmax নিয়মমাফিককরণ সঙ্গে একসঙ্গে দেওয়া হয়

$$C_x=-\ln(a_k)=-\ln\left(\frac{e^{f_k}}{\sum_je^{f_j}}\right).$$

Answer 2

ইন তৃতীয় অধ্যায় , সমীকরণ (63) ক্রস এনট্রপি একাধিক sigmoids প্রয়োগ (যে 1 থেকে যোগফল নাও করতে পারে) যখন হয় ইন্ট্রো Tensoflow ক্রস এনট্রপি একটি softmax আউটপুট স্তরে নির্ণয় করা হয়।

দন্টলু দ্বারা ব্যাখ্যা হিসাবে উভয় সূত্রই মূলত দুটি শ্রেণীর জন্য সমতুল্য তবে যখন দুটি শ্রেণির বেশি বিবেচনা করা হয় তখন তা হয় না। সফটম্যাক্স একচেটিয়া ক্লাসের সাথে মাল্টিক্লাসের জন্য অর্থবোধ করে ( যেমন যখন নমুনা অনুসারে কেবলমাত্র একটি লেবেল থাকে যা লেবেলের এক-গরম এনকোডিংয়ের অনুমতি দেয়) যখন (একাধিক) সিগময়েডগুলি বহুবিধ সমস্যাকে বর্ণনা করতে ব্যবহার করতে পারে (উদাহরণস্বরূপ যে নমুনাগুলি সম্ভবত ইতিবাচক বেশ কয়েকটি ক্লাসের জন্য)।

এই অন্যান্য dontloo উত্তর এছাড়াও দেখুন।