আউটপুট স্তরে ক্রস-এন্ট্রপি বা লগের সম্ভাবনা

আমি এই পৃষ্ঠাটি পড়েছি: http://neuranetworksandDPlearning.com/chap3.html

এবং এটি বলেছে যে ক্রস-এন্ট্রপি সহ সিগময়েড আউটপুট স্তর লগ-সম্ভাবনার সাথে সফটম্যাক্স আউটপুট স্তরটির সাথে বেশ সমান।

যদি আমি লগ-সম্ভাবনা সহ সিগময়েড বা আউটপুট স্তরটিতে ক্রস এনট্রপি সহ সফটম্যাক্স ব্যবহার করি তবে কী হবে? এটা কি ঠিক আছে? কারণ আমি দেখতে পাচ্ছি যে ক্রস এনট্রপির সমীকরণের মধ্যে সামান্য পার্থক্য রয়েছে (eq.57):

C = - \frac{1}{n} \sum_{x} (y \ln a + (1 - y) \ln (1 - a))

$C = -\frac{1}{n} \sum\limits_x (y \ln a + (1-y) \ln (1-a))$

এবং লগ সম্ভাবনা (eq.80):

C = - \frac{1}{n} \sum_{x} (\ln a_{y}^{L})

$C =-\frac{1}{n} \sum\limits_x(\ln a^L_y)$

neural-networks maximum-likelihood softmax

— malioboro
সূত্র

নেতিবাচক লগ সম্ভাবনা (eq.80) মাল্টিক্লাস ক্রস-এন্ট্রপি (রেফ: প্যাটার্ন রিকগনিশন এবং মেশিন লার্নিং সেকশন ৪.৩.৪) হিসাবেও পরিচিত, কারণ এগুলি একই সূত্রের দুটি ভিন্ন ব্যাখ্যা interpret

eq.57 হ'ল বার্নোল্লি বিতরণের নেতিবাচক লগ সম্ভাবনা, যেখানে eq.80 হ'ল এক পর্যবেক্ষণ (বার্নোলির একটি বহুসত্তা সংস্করণ) সহ বহু-জাতীয় বিতরণের নেতিবাচক লগ সম্ভাবনা।

বাইনারি শ্রেণিবদ্ধকরণ সমস্যার জন্য, সফটম্যাক্স ফাংশন প্রতিটি শ্রেণীর পূর্বাভাস দেওয়ার জন্য দুটি মান (0 এবং 1 এবং সমষ্টি 1 এর মধ্যে) আউটপুট করে । সিগময়েড ফাংশনটি একটি শ্রেণির পূর্বাভাস দেওয়ার জন্য একটি মান (0 এবং 1 এর মধ্যে) আউটপুট করে (তাই অন্য শ্রেণিটি 1-পি)।

সুতরাং eq.80 সরাসরি সিগময়েড আউটপুটটিতে প্রয়োগ করা যায় না, যদিও এটি মূলত eq.57 এর মতো একই ক্ষতি।

আরো দেখুন এই উত্তর ।

বাইনারি শ্রেণিবদ্ধকরণ সমস্যার জন্য (সিগময়েড + বাইনারি ক্রস-এন্ট্রপি) এবং (সফটম্যাক্স + মাল্টিক্লাস ক্রস-এন্ট্রপি) মধ্যে সংযোগের একটি সাধারণ চিত্র নীচে দেওয়া হয়েছে।

$0.5$

σ (w x + b) = 0.5

$\sigma(wx+b)=0.5$

w x + b = 0

$wx+b=0$

\frac{e^{w_{1} x + b_{1}}}{e^{w_{1} x + b_{1}} + e^{w_{2} x + b_{2}}} = 0.5

$\frac{e^{w_1x+b_1}}{e^{w_1x+b_1}+e^{w_2x+b_2}}=0.5$

e^{w_{1} x + b_{1}} = e^{w_{2} x + b_{2}}

$e^{w_1x+b_1}=e^{w_2x+b_2}$

w_{1} x + b_{1} = w_{2} x + b_{2}

$w_1x+b_1=w_2x+b_2$

(w_{1} - w_{2}) x + (b_{1} - b_{2}) = 0

$(w_1-w_2)x+(b_1-b_2)=0$

নিম্নলিখিতগুলি এই দুটি পদ্ধতি ব্যবহার করে প্রাপ্ত সিদ্ধান্তের সীমানা দেখায় যা প্রায় অভিন্ন।

— dontloo
সূত্র

আপনি কোন সমীকরণের কথা উল্লেখ করছেন? বইটিতে, সমীকরণগুলি পৃথকভাবে নম্বরযুক্ত। এটি কি বইয়ের নির্দিষ্ট সংস্করণ? আপনি এই পরিষ্কার করতে পারেন? আমি বইটি ইউজার.আইস.রিস্ট.টল.পেট / ~উউর্মডি / লাইভ্রস / স্কুল / পৃষ্ঠা, পৃষ্ঠা 209 (বিভাগ 4.3.4) এ দেখছি at

— nbro

বিভ্রান্তির জন্য @ এনব্রো আহ, আমি প্রশ্নের উত্তর দেওয়া লিঙ্কযুক্ত পৃষ্ঠাতে সমীকরণ বোঝাতে চাইছি।

— dontloo