কেন ক্রস এনট্রপি ক্লাসিফিকেশন স্ট্যান্ডার্ড লোকস ফাংশন হয়ে উঠেছে এবং কুলবেক লেবেলার বিচ্যুতি নয়?

Question

ক্রস এনট্রপি লক্ষ্য বিতরণের কেএল ডাইভারজেন্স প্লাস এনট্রপির অনুরূপ। দুটি বিতরণ একই হলে কেএল সমান হয়, যা লক্ষ্য বন্টনের এনট্রপির চেয়ে আমার কাছে আরও স্বজ্ঞাত মনে হয়, যা ক্রোস এনট্রপি ম্যাচটিতে রয়েছে।

আমি বলছি না যে একজনের মতামত ইতিবাচকের চেয়ে শূন্যকে আরও স্বজ্ঞাত আবিষ্কার করতে পারে except শ্রেণীবদ্ধকরণটি কতটা ভাল হয় তা দেখতে একজন সাধারণত একটি মূল্যায়নকারী পদ্ধতি ব্যবহার করেন। তবে কেএল-এর চেয়ে বেশি ক্রস এনট্রপির পছন্দ কি historicতিহাসিক?

Answer 1

যখন এটি মেশিন লার্নিংয়ে শ্রেণিবিন্যাসের সমস্যা আসে তখন ক্রস এনট্রপি এবং কেএল ডাইভারজেন্স সমান হয় । ইতিমধ্যে প্রশ্নটিতে বলা হয়েছে, সাধারণ সূত্রটি হ'ল:

$$H(p, q) = H(p) + D_{KL}(p||q)$$

যেখানে $p$ একটি "সত্য" বিতরণ এবং $q$ অনুমানের বিতরণ, $H(p, q)$ হ'ল ক্রস-এনট্রপি, $H(p)$ হ'ল এনট্রপি এবং $D$ হ'ল কুলব্যাক-লেবেলার বিচ্যুতি।

নোট করুন যে মেশিন লার্নিংয়ে, $p$ গ্রাউন্ড-ট্রুথ শ্রেণীর এক-গরম প্রতিনিধিত্ব, অর্থাৎ,

$$p = [0,..., 1, ..., 0]$$

যা মূলত ক ডেল্টা-ফাংশন বিতরণ। তবে ডেল্টা ফাংশনের এনট্রপি শূন্য, সুতরাং কেএল ডাইভার্জেন্স কেবল ক্রস-এনট্রপি সমান।

আসলে, এমনকি যদি $H(p)$ ছিল না $0$ (যেমন, নরম লেবেল), এটি সংশোধন করা হয়েছে এবং গ্রেডিয়েন্ট কোন অবদান রয়েছে। অপ্টিমাইজেশনের ক্ষেত্রে, এটি কেবল অপসারণ এবং কুলব্যাক-লেবেলার বিচ্যুতিটি অপ্টিমাইজ করা নিরাপদ।

Answer 2

ক্রস-এনট্রপি একটি এনট্রপি, কোনও এনট্রপি পার্থক্য নয়।

শ্রেণিবদ্ধকরণের মানদণ্ডকে ধারণা দেওয়ার আরও প্রাকৃতিক এবং সম্ভবত স্বজ্ঞাত উপায় হ'ল সংজ্ঞা নয় বরং সম্পর্কের মাধ্যমে।

$H(P, Q) - H(P) = D_{\mathrm{KL}}(P\|Q) = - \sum_i P(i) \log\frac{Q(i)}{P(i)}$

এটি কোয়ান্টাম মেকানিকাল থার্মোডাইনামিক্স এবং তথ্য তত্ত্বের মধ্যে ক্লাড শ্যানন দ্বারা জন ভন নিউম্যানের সাথে সমান্তরালগুলি অনুসরণ করে। এন্ট্রপি কোনও পরিপূর্ণ পরিমাণ নয়। এটি একটি আপেক্ষিক, সুতরাং এনট্রপি বা ক্রস এন্ট্রপি উভয়ই গণনা করা যায় না, তবে তাদের পার্থক্য উপরের বিযুক্ত মামলার বা নীচের নীচে তার অবিচ্ছিন্ন ভাইবনের জন্য হতে পারে।

$H(P, Q) - H(P) = D_{\mathrm{KL}}(P\|Q) = - \int_{-\infty}^\infty \, p(x) \log\frac {q(x)} {p(x)} \, dx$

যদিও আমরা দেখতে পাচ্ছি $H(...) = ...$সাহিত্যে সমীকরণের ডানদিকে কোনও H '(...) না থাকলে এটি প্রযুক্তিগতভাবে সঠিক নয়। এই ধরনের ক্ষেত্রে সর্বদা কিছু প্রচ্ছন্ন এনট্রপি থাকে যার সাথে বাম দিকে এন্ট্রপিটি আপেক্ষিক।