স্বজ্ঞাতভাবে, ক্রস এনট্রপি দুটি সম্ভাব্য বন্টনের দূরত্বের পরিমাপ কেন?

দুটি পৃথক বিতরণ এবং ক্রস এনট্রপি হিসাবে সংজ্ঞায়িত করা হয় $p$ $q$

H (p, q) = - \sum_{x} p (x) \log q (x) .

$H(p,q)=-\sum_x p(x)\log q(x).$

আমি ভাবছি কেন এটি দুটি সম্ভাব্য বন্টনের মধ্যে দূরত্বের একটি স্বজ্ঞাত মাপ হবে?

আমি দেখতে পাচ্ছি যে এর এনট্রপি হয় , যা পরিমাপ করে "বিস্ময়" । হল এমন একটি পরিমাপ যা আংশিকভাবে দ্বারা দ্বারা প্রতিস্থাপন করে । সংজ্ঞার পিছনে স্বজ্ঞাত অর্থটি আমি এখনও বুঝতে পারি না। $H(p,p)$ $p$ $p$ $H(p,q)$ $p$ $q$

probability distributions cross-entropy

— Kadistar
সূত্র

আমি আপনাকে মেট্রিক (এবং দূরত্ব) এর গাণিতিক সংজ্ঞাটি দেখার পরামর্শ দিই। সাধারণত, এই বৈশিষ্ট্যগুলি অনুসরণ করা কোনও ফাংশনটির জন্য তার নূন্যতম জিনিসটি অনুসরণ করা উচিত a আশা করি এটা সাহায্য করবে. যদিও এটি । স্বতঃস্ফূর্তভাবে, যেহেতু এটি একটি ফাংশন যা কেএল ডাইভার্জেন্সের অংশ, আমি এটি এনট্রপি পি দ্বারা পি এবং কিউ অফসেটের সাজানোর ধরণটি করব। যদিও, এটি একটি অনুমান মাত্র। এছাড়াও, ডাইভারজেন্স কোনও মেট্রিক / দূরত্ব নয় তাই ক্রস এনট্রপি থাকলে আমি অবাক হয়ে যাব।

H (p, q) = H (p) + D_{K L} (p | | q)

$H(p,q) = H(p) + D_{KL}(p || q )$

— চার্লি পার্কার 22 'এ 20

তারপরে কুলব্যাক_লিবলার ডাইভারজেন্স বুঝতে ক্রস এনট্রপি বুঝতে সহায়তা করে: stats.stackexchange.com/questions/188903/…

— kjetil b halvorsen

এখানে কেএল ডাইভারজেন্সকে একটি পরিষ্কার এবং সরল উপায়ে ব্যাখ্যা করার জন্য একটি দুর্দান্ত ভিডিও এখানে দেওয়া হয়েছে: youtube.com/watch?v=ErfnhcEV1O8

— ক্যাথারিন চেন

এই "ক্রস এন্ট্রপির পিছনে অন্তর্দৃষ্টি" সহায়তা করে কিনা তা দেখুন: मध्यम.com/@siddharth.4oct/…

— সিদ্ধার্থ রায়

ক্রস এন্ট্রপি হ্রাস করা প্রায়শই জেনারেটরি মডেলগুলিতে শেখার উদ্দেশ্য হিসাবে ব্যবহৃত হয় যেখানে p সত্যিকারের বিতরণ এবং q হল শিখানো বিতরণ।

পি এবং কিউ এর ক্রস এনট্রপি পি এবং কিউর মধ্যে কেএল ডাইভার্জেন্স এর সমপরিমাণ p

$H(p, q) = H(p) + D_{KL}(p||q)$

আপনি কে একটি ধ্রুবক হিসাবে ভাবতে পারেন কারণ সরাসরি প্রশিক্ষণের ডেটা থেকে আসে এবং এটি মডেল দ্বারা শিখেনি। সুতরাং, কেবলমাত্র কেএল ডাইভারজেন শব্দটি গুরুত্বপূর্ণ। সম্ভাব্যতা বিতরণের মধ্যবর্তী দূরত্ব হিসাবে কেএল ডাইভার্জেন্সের অনুপ্রেরণাটি হ'ল এটি আপনাকে জানায় যে সমাপ্তি Q এর পরিবর্তে বিতরণ পি ব্যবহার করে কত বিট তথ্য প্রাপ্ত হয়। $H(p)$ $p$

মনে রাখবেন যে কেএল ডাইভারজেন্সটি কোনও সঠিক দূরত্বের মেট্রিক নয়। একটি জিনিসের জন্য, এটি পি এবং কিউতে প্রতিসম নয়। সম্ভাব্যতা বিতরণের জন্য আপনার যদি দূরত্বের মেট্রিকের প্রয়োজন হয় তবে আপনাকে অন্য কিছু ব্যবহার করতে হবে। তবে, যদি আপনি অনানুষ্ঠানিকভাবে "দূরত্ব" শব্দটি ব্যবহার করেন তবে আপনি কেএল ডাইভার্জেন ব্যবহার করতে পারেন।

— হারুন
সূত্র

আপনি কেন ধ্রুবক হিসাবে পি ভাবতে পারেন? আপনি কি শিখছেন"? কুই? মূল প্রশ্নটি শেখার বিষয়ে কিছু বলেনি, তাই আপনি কী বোঝাতে চেয়েছিলেন তা আরও ভালভাবে বুঝতে আগ্রহী হব :)

— চার্লি পার্কার

এটি আরও স্পষ্ট করতে এটি সম্পাদনা করা হয়েছে। p হ'ল বিতরণ যা প্রশিক্ষণের ডেটা থেকে আসে এবং কিউ মডেল দ্বারা শিখেছে।

— হারুন