কুলব্যাক-লেবেলার বিচরণের বিশ্লেষণ

18

আসুন আমরা নিম্নলিখিত দুটি সম্ভাব্য বন্টন বিবেচনা করি

P       Q
0.01    0.002
0.02    0.004
0.03    0.006
0.04    0.008
0.05    0.01
0.06    0.012
0.07    0.014
0.08    0.016
0.64    0.928

আমি কুলব্যাক- ডাইভারজেন্স গণনা করেছি যা সমান , আমি সাধারণভাবে জানতে চাই যে এই সংখ্যাটি আমাকে কী দেখায়? সাধারণত, কুলব্যাক-লেবলার ডাইভারজেন্স আমাকে দেখায় যে অন্যটির থেকে এক সম্ভাবনার বন্টন কতদূর ঠিক আছে? এটি এনট্রপি পরিভাষার সাথে সমান, তবে সংখ্যার বিচারে এর অর্থ কী? যদি আমার 0.49 এর ফলাফল থাকে তবে আমি কি বলতে পারি যে প্রায় একটি বিতরণ 50% দ্বারা অন্যের থেকে অনেক দূরে? $0.492820258$

interpretation information-theory kullback-leibler

— দাতো দাতুশভিলি
সূত্র

এখানে আলোচনাটি দেখুন যা কিছু সহায়ক হতে পারে।

— গ্লেন_বি -রিনস্টেট মনিকা

আপনি উইকিপিডিয়া নিবন্ধটি পড়েছেন?

— নীল জি

42

কুলব্যাক-লেবলার ডাইভারজেন্স কোনও মেট্রিক যথাযথ নয়, যেহেতু এটি প্রতিসাম্য নয় এবং এটি ত্রিভুজ বৈষম্যও পূরণ করে না। সুতরাং দুটি বিতরণ দ্বারা পরিচালিত "ভূমিকা" পৃথক এবং অধ্যয়নের অধীনে বাস্তব-বিশ্বের ঘটনা অনুসারে এই ভূমিকাগুলি বিতরণ করা গুরুত্বপূর্ণ।

যখন আমরা লিখি (ওপি বেস -২ লোগারিথাম ব্যবহার করে এক্সপ্রেশনটি গণনা করেছে)

কে (পি | | প্রশ্নঃ) = \underset{আমি}{Σ} {লগ}_{2} ({পি}_{আমি} / {কুই}_{আমি}) {পি}_{আমি}

$\mathbb K\left(P||Q\right) = \sum_{i}\log_2 (p_i/q_i)p_i$

আমরা বিতরণটিকে "লক্ষ্য বিতরণ" হিসাবে বিবেচনা করি (সাধারণত সত্য বিতরণ হিসাবে বিবেচনা করা হয়), যা আমরা বিতরণ ব্যবহার করে আনুমানিক । $P$ $Q$

এখন,

\sum_{i} \log_{2} (p_{i} / q_{i}) p_{i} = \sum_{i} \log_{2} (p_{i}) p_{i} - \sum_{i} \log_{2} (q_{i}) p_{i} = - H (P) - E_{P} (\ln (Q))

$\sum_{i}\log_2 (p_i/q_i)p_i = \sum_{i}\log_2 (p_i)p_i-\sum_{i}\log_2 (q_i)p_i = -H(P) - E_P(\ln(Q))$

যেখানে হ'ল শ্যানন এনট্রোপি হ'ল এবং কে " এবং এর ক্রস-এনট্রপি" বলা হয় - নন-সিমেট্রিক। $H(P)$ $P$ $-E_P(\ln(Q))$ $P$ $Q$

লেখা

কে (পি | | প্রশ্নঃ) = এইচ (পি, প্রশ্নঃ) - এইচ (পি)

$\mathbb K\left(P||Q\right) = H(P,Q) - H(P)$

$P$

সুতরাং, না , কেএল-ডাইভারজেন্সকে বিতরণের মধ্যে একটি "দূরত্ব পরিমাপ" হিসাবে ব্যাখ্যা না করাই বরং বরং সত্য বিতরণের পরিবর্তে প্রকৃত বন্টনের একটি সান্নিধ্য ব্যবহারের কারণে এনট্রপি বৃদ্ধির একটি পরিমাপ হিসাবে ব্যাখ্যা করা ভাল ।

সুতরাং আমরা ইনফরমেশন থিওরি ল্যান্ডে আছি। মাস্টারদের কাছ থেকে এটি শুনতে (কভার এবং থমাস) "

$P$ $H(P)$ $Q$ $H(P) + \mathbb K (P||Q)$

একই জ্ঞানী লোকেরা বলে

... এটি বিতরণের মধ্যে সত্যিকারের দূরত্ব নয় কারণ এটি প্রতিসাম্য নয় এবং ত্রিভুজ বৈষম্য পূরণ করে না। তা সত্ত্বেও, প্রায়শই বিতরণের মধ্যে "দূরত্ব" হিসাবে আপেক্ষিক এনট্রপিকে ভাবা দরকারী।

তবে এই উত্তরোত্তর পদ্ধতিটি মূলত তখন কার্যকর হয় যখন কেউ কিছু অনুমানের পদ্ধতিটি অনুকূল করার জন্য কেএল-ডাইভারজেন্সকে হ্রাস করার চেষ্টা করে । প্রতি সেং এর সংখ্যাসমূহের ব্যাখ্যার জন্য , এটি কার্যকর নয় এবং একটিকে "এনট্রপি বৃদ্ধি" পদ্ধতির পছন্দ করা উচিত।

প্রশ্নের নির্দিষ্ট বিতরণের জন্য (সর্বদা বেস -২ লোগারিথ ব্যবহার করে)

কে (পি | | প্রশ্নঃ) = 0,49282, এইচ (পি) = 1,9486

$\mathbb K\left(P||Q\right) = 0.49282,\;\;\;\; H(P) = 1.9486$

$Q$ $P$

— আলেকোস পাপাদোপ্লোস
সূত্র

অত্যন্ত দরকারী এবং তথ্যমূলক উত্তর।

— ম্যাডহ্যাটার

1

কেএল ডাইভার্জেন্সি পি থেকে চিহ্ন ব্যবহার করে পি থেকে প্রতীক উপস্থাপনের জন্য প্রয়োজনীয় তথ্য ক্ষতির পরিমাপ করে। আপনি যদি 0.49 এর মান পেয়ে থাকেন তবে এর অর্থ হ'ল পি থেকে দুটি প্রতীককে Q থেকে দুটি অনুরূপ চিহ্ন সহ এনকোড করতে পারেন আরও কিছুটা অতিরিক্ত তথ্য ।

— হারুন
সূত্র

1

$P$ $Q$ $P$

— নীল জি
সূত্র