কীভাবে কুলব্যাক-লেবলার ডাইভারজেন্স / দূরত্ব গণনা করবেন?

Question

আমার কাছে এক্স, ওয়াই এবং জেডের তিনটি ডেটা সেট রয়েছে data উদাহরণ স্বরূপ:

ডেটা সেট এক্স: E1: 4, E2: 0, E3: 10, E4: 5, E5: 0, E6: 0 এবং আরও অনেক কিছু ..
ডেটা সেট Y: E1: 2, E2: 3, E3: 7, E4: 6, E5: 0, E6: 0 এবং আরও অনেক কিছু ..
ডেটা সেট জেড: E1: 0, E2: 4, E3: 8, E4: 4, E5: 1, E6: 0 এবং আরও ..

এক্স এবং ওয়াইয়ের মধ্যে আমাকে কেএল-ডাইভার্জেন্স খুঁজতে হবে; এবং এক্স এবং জেডের মধ্যে As কিছু ইভেন্টের জন্য সমস্ত তিনটি ডেটা সেট 0 হয়।

কেউ যদি এর জন্য কেএল ডাইভারজেন্স খুঁজতে আমাকে সহায়তা করতে পারে তবে আমি প্রশংসা করব। আমি কোনও পরিসংখ্যানবিদ না, তাই আমার খুব বেশি ধারণা নেই idea আমি অনলাইনে টিউটোরিয়ালগুলি দেখছিলাম আমার বোঝার জন্য কিছুটা জটিল।

Answer 1

আপনার প্রশ্নের উত্তর দেওয়ার জন্য, আমাদের কেএল ডাইভারজেন্সের সংজ্ঞাটি স্মরণ করা উচিত :

$$D_{KL}(Y||X) = \sum_{i=1}^N \ln \left( \frac{Y_i}{X_i} \right) Y_i$$

সবার আগে আপনাকে যা যা করতে হবে তা থেকে সম্ভাব্যতা বিতরণ করতে হবে। এর জন্য আপনার আপনার ডেটা এমনটি স্বাভাবিক করা উচিত যে এটির পরিমাণটি এক:

$X_i := \frac{X_i}{\sum_{i=1}^N X_i}$ ; ; $Y_i := \frac{Y_i}{\sum_{i=1}^N Y_i}$$Z_i := \frac{Z_i}{\sum_{i=1}^N Z_i}$

তারপরে, বিচ্ছিন্ন মূল্যবোধগুলির জন্য আমাদের কাছে একটি অত্যন্ত গুরুত্বপূর্ণ অনুমান রয়েছে যা কেএল-ডাইভারজেন্স মূল্যায়নের জন্য প্রয়োজন এবং এটি প্রায়শই লঙ্ঘিত হয়:

$X_i = 0$ উচিত বোঝানো উচিত ।$Y_i = 0$

যদি যখন উভয় এবং , শূন্য সমান হতে শূন্য (সীমা মান হিসাবে) অধিকৃত হয়।$X_i$$Y_i$$\ln \left( Y_i / X_i \right) Y_i$

আপনার ডেটাসেটে এর অর্থ হ'ল আপনি খুঁজে পেতে পারেন , তবে উদাহরণস্বরূপ নয় (দ্বিতীয় প্রবেশের কারণে)।$D_{KL}(X||Y)$$D_{KL}(Y||X)$

আমি ব্যবহারিক দৃষ্টিকোণ থেকে যা পরামর্শ দিতে পারি তা হ'ল:

হয় আপনার ইভেন্টগুলিকে "বৃহত্তর" করুন যাতে আপনার কাছে কম শূন্য থাকে

বা আরও ডেটা অর্জন করুন, যেমন আপনি কমপক্ষে একটি এন্ট্রি দিয়ে এমনকি বিরল ইভেন্টগুলিও কভার করবেন।

আপনি যদি উপরের পরামর্শগুলির মধ্যে দুটিও ব্যবহার করতে না পারেন, তবে সম্ভবত আপনাকে বিতরণগুলির মধ্যে অন্য একটি মেট্রিকের সন্ধান করতে হবে। উদাহরণ স্বরূপ,

পারস্পরিক তথ্য , হিসাবে সংজ্ঞায়িত । যেখানে দুটি ইভেন্টের যৌথ সম্ভাবনা।$I(X, Y) = \sum_{i=1}^N \sum_{j=1}^N p(X_i, Y_j) \ln \left( \frac{p(X_i, Y_j)}{p(X_i) p(Y_j)} \right)$$p(X_i, Y_i)$

আশা করি এটি সাহায্য করবে।

Answer 2

আপনি কিছু খুব ছোট মান 0.00001 (বলুন) এ \ এপসিলন সেট করতে এবং সমস্ত সম্ভাবনার জন্য শূন্য-না মান সহ এগিয়ে যেতে এবং কেএল স্কোর গণনা করতে চাইতে পারেন।

যদি এটি কাজ করে তবে আমাকে জানান।

Comments

সংযুক্ত চিত্রটির জন্য দয়া করে যথাযথ উদ্ধৃতি যুক্ত করতে পারেন, যদি এটি আপনার না হয় (অন্যথায়, আপনি এটি টাইপসেট করতে ব্যবহার করতে পারেন ), এবং এটিও নির্দেশ করে যে এটি কীভাবে নির্দিষ্ট সমস্যাটিতে প্রযোজ্য? (ওপি স্পষ্টভাবে জানিয়েছে যে তিনি গাণিতিক পরিসংখ্যান সম্পর্কে খুব পারদর্শী নন।)$\LaTeX$

— chl