অনুশীলনে কুলব্যাক-লেবলার ডাইভারজেন্স গণনা করবেন?

15

আমি 2 মধ্যে অনৈক্য একটি পরিমাপ হিসাবে কেএল ডাইভারজেন্স ব্যবহার করছি এবং $p.m.f.$ $P$ $Q$ ।

D_{K L} (P | | Q) = \sum_{i = 1}^{N} \ln (\frac{P_{i}}{Q_{i}}) P_{i}

$D_{KL}(P||Q) = \sum_{i=1}^N \ln \left( \frac{P_i}{Q_i} \right) P_i$

= - \sum P (X_{i}) l n (Q (X_{i})) + \sum P (X_{i}) l n (P (X_{i}))

$=-\sum P(X_i)ln\left(Q(X_i)\right) + \sum P(X_i)ln\left(P(X_i)\right)$

যদি তবে আমরা সহজেই গণনা করতে পারি যে

P (X_{i}) = 0

$P(X_i)=0$

P (X_{i}) l n (Q (X_{i})) = 0

$P(X_i)ln\left(Q(X_i)\right)=0$

P (X_{i}) l n (P (X_{i})) = 0

$P(X_i)ln\left(P(X_i)\right)=0$

তবে যদি এবং কীভাবে গণনা করবেন

P (X_{i}) \neq 0

$P(X_i)\ne0$

Q (X_{i}) = 0

$Q(X_i)=0$

P (X_{i}) l n (Q (X_{i}))

$P(X_i)ln\left(Q(X_i)\right)$

distributions distance kullback-leibler

— smwikipedia
সূত্র

প্রত্যেকের কিছুটা সময় বাঁচানোর জন্য আপনি কী বোঝাতে চেয়েছিলেন আপনি পরিবর্তন করতে পারেন থেকে এ "\ নে" টোকেন সহ

P (X_{i})! = 0

$P(X_i)!=0$

P (X_{i}) \neq 0

$P(X_i) \ne 0$

, আপনার অর্থ কি সমস্ত ? এই ক্ষেত্রে কেএল ডাইভারজেন্সটি সংজ্ঞায়িত করা হয়নি, যেহেতু সম্ভাব্যতা ফাংশন নয় (তাদের সমর্থনের জন্য অবশ্যই 1 এর সমষ্টি হতে হবে)।

Q (X_{i}) = 0

$Q(X_i) = 0$

X_{i}

$X_i$

Q

$Q$

@ ম্যাথিউ ধন্যবাদ, সংশোধন হয়েছে। আমি আমার কোডিং অভ্যাসটি দুর্ঘটনাক্রমে অনুসরণ করেছি।

— smwikedia

@ ম্যাথহে কিছু , সমস্ত নয়। আমি বেস একটি ওয়ার্কঅ্যারাউন্ড বিবেচনা করছি এবং উপর একই সেট ফলাফল ও একটি ছোট যোগ ছদ্ম গণনা , 0.001, না-শো-আপ ফলাফল জন্য বলে। এটি শূন্য-মূল্যবান সম্ভাবনাগুলি এড়াতে পারে। তবে কোনও পার্শ্ব প্রতিক্রিয়া আছে কিনা তা আমি নিশ্চিত নই।

Q (X_{i}) = 0

$Q(X_i)=0$

X_{i}

$X_i$

P

$P$

Q

$Q$

— স্মিভিকিপিডিয়া

15

আপনি পারবেন না এবং আপনিও পারবেন না। ভাবুন যে আপনার সম্ভাবনা বিতরণের প্রশ্নে এলোমেলো পরিবর্তনশীল প্র। তবে আপনার বন্ধু বব মনে করেন যে ফলাফলটি সম্ভাবনা বন্টন পি থেকে এসেছিল He ফলাফল। তবে, যেহেতু তিনি পি থেকে এনকোডিং তৈরি করেছেন এবং Q থেকে নয়, তাই তার কোডগুলি প্রয়োজনের চেয়ে দীর্ঘ হবে। কেএল-ডাইভারজেন্স পরিমাপ করুন কোডগুলি কত দীর্ঘ হবে।

এখন বলি যে তার একটি মুদ্রা রয়েছে এবং তিনি কী ফলাফলের ক্রমটি আপনাকে বলতে চান tell কারণ মাথা এবং লেজ সমানভাবে সম্ভবত সেগুলি উভয়কেই 1 বিট কোড দেয়। মাথা জন্য 0, লেজ জন্য 1। যদি সে লেজের মাথার লেজ পায় তবে সে 1 1 0 পাঠাতে পারে। এখন, যদি তার মুদ্রা প্রান্তে অবতরণ করে তবে তিনি আপনাকে সম্ভবত বলতে পারবেন না! তিনি আপনাকে যে কোড পাঠায় সে কাজ করবে না। এই মুহুর্তে কেএল-ডাইভারজেন্সটি ভেঙে যায়।

যেহেতু কেএল-ডাইভারজেনটি ভেঙে যায় আপনাকে অন্য কোনও পরিমাপ বা অন্যান্য সম্ভাব্যতা বিতরণ ব্যবহার করতে হবে। আপনার যা করা উচিত তা নির্ভর করে আপনি কী চান on আপনি কেন সম্ভাবনা বিতরণের তুলনা করছেন? আপনার সম্ভাব্যতা বিতরণগুলি কোথা থেকে আসে, সেগুলি ডেটা থেকে অনুমান করা হয়?

আপনি বলছেন যে আপনার সম্ভাব্যতা বিতরণগুলি কোনওভাবে প্রাকৃতিক ভাষার নথি থেকে আসে এবং আপনি জোড়া বিভাগের তুলনা করতে চান।

প্রথমত, আমি একটি প্রতিসম সম্পর্কিত সম্পর্কিত পরিমাপের পরামর্শ দেব। এই অ্যাপ্লিকেশনটির জন্য এটি A এর সাথে B এর সমান বলে মনে হয় যেমন B এর সাথে অনুরূপ A.

আপনি কি কোসাইন অনুরূপতা পরিমাপ চেষ্টা করেছেন? এনএলপিতে এটি বেশ সাধারণ।

আপনি যদি কেএল দিয়ে আটকে থাকতে চান, তবে একটি জিনিস আপনি উভয় নথির থেকে সম্ভাব্যতার ফাংশনটি অনুমান করতে পারেন এবং তারপরে দেখুন কোনও দুটি নথির জন্য আপনার কতটা অতিরিক্ত বিট প্রয়োজন হবে। এটি (পি || (পি + কিউ) / 2 + কিউ || (পি + কিউ) / 2) / 2)

— user1417648
সূত্র

দুর্দান্ত ব্যাখ্যা কিন্তু কিছুটা বিভ্রান্তিকর: আপনি প্রথম অনুচ্ছেদে যেভাবে বর্ণনা করেছেন, তা কি কেএল (কিউ || পি) নয়?

— জুরজেন

8

বাস্তবে, আমি এই সমস্যাটিও চালিয়েছি। এই ক্ষেত্রে, আমি খুঁজে পেয়েছি যে খুব অল্প সংখ্যক জন্য 0 এর মান প্রতিস্থাপন করা সমস্যা তৈরি করতে পারে। আপনি যে মানটি ব্যবহার করেন তার উপর নির্ভর করে আপনি কেএল মানটিতে একটি "পক্ষপাত" প্রবর্তন করবেন। আপনি যদি অনুমানের পরীক্ষার জন্য কেএল মানটি ব্যবহার করছেন বা কোনও থ্রোসোল্ড জড়িত এমন কোনও অন্য ব্যবহারের জন্য ব্যবহার করছেন, তবে এই ছোট মানটি আপনার ফলাফলকে পক্ষপাতিত্ব করতে পারে। আমি খুঁজে পেয়েছি যে এর সাথে মোকাবিলা করার সর্বাধিক কার্যকর উপায়টি কেবলমাত্র একটি ধারাবাহিক হাইপোথিসিস স্পেস X_i যেখানে কেথ পি এবং কিউ অ-শূন্য নয় সেখানে কেএলকে গণনা করা। মূলত, এটি কেএল এর ডোমেনটিকে এমন একটি ডোমেনের মধ্যে সীমাবদ্ধ করে যেখানে উভয়ই সংজ্ঞায়িত হয় এবং হাইপোথিসিস পরীক্ষাগুলি সম্পাদন করতে কেএল ব্যবহার করার সময় আপনাকে সমস্যার থেকে দূরে রাখে।

— concipiotech
সূত্র

ধন্যবাদ। এটি একটি আকর্ষণীয় পরামর্শ। মূলত, এটি একই ফলাফলের সেট এবং পি এবং কিউ ভিত্তিক করার চেষ্টা করছে। আমি চেষ্টা করব।

— smwikedia

যদি আমি ডেটা উপসেটের উপরে কেএল গণনা করি যেখানে পি এবং কিউ উভয়ই শূন্য নয়, তখন কি আমাকে সেই উপসেটের উপরে পি এবং কিউ পুনরায় স্বাভাবিক করতে হবে? বা কেবল আসল সম্ভাবনার মানটি ব্যবহার করবেন? আমি মনে করি আমার করা উচিত. অন্যথায়, পি এবং কিউ এখনও একই বেসে নেই।

— স্মিভিকিপিডিয়া

আমি শুধু আপনার পরামর্শ দিয়ে চেষ্টা করেছি। পি 10 কে-এর বেশি ফলাফল বিতরণ করে এবং কিউ 10K ফলাফলেরও বেশি বিতরণ করে। তবে পি এবং কিউয়ের কেবল 3K ফলাফল রয়েছে। আমি যদি কেবল পি ও কিউয়ের মধ্যে পার্থক্যটি অনুমান করার জন্য সাধারণ 3 কে ফলাফলগুলি ব্যবহার করি তবে আমি এটি যুক্তিসঙ্গত বলে মনে করি না। কারণ আমরা অনেক কিছুই উপেক্ষা করছি। এবং বিটিডব্লিউ, এই পদ্ধতির সাথে ফলাফলটি আমি একটি সংখ্যক সংখ্যক (বা সিউডো গণনা) যোগ করে যা পেয়েছি তার থেকে একেবারে আলাদা।

— স্মিভিকিপিডিয়া

কিছু প্রসঙ্গ যুক্ত করুন, আমি একটি এনএলপি পরীক্ষায় কাজ করছি। আমার কাছে বেশ কয়েকটি বিভাগের নথি রয়েছে এবং আমি বলতে চাই প্রতিটি বিভাগের একে অপরের সাথে কীভাবে সম্পর্কিত।

— স্মিভিকিপিডিয়া

5

$Q_i=0$ $i$ $Q_i$ $Q_i$ $Q$ $P$ । যদি অনুমানটি বাস্তবে একটি ইতিবাচক সম্ভাবনা থাকে এমন কোনও ইভেন্টের জন্য 0 সম্ভাবনার পূর্বাভাস দেয় তবে আপনি অসীম চমকপ্রদ সময়টির শতকরা কিছু শতাংশ এবং এইভাবে গড়ে অসীম আশ্চর্যর অভিজ্ঞতা অর্জন করতে পারেন।

সমাধানটি হ'ল আনুমানিক বিতরণে 0 বা 1 সম্ভাব্যতাগুলিকে কখনও অনুমতি না দেওয়া। এটি সাধারণত গুড-ট্যুরিং স্মুথিং, ডিরিচলেট স্মুথিং বা ল্যাপ্লেস স্মুথিংয়ের মতো কিছু ধরণের স্মুথনের মাধ্যমে অর্জন করা হয়।

— ড্যানিয়েল মাহলার
সূত্র