লগ (পি (এক্স, y)) কীভাবে পয়েন্ট-ভিত্তিক পারস্পরিক তথ্যকে স্বাভাবিক করে তোলে?

Question

আমি পয়েন্টওয়াইজ মিউচুয়াল তথ্যের সাধারণীকরণ ফর্মটি বোঝার চেষ্টা করছি।

$npmi = \frac{pmi(x,y)}{log(p(x,y))}$

লগের যৌথ সম্ভাবনা কেন [-1, 1] এর মধ্যে থাকা পয়েন্টওয়্যার মিউচুয়াল তথ্যকে স্বাভাবিক করে তোলে?

বিষয় ভিত্তিক পারস্পরিক তথ্য হ'ল:

$pmi = log(\frac{p(x,y)}{p(x)p(y)})$

পি (x, y) দ্বারা আবদ্ধ হয় [0, 1] সুতরাং লগ (পি (x, y)) (, 0] দ্বারা আবদ্ধ হয় It মনে হয় লগ (পি (x, y)) এর মধ্যে কিছুটা ভারসাম্য পরিবর্তন হওয়া উচিত সংখ্যক, তবে ঠিক কীভাবে তা আমি বুঝতে পারি না It এটি আমাকে এন্ট্রপিরও স্মরণ করিয়ে দেয় $h=-log(p(x))$, কিন্তু আবার আমি সঠিক সম্পর্কটি বুঝতে পারি না।

Comments

স্টার্টারের জন্য, পয়েন্টওয়াইজ মিউচুয়াল তথ্য লোগারিদম ব্যবহার করে (আমি নিশ্চিত নই যে এর টাইপো বা আপনি অন্য পরিমাণ ব্যবহার করছেন কিনা )।

— পাইটর মিগডাল

Answer 1

বিপরীতে পারস্পরিক তথ্য উইকিপিডিয়া এন্ট্রি থেকে :

পয়েন্টওয়াইজ মিউচুয়াল তথ্যগুলি [-1, + 1] এর মধ্যে স্বাভাবিক করা যায় যার ফলে -1 (সীমাতে) কখনই একসাথে ঘটে না, 0 স্বাধীনতার পক্ষে এবং সম্পূর্ণ সহ-ঘটনার জন্য +1 হয়।

কেন এমন হয়? ঠিক আছে, পয়েন্টওয়াইজ পারস্পরিক তথ্যের সংজ্ঞাটি হ'ল

$$pmi \equiv \log \left[ \frac{p(x,y)}{p(x)p(y)} \right] = \log p(x,y) - \log p(x) - \log p(y),$$

যদিও সাধারণ বিন্দুগত পারস্পরিক তথ্য হ'ল:

$$npmi \equiv \frac{pmi}{-\log p(x,y)} = \frac{\log[ p(x) p(y)]}{\log p(x,y)} - 1.$$

যখন আছে:

• কোন সহ-ঘটনা, $\log p(x,y)\to -\infty$, সুতরাং এনএমপিআই -1,
• এলোমেলোভাবে সহ-উপস্থিতি, $\log p(x,y)= \log[p(x) p(y)]$সুতরাং, এনএমপিআই 0 হয়,
• সম্পূর্ণ সহ-উপস্থিতি, $\log p(x,y)= \log p(x) = \log p(y)$, সুতরাং এনএমপিআই হয় 1।

Comments

এনপিএমআই কেন বিরতিতে রয়েছে তা দেখানোর জন্য এটি আরও সম্পূর্ণ উত্তর হবে $[-1,1]$। অন্য উত্তরে আমার প্রমাণ দেখুন।

— হান্স 20

Answer 2

পাইওটার মিগডালের উত্তর উদাহরণ দেওয়ার ক্ষেত্রে তথ্যবহুল যেখানে এনএমপিআই তিনটি চূড়ান্ত মান অর্জন করে, এটি প্রমাণ করে না যে এটি অন্তরালে রয়েছে $[-1,1]$। এখানে অসমতা এবং এর উদ্দীপনা।

$$\begin{align} &\log\,p(x,y) \\ \le&\log\,p(x,y))-\log\,p(x)-\log\,p(y) \\ =&\log \frac{p(x,y)}{p(x)p(y)}=:\text{pmi}(x;y) \\ =&\log\, p(y|x)+\log\, p(y|x)-\log\,p(x,y) \\ \le&-\log\,p(x,y) \end{align}$$ যেমন $-\log\,p(A)\ge0$ যে কোনও অনুষ্ঠানের জন্য $A$। অ-নেতিবাচক দ্বারা উভয় পক্ষ ভাগ করা$h(x,y):=-\log\,p(x,y)$, আমাদের আছে $$-1\le\text{nmpi}(x;y):=\frac{\text{mpi(x;y)}}{h(x,y)}\le1.$$