পয়েন্টওয়াইজ মিউচুয়াল তথ্যের সীমানা প্রদত্ত পারস্পরিক তথ্যের সীমানা

ধরুন আমার কাছে দুটি সেট $X$ এবং $Y$ এবং এই সেটগুলি উপর একটি যৌথ সম্ভাব্যতা বিতরণ রয়েছে $p(x,y)$ । যাক $p(x)$ এবং $p(y)$ উপর প্রান্তিক ডিস্ট্রিবিউশন বোঝাতে $X$ এবং $Y$ যথাক্রমে।

$X$ এবং মধ্যে পারস্পরিক $Y$ সংজ্ঞায়িত করা হয়েছে:

I (X; Y) = \sum_{x, y} p (x, y) \cdot \log (\frac{p (x, y)}{p (x) p (y)})

$I(X; Y) = \sum_{x,y}p(x,y)\cdot\log\left(\frac{p(x,y)}{p(x)p(y)}\right)$

অর্থাত্ এটি পয়েন্টওয়াইজ মিউচুয়াল ইনফরমেশন পিএমআই এর গড় মান $(x,y) \equiv \log\left(\frac{p(x,y)}{p(x)p(y)}\right)$ ।

ধরুন আমি পিএমআই উপরের এবং নিম্ন সীমানা $(x,y)$ জানি: অর্থাত্ আমি জানি যে সমস্ত $x,y$ নিম্নলিখিতটি ধারণ করে:

- k \leq \log (\frac{p (x, y)}{p (x) p (y)}) \leq k

$-k \leq \log\left(\frac{p(x,y)}{p(x)p(y)}\right) \leq k$

কি উপরের আবদ্ধ এই পরোক্ষভাবে করে $I(X; Y)$ । অবশ্যই এটি বোঝায় $I(X; Y) \leq k$ তবে সম্ভব হলে আমি আরও শক্ততর বাঁধতে চাই। এটি আমার কাছে প্রশংসনীয় বলে মনে হয় কারণ পি সম্ভাব্যতা বন্টনকে সংজ্ঞায়িত করে এবং পিএমআই এবং $(x,y)$ এর প্রতিটি মানের জন্য তার সর্বোচ্চ মান (বা এমনকি নেতিবাচকও হতে পারে) নিতে পারে না । $x$ $y$

entropy mutual-information information-theory

— ফ্লোরিয়ান
সূত্র

যখন যৌথ এবং প্রান্তিক সম্ভাবনাগুলি সমান হয়, পিএমআই (

) সমানভাবে শূন্য হয় (এবং তাই অ-নেতিবাচক, স্পষ্টতই আপনার শেষ বিবৃতিটির বিরোধিতা করে তবে সবেমাত্র)। এটা আমার মনে হচ্ছে, আমি যদি ভুল না করে থাকি, ছোট সাব-সেট নির্বাচন উপর এই অবস্থা perturbing যে

ইঙ্গিত PMI উপর সীমা সম্পর্কে প্রায় কিছুই বলতে

নিজেই।

x

$x$

y

$y$

X \times Y

$X \times Y$

I (X; Y)

$I(X;Y)$

— হোবার

আসলে, যদি

এবং

স্বতন্ত্র থাকে তবে প্রান্তিক বন্টন নির্বিশেষে

স্থির থাকে। সুতরাং

বিতরণগুলির একটি সম্পূর্ণ শ্রেণি রয়েছে যার জন্য

প্রতিটি

এবং

জন্য সর্বোচ্চ মান অর্জন করে ।

X

$X$

Y

$Y$

p m i (x, y)

$\mathrm{pmi}(x,y)$

p (x, y)

$p(x,y)$

p m i (x, y)

$\mathrm{pmi}(x,y)$

x

$x$

y

$y$

— কার্ডিনাল

হ্যাঁ, এটি অবশ্যই সত্য যে পিএমআই

সমস্ত

এবং

জন্য সমান হতে পারে তবে এটি একটি শক্ত বাঁধাকে অস্বীকার করে না। উদাহরণস্বরূপ, এটি প্রমাণ করা কঠিন নয় যে

। এটি

যখন

, এবং

যখন আবদ্ধ

এর অ-তুচ্ছ শক্তিশালীকরণ । আমি অবাক হচ্ছি যে সাধারণভাবে সাধারণত এমন কিছু অপ্রচলিত সীমারেখা রয়েছে কি না।

(x, y)

$(x,y)$

x

$x$

y

$y$

I (X; Y) \leq k (e^{k} - 1)

$I(X; Y) \leq k(e^k-1)$

\approx k^{2}

$\approx k^2$

k < 1

$k < 1$

k

$k$

k < 1

$k < 1$

— ফ্লোরিয়ান

আমি সন্দেহ করি যে আপনি

জন্য

চেয়ে আরও ভাল বাঁধাই পাবেন । আপনি যদি আরও শক্ত দেখতে চান তবে পি (এক্স) পি (ই) এবং পি (এক্স, ওয়াই) এর মধ্যে কেএল ডাইভার্জেন্সের ক্ষেত্রে আপনার প্রশ্নটি পুনরায় ফ্রেম করার চেষ্টা করুন। পিনস্কারের অসাম্যতা এমআই-তে একটি নিম্ন সীমা সরবরাহ করে যা আমার কুঁচকে নিশ্চিত হতে পারে। এছাড়াও আজমাআর.আর.জি . / আরজিএমআইএ / পেপারস / ভি 2 এন 4/ relog.pdf এর বিভাগ 4 দেখুন ।

O (k^{2})

$O(k^2)$

k \to 0

$k \to 0$

— vqv

উত্তর:

আমার অবদানের একটি উদাহরণ রয়েছে। এটি কীভাবে পারস্পরিক তথ্যকে পয়েন্টওয়াইজ মিউচুয়াল তথ্যের উপর ভিত্তি করে সীমাবদ্ধ করা যায় তার কিছু সীমা চিত্রিত করে illust

নিন এবং সবার জন্য । কোন দিন সমীকরণ সমাধান হতে $X = Y = \{1,\ldots, n\}$ $p(x) = 1/n$ $x \in X$ $m \in \{1,\ldots, n/2\}$ $k > 0$

m e^{k} + (n - m) e^{- k} = n .

$m e^{k} + (n - m) e^{-k} = n.$ তারপর আমরা স্থান বিন্দু ভর

মধ্যে

পণ্যের স্থান পয়েন্ট

এমনভাবে আছে মধ্যে

প্রতিটি সারির এবং প্রতিটি কলামে এই পয়েন্ট। (এটি বেশ কয়েকটি উপায়ে করা যেতে পারে for উদাহরণস্বরূপ, প্রথম সারিতে প্রথম

পয়েন্ট দিয়ে শুরু করুন এবং তারপরে প্রতিটি সারির জন্য চক্রাকার সীমানা শর্তের সাথে

পয়েন্টগুলি একটিকে ডানে সরিয়ে রেখে অবশিষ্ট সারিগুলি পূরণ করুন )। আমরা বাকী ভর

বাকি

e^{k} / n^{2}

$e^k / n^2$

n m

$nm$

{1, \dots, n}^{2}

$\{1,\ldots,n\}^2$

m

$m$

m

$m$

m

$m$

e^{- k} / n^{2}

$e^{-k}/n^2$

পয়েন্ট। এই বিন্দু জনগণের যোগফল

n^{2} - n m

$n^2 - nm$

সুতরাং তারা সম্ভাব্যতা পরিমাপ দেয়। সমস্ত প্রান্তিক পয়েন্ট সম্ভাবনা

\frac{n m}{n^{2}} e^{k} + \frac{n^{2} - n m}{n^{2}} e^{- k} = \frac{m e^{k} + (n - m) e^{- k}}{n} = 1,

$\frac{nm}{n^2} e^{k} + \frac{n^2 - nm}{n^2} e^{-k} = \frac{me^k + (n-m)e^{-k}}{n} = 1,$

\frac{m}{n^{2}} e^{k} + \frac{m - n}{n^{2}} e^{- k} = \frac{1}{n},

$\frac{m}{n^2} e^{k} + \frac{m - n}{n^2} e^{-k} = \frac{1}{n},$ সুতরাং উভয় প্রান্তিক বিতরণ অভিন্ন।

নির্মাণের মাধ্যমে এটি পরিষ্কার হয়ে গেছে যে সমস্ত , এবং (কিছু গণনার পরে) $\mathrm{pmi}(x,y) \in \{-k,k\},$ $x,y \in \{1,\ldots,n\}$

I (X; Y) = k \frac{n m}{n^{2}} e^{k} - k \frac{n^{2} - n m}{n^{2}} e^{- k} = k (\frac{1 - e^{- k}}{e^{k} - e^{- k}} (e^{k} + e^{- k}) - e^{- k}),

$I(X;Y) = k \frac{nm}{n^2} e^{k} - k \frac{n^2 - nm}{n^2} e^{-k} = k\Big(\frac{1-e^{-k}}{e^k - e^{-k}} (e^k + e^{-k}) - e^{-k}\Big),$

k^{2} / 2

$k^2 / 2$

k \to 0

$k \to 0$

k

$k$

k \to \infty

$k \to \infty$

— NRH
সূত্র

I'm not sure if this is what you are looking for, as it is mostly algebraic and not really leveraging the properties of p being a probability distribution, but here is something you can try.

Due to the bounds on pmi, clearly $\frac{p(x,y)}{p(x)p(y)}\leq e^k$ and thus $p(x,y)\leq p(x)p(y)\cdot e^k$ . We can substitute for $p(x,y)$ in $I(X;Y)$ to get $I(X;Y)\leq \sum_{x,y}p(x)p(y)\cdot e^k\cdot log(\frac{p(x)p(y)\cdot e^k}{p(x)p(y)}) = \sum_{x,y}p(x)p(y)\cdot e^k\cdot k$

I'm not sure if that's helpful or not.

EDIT: Upon further review I believe this is actually less useful than the original upper bound of k. I won't delete this though in case it might hint at a starting point.

— Michael McGowan
সূত্র

The value of this bound becomes apparent after you note

\sum_{x, y} p (x) p (y) = 1

$\sum_{x,y}p(x)p(y)=1$ and (since

k \geq 0

$k \ge 0$ ) that

e^{k} \geq 1

$e^k \ge 1$ .

— whuber

Yes, when I realized that I made my edit.

— Michael McGowan