পারস্পরিক তথ্য অর্জনের মান 1 এর চেয়ে বেশি হতে পারে

Question

আমার খুব প্রাথমিক সন্দেহ আছে। এই কিছু বিরক্ত যদি দুঃখিত। আমি জানি যে মিউচুয়াল ইনফরমেশন মানটি 0 এর চেয়ে বেশি হওয়া উচিত তবে এটি কি 1 এর চেয়ে কম হওয়া উচিত? এটি কি কোনও উচ্চ মানের দ্বারা আবদ্ধ?

ধন্যবাদ, অমিত

Answer 1

হ্যাঁ, এটির উপরের বাউন্ড রয়েছে তবে 1 নয়।

পারস্পরিক তথ্য (বিট মধ্যে) 1 যখন দুই পক্ষের (পরিসংখ্যানগত) শেয়ার এক তথ্য বিট। যাইহোক, তারা একটি নির্বিচারে বড় ডেটা ভাগ করতে পারেন। বিশেষত, যদি তারা 2 টি বিট ভাগ করে নেয় তবে তা 2।

পারস্পরিক তথ্য উপরে থেকে একক পক্ষের জন্য সম্ভাব্য বিতরণের শ্যানন এনট্রপি দ্বারা আবদ্ধ , যেমন ।$I(X,Y) \leq \min \left[ H(X), H(Y) \right]$

Comments

দুটি পক্ষ যদি বাইনারি ভেরিয়েবল হয় তবে প্রত্যেকটির দুটি মাত্র সম্ভাব্য ফলাফল থাকে {0,1} , তারপরে সর্বোচ্চ এ বের হয় যখন এবং । সুতরাং, দুটি বাইনারি ভেরিয়েবলের সর্বাধিক পারস্পরিক তথ্য হ'ল$X,Y$$H(X), H(Y)$$1$$P(X)=0.5$$P(Y)=0.5$$1$

— আকসেলি পালান