একটি যৌথ এন্ট্রপি সম্পর্কে অন্তর্দৃষ্টি

Question

জয়েন্ট এন্ট্রপি সম্পর্কে কিছু অন্তর্দৃষ্টি তৈরি করতে আমার সমস্যা হচ্ছে। = যৌথ বিতরণে অনিশ্চয়তা ; = অনিশ্চয়তা ; = মধ্যে অনিশ্চয়তা ।$H(X,Y)$$p(x,y)$$H(X)$$p_x(x)$$H(Y)$$p_y(y)$

যদি এইচ (এক্স) বেশি হয় তবে বিতরণটি আরও অনিশ্চিত এবং যদি আপনি এই জাতীয় বিতরণের ফলাফলটি জানেন তবে আপনার আরও তথ্য রয়েছে! সুতরাং এইচ (এক্স) এছাড়াও তথ্য পরিমাণে।

এখন আমরা$H(X,Y) \leq H(X) + H(Y)$

কিন্তু আপনি যদি জানেন আপনি পেতে পারেন এবং কিছু অর্থে তাই উভয় চেয়ে আরও তথ্য রয়েছে এবং , তাই shouldn ' p (x, y) এর সাথে সম্পর্কিত অনিশ্চয়তা পৃথক অনিশ্চিয়তার যোগফল কত বেশি?$p(x,y)$$p_x(x)$$p_y(y)$$p(x,y)$$p_x(x)$$p_y(y)$

Answer 1

একটি সাধারণ নিয়ম হিসাবে, অতিরিক্ত তথ্য কখনও এন্ট্রপি বাড়ায় না, যা আনুষ্ঠানিকভাবে বলা হয়েছে:

$$\begin{equation} H(X|Y) \leq H(X) \, \, \, * \end{equation}$$

সমতা হোল্ড যদি $X$ এবং $Y$ স্বতন্ত্র, যা বোঝায় $H(X|Y) = H(X)$।

এই ফলাফলটি যৌথ এনট্রপি প্রমাণ করার জন্য ব্যবহার করা যেতে পারে $H(X_1, X_2, ..., X_n) \leq \sum_{i=1}^{n} H(X_i)$। এটি প্রদর্শনের জন্য, একটি সাধারণ কেস বিবেচনা করুন$H(X,Y)$। শৃঙ্খলা নিয়ম অনুসারে, আমরা নিচের মত জোড় এনট্রপি লিখতে পারি

$$\begin{equation} H(X,Y) = H(X|Y) + H(Y) \end{equation}$$

অসমতা বিবেচনা করে $*$, $H(X|Y)$ ভেরিয়েবলের এনট্রপি কখনই বাড়ায় না $X$, এবং অতঃপর $H(X,Y) \leq H(X) + H(Y)$। আনয়ন ব্যবহার করে যে কোনও ক্ষেত্রে দুটির বেশি ভেরিয়েবল জড়িত এমন ক্ষেত্রে এই ফলকে সাধারণীকরণ করতে পারে।

আশা করি এটি যৌথ এনট্রপি সম্পর্কে অস্পষ্টতা (বা আপনার এনট্রপি) হ্রাস করতে সহায়তা করেছে!

Answer 2

শ্যানন এনট্রপির আরও একটি দৃষ্টিভঙ্গি রয়েছে। ভেরিয়েবলের কংক্রিট মান কী তা আপনি প্রশ্নের মাধ্যমে অনুমান করতে চান তা কল্পনা করুন। সরলতার জন্য, কল্পনা করুন যে মানটি আটটি পৃথক মান নিতে পারে$\left(0,1,..., 8\right)$, এবং সমস্ত সমান সম্ভাব্য।

সর্বাধিক দক্ষ উপায় হ'ল বাইনারি অনুসন্ধান করা। প্রথমে আপনি জিজ্ঞাসা করুন 4 এর চেয়ে বেশি বা কম কিনা তারপরে এটি 2 বা 6 এর সাথে তুলনা করুন ইত্যাদি on মোট আপনার তিনটি প্রশ্নের বেশি প্রয়োজন হবে না (যা এই কংক্রিট বিতরণের বিটের সংখ্যা)।

দুটি ভেরিয়েবলের ক্ষেত্রে আমরা সাদৃশ্য রাখতে পারি। যদি তারা স্বতন্ত্র না থাকে তবে তার মধ্যে একটির মূল্য জেনে আপনি পরবর্তী প্রশ্নের জন্য আরও ভাল অনুমান (গড়) করতে সহায়তা করে (এটি ওমিডি দ্বারা চিহ্নিত ফলাফলগুলিতে প্রতিফলিত হয় )। সুতরাং, এন্ট্রপি কম, যদি না তারা সম্পূর্ণ স্বতন্ত্র হয়, যেখানে আপনাকে তাদের মানগুলি স্বাধীনভাবে অনুমান করতে হবে। এন্ট্রপিটি হ'ল মানে হ'ল (এই সুনির্দিষ্ট উদাহরণের জন্য) যে আপনাকে গড় কম প্রশ্ন করা দরকার (অর্থাত্ বেশিরভাগ ক্ষেত্রে আপনি ভাল অনুমান করবেন না)।

Answer 3

মনে হয় আপনি "যদি আরও তথ্য জানা থাকে, তবে অজানা হলে আরও এনট্রপি" ভাবনা তৈরি করছেন appears এই না একটি সঠিক স্বজ্ঞা, কারন যদি বন্টন অজানা, এমনকি আমরা তার এনট্রপি জানি না। যদি বিতরণটি জানা যায়, তবে এন্ট্রপি র্যান্ডম ভেরিয়েবলের উপলব্ধি সম্পর্কে অনিশ্চয়তা বর্ণনা করতে প্রয়োজনীয় তথ্যের পরিমাণের পরিমাণ নির্ধারণ করে , যা অজানা (আমরা কেবল বিতরণটি জেনে এই অনিশ্চয়তার চারপাশের কাঠামোটি জানি)। এন্ট্রপি বিতরণে "উপস্থিত" তথ্যগুলিকে মাপ দেয় না । বিপরীতে: বিতরণে আরও তথ্য "অন্তর্ভুক্ত", অনিশ্চয়তা বর্ণনা করার জন্য কম তথ্য "প্রয়োজনীয়" এবং তাই কমএনট্রপি হয়। অভিন্ন বিতরণটি বিবেচনা করুন: এতে খুব সামান্য তথ্য রয়েছে , কারণ ভেরিয়েবলের সমস্ত সম্ভাব্য মানগুলি সজ্জিত: তাই এটি সীমাবদ্ধ সমর্থন সহ সমস্ত বিতরণের মধ্যে সর্বাধিক এনট্রপি রয়েছে।

জয়েন্ট এন্ট্রপি সম্পর্কিত হিসাবে, আপনি এটি নিম্নলিখিত হিসাবে ভাবতে পারেন: যৌথ বিতরণে দুটি ভেরিয়েবল নির্ভরশীল কি না সে সম্পর্কিত তথ্য রয়েছে, এবং প্রান্তিক বিতরণগুলি প্রাপ্ত করার জন্য পর্যাপ্ত তথ্য রয়েছে। প্রান্তিক বিতরণে দুটি র্যান্ডম ভেরিয়েবল নির্ভরশীল বা স্বতন্ত্র কিনা সে সম্পর্কে তথ্য ধারণ করে না। সুতরাং যৌথ বিতরণে আরও তথ্য রয়েছে এবং জড়িত এলোমেলো ভেরিয়েবলগুলি সম্পর্কে আমাদের কম অনিশ্চয়তা সরবরাহ করে:

বিতরণ অন্তর্ভুক্ত আরও তথ্য $\rightarrow$ ভেরিয়েবলের চারপাশে কম অনিশ্চয়তা $\rightarrow$ এই অনিশ্চয়তা বর্ণনা করতে প্রয়োজন কম তথ্য $\rightarrow$ কম এনট্রপি।

Comments

থ্যাঙ্কস, এটি বিষয়গুলিকে খুব স্পষ্ট করে তোলে। আমি সেই লাইন ধরেই ভাবছিলাম যে কোনও বিতরণের ক্ষেত্রে পারস্পরিক সম্পর্কের ক্ষেত্রে এক জোড়া মানের অনিশ্চয়তা হ্রাস করা উচিত$(X,Y)$ এবং অতঃপর $H(X,Y)$ এটি অবশ্যই ছোট হতে হবে $H(X) + H(Y)$।

— ব্যবহারকারীর 21455

হ্যাঁ, তার মূল কথা।

— অ্যালেকোস পাপাদোপল্লো