সম্ভাব্যতা বিতরণ অভিন্ন হলে কেন এন্ট্রপি সর্বাধিক হয়?

32

আমি জানি যে এনট্রপি একটি প্রক্রিয়া / ভেরিয়েবলের এলোমেলোতার পরিমাপ এবং এটি নিম্নলিখিত হিসাবে সংজ্ঞায়িত করা যায়। এলোমেলো পরিবর্তনশীল $X \in$ সেট $A$ : - $H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i))$ । ম্যাককে রচিত এন্ট্রপি এবং তথ্য তত্ত্ব বইটিতে তিনি এই বিবৃতিটি Ch2 এ সরবরাহ করেছেন

পি অভিন্ন হলে এন্ট্রপি সর্বাধিক হয়।

স্বজ্ঞাতভাবে, আমি এটি বুঝতে সক্ষম হচ্ছি, যেমন সেট $A$ এর সমস্ত ডেটাপয়েন্টগুলি সমান সম্ভাবনা $1/m$ ( $m$ সেট কার্ডিনালিটি হওয়া $A$ ) সঙ্গে নেওয়া হয়, তবে এলোমেলোতা বা এনট্রপি বৃদ্ধি পায়। তবে যদি আমরা জানি যে সেট $A$ এর কিছু পয়েন্টগুলি অন্যদের চেয়ে বেশি সম্ভাবনার সাথে ঘটতে চলেছে (স্বাভাবিক বিতরণের ক্ষেত্রে বলুন, যেখানে ডেটা পয়েন্টগুলির সর্বাধিক ঘনত্ব প্রায় কাছাকাছি এবং এর চারপাশে ছোট স্ট্যান্ডার্ড বিচ্যুতির ক্ষেত্র হয়, তবে এলোমেলোতা বা এন্ট্রপি হ্রাস করা উচিত।

তবে এর জন্য কি কোনও গাণিতিক প্রমাণ রয়েছে? এর সমীকরণের মতো $H(X)$ আমি এটি সাথে পৃথক করে $p(x)$ এবং 0 বা এর মতো কিছুতে সেট করি।

পার্শ্ব নোটে, তথ্য তত্ত্ব এবং রসায়নের (থার্মোডাইনামিক্স) এন্ট্রপি গণনার ক্ষেত্রে ঘটে যাওয়া এনট্রপির মধ্যে কি কোনও সংযোগ রয়েছে?

uniform entropy maximum-entropy

— user76170
সূত্র

2

এই প্রশ্নের উত্তর (পাসিংয়ে) stats.stackexchange.com/a/49174/919 এ দেওয়া হয়েছে ।

— শুক্র

ক্রিস্টোফার বিশপস বইয়ে দেওয়া অন্য একটি বিবৃতিতে আমি বেশ বিভ্রান্ত হয়ে পড়ছি যা বলেছে যে "একক আসল পরিবর্তনশীলের জন্য, এন্ট্রপিকে সর্বাধিক বন্টন করা গাউসিয়ান।" এটি আরও বলেছে যে "প্রদত্ত কোভেরিয়েন্সের জন্য সর্বাধিক এনট্রোপি সহ বহু বিতরণ বিতরণ একটি গাউসিয়ান"। এই বিবৃতিটি কীভাবে বৈধ? ইউনিফর্ম বিতরণ এর এন্ট্রপি সর্বদা সর্বোচ্চ?

— ব্যবহারকারী 76170

6

সম্ভাব্য সমাধানের ক্ষেত্রে সীমাবদ্ধতার সাপেক্ষে সর্বোচ্চটি সর্বদা করা হয়। যখন সীমাবদ্ধতাগুলি হ'ল সমস্ত সম্ভাবনা অবশ্যই পূর্বনির্ধারিত সীমা ছাড়িয়ে যেতে হবে, সর্বাধিক এনট্রপি সমাধান অভিন্ন। পরিবর্তে সীমাবদ্ধতাগুলি যখন প্রত্যাশা এবং বৈকল্পিক অবশ্যই পূর্বনির্ধারিত মানগুলির সমান হয়, এমই সমাধান গাউসিয়ান। আপনি যে বক্তব্যগুলি উদ্ধৃত করেছেন তা অবশ্যই নির্দিষ্ট প্রসঙ্গের মধ্যে তৈরি করা উচিত যেখানে এই সীমাবদ্ধতাগুলি বর্ণিত হয়েছিল বা কমপক্ষে অন্তর্নিহিতভাবে বোঝা গিয়েছিল।

— শুক্র

2

আমার সম্ভবত এটিও উল্লেখ করা উচিত যে "এন্ট্রপি" শব্দের অর্থ এখানে মূল প্রশ্নের চেয়ে গাউসিয়ান সেটিং-এর মধ্যে কিছু আলাদা, কারণ তখন আমরা ধারাবাহিক বিতরণের এনট্রপি নিয়ে আলোচনা করছি । এই "ডিফারেনশিয়াল এন্ট্রপি" আলাদা বিতরণের এনট্রপির চেয়ে আলাদা প্রাণী। প্রধান পার্থক্য হ'ল ডিফারেনশিয়াল এন্ট্রপিটি ভেরিয়েবলের পরিবর্তনের অধীনে অদম্য নয়।

— whuber

সুতরাং যার অর্থ সর্বদা সীমাবদ্ধতার সাথে সর্বাধিক? বাধা না থাকলে কী হবে? আমি বলতে চাচ্ছি, এই মত প্রশ্ন আছে? কোন সম্ভাব্যতা বিতরণ সর্বাধিক এনট্রপি আছে?

— ব্যবহারকারী76170

25

Heuristically, উপর সম্ভাব্যতা ঘনত্ব ফাংশন সর্বাধিক এনট্রপি সঙ্গে সক্রিয় আউট এক জ্ঞান অন্তত পরিমাণ অনুরূপ যে হতে , অন্য কথায় ইউনিফর্ম বন্টন। $\{x_1, x_2,..,.x_n\}$ $\{x_1, x_2,..,.x_n\}$

এখন, আরও আনুষ্ঠানিক প্রমাণের জন্য নিম্নলিখিতগুলি বিবেচনা করুন:

একটি সম্ভাব্যতা ঘনত্ব ফাংশন নন-নেগেটিভ বাস্তব সংখ্যার একটি সেট যে 1. এনট্রপি পর্যন্ত যোগ একটি অবিচ্ছিন্ন ফাংশন -tuples , এবং এই পয়েন্ট একটি কম্প্যাক্ট উপসেট থাকা , তাই সেখানে একটি $\{x_1, x_2,..,.x_n\}$ $p_1,...,p_n$ $n$ $(p_1,...,p_n)$ $\mathbb{R}^n$ $n$ -তুপল যেখানে এনট্রপি সর্বাধিক করা হয়। আমরা এই ঘটে দেখাতে চান এবং কোথাও। $(1/n,...,1/n)$

ধরুন, সব সমান নয়, বলুন । (স্পষ্টভাবে ) আমরা উচ্চতর এনট্রপি সহ একটি নতুন সম্ভাবনার ঘনত্ব খুঁজে পাব। তখনই অনুসরণ যেহেতু এনট্রপি কিছু বড় করা হয়, , -tuple যে এনট্রপি স্বতন্ত্র এ বড় করা হয় সঙ্গে -tuple সবার জন্য । $p_j$ $p_1 < p_2$ $n\neq 1$ $n$ $n$ $p_i = 1/n$ $i$

যেহেতু ছোট ইতিবাচক জন্য, আমরা আছে । এর এনট্রপি বিয়োগ এর এনট্রপি $p_1 < p_2$ $\varepsilon$ $p_1 + \varepsilon < p_2 -\varepsilon$ $\{p_1 + \varepsilon, p_2 -\varepsilon,p_3,...,p_n\}$ সমান $\{p_1,p_2,p_3,...,p_n\}$

প্রমাণ সম্পূর্ণ করার জন্য, আমরা এই ছোট যথেষ্ট জন্য ইতিবাচক দেখাতে চান। উপরের সমীকরণটি আবার লিখুন

- p_{1} \log (\frac{p_{1} + ε}{p_{1}}) - ε \log (p_{1} + ε) - p_{2} \log (\frac{p_{2} - ε}{p_{2}}) + ε \log (p_{2} - ε)

$-p_1\log\left(\frac{p_1+\varepsilon}{p_1}\right)-\varepsilon\log(p_1+\varepsilon)-p_2\log\left(\frac{p_2-\varepsilon}{p_2}\right)+\varepsilon\log(p_2-\varepsilon)$

ε

$\varepsilon$

- p_{1} \log (1 + \frac{ε}{p_{1}}) - ε (\log p_{1} + \log (1 + \frac{ε}{p_{1}})) - p_{2} \log (1 - \frac{ε}{p_{2}}) + ε (\log p_{2} + \log (1 - \frac{ε}{p_{2}}))

$-p_1\log\left(1+\frac{\varepsilon}{p_1}\right)-\varepsilon\left(\log p_1+\log\left(1+\frac{\varepsilon}{p_1}\right)\right)-p_2\log\left(1-\frac{\varepsilon}{p_2}\right)+\varepsilon\left(\log p_2+\log\left(1-\frac{\varepsilon}{p_2}\right)\right)$

ছোট জন্য সেই স্মরণ করে , উপরের সমীকরণটি হ'ল যা তখন ইতিবাচক হয় $\log(1 + x) = x + O(x^2)$ $x$

- ε - ε \log p_{1} + ε + ε \log p_{2} + O (ε^{2}) = ε \log (p_{2} / p_{1}) + O (ε^{2})

$-\varepsilon-\varepsilon\log p_1 + \varepsilon + \varepsilon \log p_2 + O(\varepsilon^2) = \varepsilon\log(p_2/p_1) + O(\varepsilon^2)$

থেকে

যথেষ্ট ছোট।

ε

$\varepsilon$

p_{1} < p_{2}

$p_1 < p_2$

একটি কম কঠোর প্রমাণ নিম্নলিখিত:

প্রথমে নীচের লেমাকে বিবেচনা করুন:

যাক এবং একটি বিরতি উপর ক্রমাগত সম্ভাব্যতা ঘনত্ব ফাংশন হতে বাস্তব সংখ্যায় সঙ্গে এবং উপর । আমরা আশা করি আপনি উভয় ইন্টেগ্রাল বিদ্যমান। তদুপরি, কেবলমাত্র এবং যদি সাম্য থাকে তবে $p(x)$ $q(x)$ $I$ $p\geq 0$ $q > 0$ $I$

- \int_{I} p \log p d x \leq - \int_{I} p \log q d x

$-\int_I p\log p dx\leq -\int_I p\log q dx$

সমস্ত

।

p (x) = q (x)

$p(x) = q(x)$

x

$x$

আসুন, এখন কোন সম্ভাব্যতা ঘনত্ব ফাংশন হতে , । সকল জন্য লেট করা , $p$ $\{x_1,...,x_n\}$ $p_i = p(x_i)$ $q_i = 1/n$ $i$ যা এর । সুতরাং আমাদের লেমা , সমতা সহ যদি এবং কেবল সমান হয়।

- \sum_{i = 1}^{n} p_{i} \log q_{i} = \sum_{i = 1}^{n} p_{i} \log n = \log n

$-\sum_{i=1}^n p_i\log q_i = \sum_{i=1}^n p_i \log n=\log n$

q

$q$

h (p) \leq h (q)

$h(p)\leq h(q)$

p

$p$

এছাড়াও, উইকিপিডিয়াতেও এই বিষয়ে একটি সংক্ষিপ্ত আলোচনা রয়েছে: উইকি

— mitchus
সূত্র

11

\exp (H)

$\exp(H)$

\prod {(\frac{1}{p_{i}})}^{p_{i}} \leq \sum p_{i} \frac{1}{p_{i}} = n

$\prod\left(\frac{1}{p_i}\right)^{p_i}\le\sum p_i\frac{1}{p_i}=n$

1 / p_{i}

$1/p_i$

\sum \log n

$\sum{\log{n}}$

\log n

$\log{n}$

4

\sum_{i = 1}^{n} p_{i} \log n = \log n

$\sum\limits_{i=1}^n p_i \log n = \log n$

\sum_{i = 1}^{n} p_{i} \log n = \log n \sum_{i = 1}^{n} p_{i} = \log n \times 1

$\sum\limits_{i=1}^n p_i \log n = \log n \sum\limits_{i=1}^n p_i = \log n \times 1$

\log n

$\log n$

i

$i$

1

$1$

p_{1}, \dots, p_{n}

$p_1,\ldots,p_n$

আরও বিশদ সহ একই ব্যাখ্যা এখানে পাওয়া যাবে: math.uconn.edu/~kconrad/blurbs/analysis/entropypost.pdf

— রোল্যান্ড

14

পদার্থবিজ্ঞান এবং তথ্য তত্ত্বের এন্ট্রপি সম্পর্কিত নয়। তারা নামটির থেকে পৃথক পৃথক, তবুও এর মধ্যে স্পষ্টভাবে একটি লিঙ্ক রয়েছে। এনট্রপি মেট্রিকের উদ্দেশ্য হ'ল তথ্যের পরিমাণ পরিমাপ করা। গ্রাফিক সহ আমার উত্তরটি দেখুন এখানে দেখিয়ে দিন যে কীভাবে অ্যান্ট্রপিটি অবিচ্ছিন্ন বিতরণ থেকে কুঁচকানোতে পরিবর্তিত হয়।

ইউনিফর্ম বিতরণের জন্য কেন ইন্ট্রপিকে সর্বাধিক করা হয় কারণ এটি এটির নকশা করা হয়েছিল! হ্যাঁ, আমরা তথ্যের অভাবের জন্য একটি পরিমাপ তৈরি করছি যাতে আমরা এর সর্বোচ্চ মানটি ন্যূনতম তথ্যবহুল বিতরণের জন্য নির্ধারণ করতে চাই।

উদাহরণ। আমি তোমাকে জিজ্ঞাসা করলাম " ডুড, আমার গাড়িটা কোথায়?" আপনার উত্তরটি "এটি মার্কিন যুক্তরাষ্ট্রে আটলান্টিক এবং প্রশান্ত মহাসাগরগুলির মধ্যে কোথাও"। এটি ইউনিফর্ম বিতরণের একটি উদাহরণ। আমার গাড়ি মার্কিন যুক্তরাষ্ট্রে যে কোনও জায়গায় হতে পারে। এই উত্তর থেকে আমি খুব বেশি তথ্য পাইনি।

তবে, আপনি যদি আমাকে বলেছিলেন "আমি আপনার গাড়িটি এক ঘন্টা আগে ওয়াশিংটন, ডিসি থেকে 66 66 নম্বর রুটে দেখলাম" - এটি আর অভিন্ন বিতরণ নয়। লস অ্যাঞ্জেলেসের কাছাকাছি কোথাও থেকে গাড়িটি ডিসি থেকে 60 মাইল দূরত্বে থাকতে পারে। এখানে আরও পরিষ্কারভাবে তথ্য আছে।

অতএব, আমাদের পরিমাপের প্রথম উত্তরের জন্য উচ্চ এনট্রপি থাকতে হবে এবং দ্বিতীয়টির জন্য একটি কম হবে। ইউনিফর্মটি অবশ্যই তথ্যমূলক বিতরণ হতে হবে, এটি মূলত "আমার কোনও ধারণা নেই" উত্তর।

— Aksakal
সূত্র

7

গাণিতিক যুক্তি অবতল ফাংশনগুলির জন্য জেনসেন অসমতার উপর ভিত্তি করে। অর্থাৎ, যদি $f(x)$ এটি একটি অবতল ফাংশন $[a,b]$ এবং $y_1, \ldots y_n$ পয়েন্ট হয় $[a,b]$ তারপরে: $n \cdot f(\frac{y_1 + \ldots y_n}{n}) \geq f(y_1) + \ldots + f(y_n)$

অবতল ফাংশন জন্য এটি প্রয়োগ করুন $f(x) = -x \log(x)$ এবং জেনসেন অসমতা $y_i = p(x_i)$ এবং আপনি প্রমাণ আছে। মনে রাখবেন যে $p(x_i)$ একটি পৃথক সম্ভাব্যতা বিতরণ সংজ্ঞায়িত করুন, সুতরাং তাদের যোগফল 1। আপনি যা পান তা হয় $log(n) \geq \sum_{i=1}^n - p(x_i) log(p(x_i))$ , অভিন্ন বিতরণের জন্য সমতা সহ।

— অক্টাভিয়ান গ্যানিয়া
সূত্র

1

আমি আসলে জেনসেনের অসমতার প্রমাণটি AM-GM এর চেয়ে ধারণাগতভাবে অনেক গভীর প্রমাণ হিসাবে পেয়েছি।

— কেসব্যাশ

4

পার্শ্ব নোটে, তথ্য তত্ত্ব এবং রসায়নের (থার্মোডাইনামিক্স) এন্ট্রপি গণনার ক্ষেত্রে ঘটে যাওয়া এনট্রপির মধ্যে কি কোনও সংযোগ রয়েছে?

হ্যা এখানে! আপনি জেনেস এবং তাঁর কাজ অনুসরণ করে আরও অনেকের কাজ দেখতে পাবেন (যেমন এখানে এবং এখানে উদাহরণস্বরূপ)।

তবে মূল ধারণাটি হ'ল স্ট্যাটিস্টিকাল মেকানিক্স (এবং বিজ্ঞানের অন্যান্য ক্ষেত্রগুলিকেও) আমরা বিশ্ব সম্পর্কে যে অনুকরণ হিসাবে করি তা হিসাবে দেখা যেতে পারে ।

আরও পড়া হিসাবে আমি এই বিষয়টিতে আরিয়েল ক্যাটিশার বইটি সুপারিশ করব ।

— কাসলসিমোস
সূত্র

1

একটি স্বজ্ঞাত ব্যাখ্যা:

যদি আমরা এলোমেলো পরিবর্তনশীলগুলির একটি ইভেন্টে আরও সম্ভাব্যতা ভর রাখি তবে আমাদের অন্যান্য ইভেন্ট থেকে কিছুটা কেড়ে নিতে হবে। একটিতে তথ্যের পরিমাণ এবং কম ওজন, অন্যদের আরও তথ্যের সামগ্রী এবং কম ওজন থাকবে। সুতরাং এনট্রপিটি প্রত্যাশিত তথ্য সামগ্রী হিসাবে হ্রাস পাবে কারণ কম তথ্য সামগ্রী সহ ইভেন্টটি আরও বেশি করে ওজন করা হবে।

চূড়ান্ত ক্ষেত্রে যেমন একটি ইভেন্ট প্রায় একের সম্ভাবনা পাচ্ছে তা কল্পনা করুন, সুতরাং অন্যান্য ইভেন্টগুলির প্রায় শূন্যের সম্মিলিত সম্ভাবনা থাকবে এবং এনট্রপি খুব কম হবে।

— রোল্যান্ড
সূত্র

0

মূল ধারণা: প্রত্যেকটির আংশিক ডেরাইভেটিভ নিন $p_i$ , এগুলি সমস্তকে শূন্যে সেট করুন, রৈখিক সমীকরণের সিস্টেমটি সমাধান করুন।

একটি সীমাবদ্ধ নম্বর নিন $p_i$ কোথায় $i=1,...,n$ একটি উদাহরণ জন্য। বোঝান $q = 1-\sum_{i=0}^{n-1} p_i$ ।

\begin{aligned} এইচ & = - Σ_{আমি = 0}^{এন - 1} {পি}_{আমি} লগ {পি}_{আমি} - (1 - কুই) লগ কুই \\ এইচ * Ln 2 & = - Σ_{আমি = 0}^{এন - 1} {পি}_{আমি} Ln {পি}_{আমি} - (1 - কুই) Ln কুই \end{aligned}

$\begin{align} H &= -\sum_{i=0}^{n-1} p_i \log p_i - (1-q)\log q\\ H*\ln 2 &= -\sum_{i=0}^{n-1} p_i \ln p_i - (1-q)\ln q \end{align}$

\begin{aligned} \frac{\partial এইচ}{\partial {পি}_{আমি}} & = Ln \frac{কুই}{{পি}_{আমি}} = 0 \end{aligned}

$\begin{align} \frac{\partial H}{\partial p_i} &= \ln \frac{q}{p_i} = 0 \end{align}$ তারপর

q = p_{i}

$q = p_i$ প্রত্যেকের জন্য

i

$i$ অর্থাৎ,

p_{1} = p_{2} = . . . = p_{n}

$p_1=p_2=...=p_n$ ।

— জান ফ্যান
সূত্র

আমি আনন্দিত যে আপনি এটি "মূল ধারণা" উল্লেখ করেছেন কারণ এটি বিশ্লেষণের কেবল একটি অংশ। অন্য অংশটি - যা স্বজ্ঞাত নাও হতে পারে এবং আসলে এটি একটি সামান্য কৌশলযুক্ত - এটি এক বা একাধিক হিসাবে এনট্রপির আচরণ অধ্যয়ন করে বিশ্বব্যাপী সর্বনিম্ন কিনা তা যাচাই করা উচিত

p_{i}

$p_i$ শূন্যে সঙ্কুচিত

— whuber