সর্বোচ্চ এন্ট্রপি বিতরণের পরিসংখ্যানীয় ব্যাখ্যা

23

আমি বিভিন্ন সেটিংসে বেশ কয়েকটি বিতরণের ব্যবহারকে ন্যায়সঙ্গত করতে সর্বোচ্চ এনট্রপির নীতিটি ব্যবহার করেছি; তবে, তথ্য-তাত্ত্বিকের বিপরীতে, সর্বাধিক এনট্রপির ব্যাখ্যা হিসাবে আমি এখনও একটি পরিসংখ্যান তৈরি করতে সক্ষম হতে পারি। অন্য কথায়, এন্ট্রপিটি সর্বাধিকীকরণ কীভাবে বিতরণের পরিসংখ্যানগত বৈশিষ্ট্যগুলি বোঝায়?

কেউ কি নিজেকে চালিয়েছেন বা সম্ভবত নিজেকে সর্বোচ্চের একটি পরিসংখ্যানগত ব্যাখ্যা আবিষ্কার করেছেন। এন্ট্রপি বিতরণগুলি যা তথ্যের জন্য আবেদন করে না, তবে কেবল সম্ভাব্য ধারণাগুলিতে?

যেমন একটি ব্যাখ্যার উদাহরণ হিসাবে (অগত্যা সত্য নয়): "আরভি ডোমেনে স্বেচ্ছাসেবী দৈর্ঘ্যের এল একটি ব্যবধানের জন্য (সরলতার জন্য এটির 1-ডি ধারাবাহিকভাবে ধরে নেওয়া), এই ব্যবধানে থাকা সর্বাধিক সম্ভাবনা হ্রাস করা হয় সর্বাধিক এনট্রপি বিতরণ দ্বারা।

সুতরাং, আপনি দেখতে পাচ্ছেন যে "তথ্যবহুলতা" বা অন্যান্য দার্শনিক ধারণা সম্পর্কে কোনও কথাবার্তা নেই, কেবল সম্ভাব্য প্রভাবগুলি।

— Annika
সূত্র

3

আমি মনে করি আপনি যা সন্ধান করছেন সে সম্পর্কে আপনাকে আরও সুনির্দিষ্ট হতে হবে: এনট্রপিটি "পরিসংখ্যান" হিসাবে বৈকল্পিক ইত্যাদি হিসাবে একটি পরিমাপ হিসাবে অন্তর্ভুক্ত রয়েছে তাই সর্বাধিক এনট্রপি বিতরণ এনট্রপি সর্বাধিক উত্তম পরিসংখ্যানগত বিবরণ। সুতরাং আমার কাছে মনে হচ্ছে আপনাকে একটি "ন্যায্যতা"

— আনার

1

সানভ: আমি সম্মত হই যে একটি পরিসংখ্যানগত কার্যকরী হিসাবে এনট্রপিটি যেমন বৈকল্পিক, প্রত্যাশিত মান, স্কিউ ইত্যাদির মতো "পরিসংখ্যানগত" তবে যাইহোক, উদাহরণ হিসাবে গড় এবং স্ট্যান্ডার্ড বিচ্যুতি ব্যবহার করে, এগুলি মার্কভের এবং চেবিশেভের উপপাদ্যগুলির মাধ্যমে এবং পরিশেষে সম্পূর্ণরূপে সম্ভাব্য ব্যাখ্যা রয়েছে কেন্দ্রীয় সীমাবদ্ধতা উপপাদাগুলির মধ্যে একটি এবং স্বজ্ঞাতভাবে দীর্ঘকালীন অঙ্কের পরিমাণ (গড় জন্য) এবং আরএমএস ত্রুটি (স্ট্যান্ডার্ড বিচ্যুতির জন্য) "সর্বাধিক এনট্রপি বিতরণের সম্ভাব্য ব্যাখ্যার" পড়তে আমার প্রশ্নটি পুনরায় করা উচিত।

— অনিকা

1

Annika, সর্বোচ্চ এনট্রপি বন্টন নিম্নলিখিত ব্যাখ্যা আছে: যদি

IID র্যান্ডম ভেরিয়েবল, তারপর শর্তাধীন probalitity হয়

হিসাবে

যেখানে

সেট থেকে সর্বোচ্চ এনট্রপি বন্টন হয়

X_{1}, X_{2}, \dots

$X_1,X_2,\dots$

P (\cdot | X_{1} + \dots + X_{n} = n a) \to P^{*} (\cdot)

$P(\cdot|X_1+\dots+X_n=na)\to P^*(\cdot)$

n \to \infty

$n\to \infty$

P^{*}

$P^*$

{P : E_{P} X = a}

$\{P:\mathbb{E}_PX=a\}$ । আরও দেখুন ieeexplore.ieee.org/xpls/abs_all.jsp?arnumber=1056374&tag=1

— অশোক

2

ধন্যবাদ অশোক। আমি আরও বিস্তারিতভাবে এই কাগজটি একবার দেখুন। এটি একটি নির্দিষ্ট গড়ের জন্য সর্বাধিক এনট্রপির নির্দিষ্ট ক্ষেত্রে বলে মনে হচ্ছে তবে শ্যানন এনট্রপির সর্বাধিককরণের কাজটি গাণিতিকভাবে কী করছে যা উপরের ফলাফলটি ধরে রাখে? এটি কার্যকরভাবে সম্ভাব্যতার পরিমাপের সর্বাধিক ঘনত্ব বা গড় ঘনত্বকে হ্রাস করছে?

— অনিকা

19

এটি আসলেই আমার ক্ষেত্র নয়, তাই কিছু সংগীত:

আমি অবাক করা ধারণা দিয়ে শুরু করব । অবাক হওয়ার অর্থ কী? সাধারণত, এর অর্থ এমন কিছু ঘটেছিল যা প্রত্যাশিত ছিল না। সুতরাং, এটি একটি সম্ভাবনাময় ধারণাটি অবাক করে এবং এর মতো ব্যাখ্যা করা যেতে পারে (আইজে গুড সে সম্পর্কে লিখেছেন)। আরও দেখুন উইকিপিডিয়া এবং Bayesian সারপ্রাইজ ।

হ্যাঁ / কোনও অবস্থার নির্দিষ্ট ক্ষেত্রে নিন, কিছু ঘটতে পারে বা নাও হতে পারে। এটি সম্ভাবনা $p$ সঙ্গে ঘটে । বলুন, পি = 0.9 এবং যদি এটি হয় তবে আপনি সত্যিই অবাক হন না। যদি $p=0.05$ এবং এটি ঘটে তবে আপনি কিছুটা অবাক হয়েছেন। এবং যদি $p=0.0000001$ এবং এটি ঘটে তবে আপনি সত্যিই অবাক হবেন। সুতরাং, "পর্যবেক্ষণের ফলাফলের জন্য আশ্চর্য মান" এর একটি প্রাকৃতিক পরিমাপ হ'ল যা ঘটেছে তার সম্ভাবনার কিছু (বিরোধী) একঘেয়ে কাজ। যা ঘটেছে তার সম্ভাবনার লগারিদম গ্রহণ করা স্বাভাবিক (এবং ভাল কাজ করে ...) বলে মনে হচ্ছে এবং তারপরে আমরা ইতিবাচক নম্বর পেতে একটি বিয়োগ চিহ্নতে নিক্ষেপ করি। এছাড়াও, লগারিদম গ্রহণের মাধ্যমে আমরা অবাক করার ক্রমের দিকে মনোনিবেশ করি এবং বাস্তবে, সম্ভাব্যতা প্রায়শই কেবল কম বেশি অর্ডার করার জন্য পরিচিত হয় ।

সুতরাং, আমরা

Surprise (A) = - \log p (A)

$\text{Surprise}(A) = -\log p(A)$ সংজ্ঞায়িত করি যেখানে

A

$A$ পরিলক্ষিত ফলাফল, এবং

p (A)

$p(A)$ এর সম্ভাব্যতা।

এখন আমরা জিজ্ঞাসা করতে পারি যে প্রত্যাশিত আশ্চর্য কি ? $X$ সম্ভাব্যতা $p$ সহ একটি বার্নৌলির এলোমেলো পরিবর্তনশীল হতে দিন । এটির দুটি সম্ভাব্য ফলাফল রয়েছে, 0 এবং 1। সম্পর্কিত অবাক মানগুলি

\begin{aligned} Surprise (0) & = - \log (1 - p) \\ Surprise (1) & = - \log p \end{aligned}

$\begin{align} \text{Surprise}(0) &= -\log(1-p) \\ \text{Surprise}(1) &= -\log p \end{align}$ তাই

X

$X$ পর্যবেক্ষণ করার সময় বিস্মিতহওয়া নিজেই প্রত্যাশা

p \cdot - \log p + (1 - p) \cdot - \log (1 - p)

$p \cdot -\log p + (1-p) \cdot -\log(1-p)$ এবং এটাই --- আশ্চর্য! ---

X

$X$ এর এনট্রপি! তাই এনট্রপিআশা করা যায় অবাক!

এখন, এই প্রশ্নটি সর্বাধিক এনট্রপি সম্পর্কে । কেন কেউ সর্বোচ্চ এনট্রপি বিতরণ ব্যবহার করতে চাইবে? ওয়েল, এটি অবশ্যই কারণ তারা সর্বাধিক বিস্মিত হতে চায়! কেন কেউ তা চাইবে?

এটি দেখার একটি উপায় নিম্নলিখিত: আপনি কিছু সম্পর্কে জানতে চান এবং সেই লক্ষ্যে আপনি কিছু শেখার অভিজ্ঞতা (বা পরীক্ষাগুলি ...) সেট আপ করেছেন। আপনি যদি ইতিমধ্যে এই বিষয় সম্পর্কে সবকিছু জানতেন তবে আপনি সর্বদা নিখুঁতভাবে পূর্বাভাস দিতে সক্ষম হন, তাই কখনও অবাক হন না। তারপরে আপনি কখনই নতুন অভিজ্ঞতা পান না, সুতরাং নতুন কিছু শিখবেন না (তবে আপনি ইতিমধ্যে সমস্ত কিছু জানেন --- শেখার মতো কিছুই নেই, তাই ঠিক আছে)। আরও সাধারণ পরিস্থিতিতে যে আপনি বিভ্রান্ত হয়ে পড়েছেন, পুরোপুরি ভবিষ্যদ্বাণী করতে সক্ষম নন, সেখানে একটি শেখার সুযোগ রয়েছে! এটি এই ধারণার দিকে পরিচালিত করে যে আমরা প্রত্যাশিত বিস্ময়ের দ্বারা, " এনট্রপি " দ্বারা "সম্ভাব্য শিক্ষার পরিমাণ" পরিমাপ করতে পারি । সুতরাং, সর্বাধিক এনট্রপি শেখার সুযোগসুবিধা ছাড়া অন্য কিছু নয় । এটি একটি দরকারী ধারণার মতো শোনাচ্ছে, যা পরীক্ষা-নিরীক্ষার নকশা এবং এই জাতীয় জিনিসগুলির ক্ষেত্রে কার্যকর হতে পারে।

একটি কাব্যিক উদাহরণ সুপরিচিত

Wenn einer eine reise macht, ড্যান কান ইর ছিল ইরজহেলেন ...

একটি বাস্তব উদাহরণ: আপনি অনলাইন পরীক্ষার জন্য একটি সিস্টেম ডিজাইন করতে চান (অনলাইন অর্থ যে সবাই একই প্রশ্ন পায় না, প্রশ্নগুলি পূর্ববর্তী উত্তরের উপর নির্ভর করে বেছে নেওয়া হয়, সুতরাং প্রতিটি ব্যক্তির জন্য কোনও উপায়ে অপ্টিমাইজড)।

$p$ $p$ $p=0.5$

$X$ $X$ $\{X=x\}$ $-\log p$ $x$ $f(x)$ $f$

Surprise (x) = - \log f (x)

$\DeclareMathOperator{\E}{\mathbb{E}} \text{Surprise}(x) = -\log f(x)$

X

$X$

E {- \log f (X)} = - \int f (x) \log f (x) d x

$\E \{-\log f(X)\} = -\int f(x) \log f(x) \; dx$

X

$X$

X

$X$

— কেজেটিল বি হালওয়ারসেন
সূত্র

5

এটি আমি দেখেছি সর্বাধিক এনট্রপির সেরা এবং স্বজ্ঞাত ব্যাখ্যা of

— ভ্লাদিস্লাভস ডোভলেলেকস 10'18

3

তথ্য তত্ত্ব এবং সর্বাধিক এনট্রপিতে বিশেষজ্ঞ না হলেও আমি কিছুক্ষণের জন্য এতে আগ্রহী।

এনট্রপি হচ্ছে সম্ভাব্যতা বিতরণের অনিশ্চয়তার একটি পরিমাপ যা মানদণ্ডের সেট অনুসারে উত্পন্ন হয়েছিল। এটি এবং সম্পর্কিত ব্যবস্থা সম্ভাবনা বন্টনকে চিহ্নিত করে। এবং, এটি অনন্য পরিমাপ যা এই মানদণ্ডগুলিকে সন্তুষ্ট করে। এটি স্বয়ং সম্ভাবনার ক্ষেত্রেও একই রকম, যা জেনেস (2003)-এ সুন্দরভাবে ব্যাখ্যা করা হয়েছে, এটি অনন্য পরিমাপ যা যৌক্তিক বিবৃতিগুলির অনিশ্চয়তার কোনও পরিমাপের জন্য কিছু খুব পছন্দসই মানদণ্ডকে সন্তুষ্ট করে।

এন্ট্রপির চেয়ে আলাদা ছিল এমন সম্ভাবনা বিতরণের অনিশ্চয়তার অন্য কোনও পদক্ষেপের ক্ষেত্রে এনট্রপি সংজ্ঞা দেওয়ার জন্য ব্যবহৃত মানদণ্ডগুলির এক বা একাধিক লঙ্ঘন করতে হবে (অন্যথায় এটি অগত্যা এনট্রপি হবে)। সুতরাং, যদি আপনি সম্ভাব্যতা পরিপ্রেক্ষিতে কিছু সাধারণ বিবৃতি ছিল যে একরকম একই ফলাফল সর্বাধিক এনট্রপি যেমন দিয়েছেন ... তারপর এটি হবে হতে সর্বোচ্চ এনট্রপি!

এখন পর্যন্ত সর্বাধিক এনট্রপি বিতরণ সম্পর্কে আমি সম্ভাব্যতার বিবরণটি খুঁজে পেতে পারি সবচেয়ে বেশি জেয়েনসের ঘনত্বের উপপাদ্য । আপনি এটি কাপুর এবং কেশাওয়ান (1992) এ পরিষ্কারভাবে ব্যাখ্যা করতে পারেন। এখানে একটি শিথিল পুনঃস্থাপন:

$p$ $n$ $p_i$ $i=1,...,n$ $m$ $m+1$

$S$ $m+1$ $S_{\textrm{max}}$

$N$

2 এন ({এস}_{সর্বোচ্চ} - এস) ~ χ_{এন - মি - 1}^{2} ।

$2N(S_{\textrm{max}} - S) \sim \chi^2_{n-m-1}.$

এটির সাথে একটি 95% এন্ট্রপি ব্যবধান হিসাবে সংজ্ঞায়িত করা হয়

(S_{max} - \frac{χ_{n - m - 1}^{2} (0.95)}{2 N}, S_{max}) .

$\left( S_{\textrm{max}} - \frac {\chi^2_{n-m-1} (0.95)}{2N}, S_{\textrm{max}} \right).$ So, any other distribution that satisfies the same constraints as the maximum entropy distribution has a 95% chance of having entropy greater than

S_{max} - \frac{χ_{n - m - 1}^{2} (0.95)}{2 N}

$S_{\textrm{max}} - \frac {\chi^2_{n-m-1} (0.95)}{2N}$ .

E.T. Jaynes (2003) Probability Theory: The Logic of Science. Cambridge University Press.

J.N. Kapur and .K. Kesavan (1992) Entropy Optimization Principles with Applications. Academic Press, Inc.

— jvbraun
সূত্র

3

Perhaps not exactly what you are after, but in Rissanen, J. Stochastic Complexity in Statistical Inquiry, World Scientific, 1989, p. 41 there is an interesting connection of maximum entropy, the normal distribution and the central limit theorem. Among all densities with mean zero and standard deviation $\sigma$ , the normal density has maximum entropy.

"Hence, in this interpretation the basic central limit theorem expresses the fact that the per symbol entropy of sums of independent random variables with mean zero and common variance tends to the maximum. This seems eminently reasonable; in fact, it is an expression of the second law of thermodynamics, which Eddington viewed as holding 'the supreme position among the laws of Nature'."

I have not yet explored the implications of this, nor am I sure I fully understand them.

[edit: fixed typo]

— F. Tusell
সূত্র