এন্ট্রপি আমাদের কী বলে?

আমি এন্ট্রপির বিষয়ে পড়ছি এবং ধারাবাহিক ক্ষেত্রে এর অর্থ কী তা ধারণা করে নেওয়ার জন্য খুব কঠিন সময় পার করছি। উইকি পৃষ্ঠাতে নিম্নলিখিতটি উল্লেখ করা হয়েছে:

ইভেন্টগুলির সম্ভাব্যতা বন্টন, প্রতিটি ইভেন্টের তথ্য পরিমাণের সাথে মিলিয়ে একটি এলোমেলো ভেরিয়েবল গঠন করে যার প্রত্যাশিত মান এই বন্টন দ্বারা উত্পন্ন তথ্যগুলির গড় পরিমাণ বা এনট্রপি is

তাই যদি আমি ধারাবাহিকভাবে সম্ভাব্য বন্টনের সাথে সম্পর্কিত এনট্রপি গণনা করি তবে তা আমাকে সত্যিই কী বলছে? তারা মুদ্রা উল্টানো সম্পর্কে একটি উদাহরণ দেয়, সুতরাং পৃথক ক্ষেত্রে, কিন্তু যদি অবিচ্ছিন্ন ক্ষেত্রে এর মতো উদাহরণের মাধ্যমে ব্যাখ্যা করার কোনও স্বজ্ঞাত উপায় থাকে তবে তা দুর্দান্ত!

এটি যদি সহায়তা করে তবে অবিচ্ছিন্ন র্যান্ডম ভেরিয়েবল জন্য এনট্রপির সংজ্ঞাটি নীচে : $X$

H (X) = - \int P (x) \log_{b} P (x) d x

$H(X)=-\int P(x)\log_b P(x)dx$ যেখানে সম্ভাব্যতা বন্টন ফাংশন।

P (x)

$P(x)$

এটি আরও কংক্রিট করার চেষ্টা করার জন্য, , তারপরে, উইকিপিডিয়া অনুসারে , এনট্রপিটি হ'ল $X\sim \text{Gamma}(\alpha,\beta)$

\begin{aligned} H (X) & = E [- \ln (P (X))] \\ = E [- α \ln (β) + \ln (Γ (α)) + \ln (Γ (α)) - (α - 1) \ln (X) + β X] \\ = α - \ln (β) + \ln (Γ (α)) + (1 - α) (\frac{d}{d α} \ln (Γ (α))) \end{aligned}

$\begin{align} H(X)&=\mathbb{E}[-\ln(P(X))]\\ &=\mathbb{E}[-\alpha\ln(\beta)+\ln(\Gamma(\alpha))+\ln(\Gamma(\alpha))-(\alpha-1)\ln(X)+\beta X]\\ &=\alpha-\ln(\beta)+\ln(\Gamma(\alpha))+(1-\alpha)\left(\frac{d}{d\alpha}\ln(\Gamma(\alpha))\right) \end{align}$

এবং তাই এখন আমরা একটি অবিচ্ছিন্ন বিতরণ (গামা বিতরণ) এর জন্য এনট্রপি গণনা করেছি এবং সুতরাং আমি যদি এখন এই অভিব্যক্তিটি, , এবং প্রদত্ত মূল্যায়ন করি তবে সেই পরিমাণটি আমাকে আসলে কী বলে? $H(X)$ $\alpha$ $\beta$

entropy

— RustyStatistician
সূত্র

(+1) এই উদ্ধৃতিটি সত্যই দুর্ভাগ্যজনক প্যাসেজের উল্লেখ করেছে। এটি একটি শ্রমসাধ্য এবং অস্বচ্ছ উপায়ে এনট্রপির গাণিতিক সংজ্ঞা বর্ণনা ও ব্যাখ্যা করার চেষ্টা করছে। সেই সংজ্ঞাটি হ'ল । এটা তোলে প্রত্যাশা যেমন দেখা যাবে যেখানে একটি এলোপাতাড়ি ভেরিয়েবলের পিডিএফ হয় । এটি সংখ্যার সাথে যুক্ত "তথ্যের পরিমাণ" হিসাবে বৈশিষ্ট্যযুক্ত করার চেষ্টা করছে ।

\int f (x) \log (f (x)) d x

$\int f(x)\log(f(x))dx$

\log (f (X))

$\log(f(X))$

f

$f$

X

$X$

\log (f (x))

$\log(f(x))$

x

$x$

— whuber

এটি জিজ্ঞাসা করার মতো, কারণ এখানে একটি সূক্ষ্ম তবে গুরুত্বপূর্ণ প্রযুক্তিগত সমস্যা রয়েছে: এনট্রপির ধারাবাহিক সংস্করণটি পৃথক সংস্করণের মতো বৈশিষ্ট্যগুলিতে যথেষ্ট উপভোগ করতে পারে না (যা তথ্যের নিরিখে একটি প্রাকৃতিক, স্বজ্ঞাত ব্যাখ্যা আছে)। @ টিম এএফাইক, গণিতের এই থ্রেডটি কেবলমাত্র বিযুক্ত মামলায় সম্বোধন করে ।

— whuber

@ রুস্টি স্ট্যাটাস্তিকিয়ান মনে করেন ফলাফলটি কতটা অবাক হয়েছিল তা বলার জন্য । আপনি তখন প্রত্যাশিত অবাক গণনা করছেন।

- \log (f (x))

$-\log\left(f\left(x\right)\right)$

— অ্যাড্রিয়ান

প্রযুক্তিগত ইস্যু @ শুভ উল্লেখ করুন, এটি আগ্রহী হতে পারে।

— শন ইস্টার

যদি আপনি পরিভাষা আগ্রহী: এনট্রপি একটি বন্ধ ভিত্তি করে একটি সিউডো-মেট্রিক Kullback-Leibler বিকিরণ যে তাদের নিজ নিজ পরিমাপ ইভেন্টের মধ্যে দূরত্বের বর্ণনা করতে দেখতে ব্যবহার করা হয় নামক projecteuclid.org/euclid.aoms/1177729694 মূল জন্য ( কুলব্যাক এবং লেবেলারের কাগজ grou এআইসি এবং বিআইসির মতো মডেল নির্বাচনের মানদণ্ডেও ধারণাটি আবার উপস্থিত হয়।

— জেরেমিয়াস কে

উত্তর:

এনট্রপি আপনাকে জানায় যে সিস্টেমে কতটা অনিশ্চয়তা রয়েছে। ধরা যাক আপনি একটি বিড়াল খুঁজছেন, এবং আপনি জানেন যে এটি আপনার বাড়ি এবং প্রতিবেশীদের মধ্যে যেটি 1 মাইল দূরে। আপনার বাচ্চারা আপনাকে বলে যে আপনার ঘর থেকে বিড়ালটির দূরত্ব থাকার সম্ভাবনা বিটা বিতরণ দ্বারা সেরা বর্ণনা করা হয়েছে । সুতরাং একটি বিড়াল 0 এবং 1 এর মধ্যে যে কোনও জায়গায় থাকতে পারে তবে এর মাঝামাঝি হওয়ার সম্ভাবনা বেশি থাকে, । $x$ $f(x;2,2)$ $x_{max}=1/2$

আসুন বিটা আপনার সমীকরণে প্লাগ করুন, তারপরে আপনি । $H=-0.125$

এরপরে, আপনি আপনার স্ত্রীকে জিজ্ঞাসা করুন এবং তিনি আপনাকে বলেছেন যে আপনার বিড়াল সম্পর্কে তার জ্ঞানের বর্ণনা দেওয়ার জন্য সর্বোত্তম বিতরণ হ'ল অভিন্ন বিতরণ। আপনি যদি এটিকে আপনার এনট্রপি সমীকরণে প্লাগ করেন তবে আপনি । $H=0$

ইউনিফর্ম এবং বিটা বিতরণ উভয়ই আপনার ঘর থেকে বিড়ালটিকে যে কোনও জায়গায় 0 থেকে 1 মাইলের মধ্যে থাকতে দেয়, তবে ইউনিফর্মটিতে আরও অনিশ্চয়তা রয়েছে, কারণ আপনার স্ত্রীর বিড়ালটি যেখানে লুকিয়ে রয়েছে তার সত্যই কোনও ধারণা নেই , যখন বাচ্চাদের কিছু ধারণা রয়েছে , তারা মনে করেন এটি আরও বেশি মাঝখানে কোথাও হতে পারে। এজন্যই বিটার এন্ট্রপি ইউনিফর্মের চেয়ে কম।

আপনি অন্যান্য ডিস্ট্রিবিউশন চেষ্টা করতে পারে, হয়তো আপনার প্রতিবেশী আপনাকে বলে বিড়াল ঘর পারেন কাছাকাছি হতে লেগেছে, তাই তার বিটা বিতরণ সাথে আছেন । এর অবশ্যই আবার ইউনিফর্মের চেয়ে কম হতে হবে কারণ আপনি একটি বিড়ালের সন্ধান কোথায় করবেন সে সম্পর্কে আপনার কিছু ধারণা পাওয়া যায়। অনুমান করুন যে আপনার প্রতিবেশীর তথ্য এনট্রপি আপনার বাচ্চাদের চেয়ে বেশি বা কম? এই বিষয়গুলিতে আমি কোনও দিন বাচ্চাদের উপর বাজি রাখি। $\alpha=\beta=1/2$ $H$

হালনাগাদ:

কিভাবে কাজ করে? এটি ভাবার একটি উপায় হল অভিন্ন বিতরণ দিয়ে শুরু করা। যদি আপনি সম্মত হন যে এটিই সবচেয়ে অনিশ্চয়তার সাথে রয়েছে, তবে এটিকে বিরক্ত করার কথা ভাবেন। সরলতার জন্য পৃথক কেসটি দেখুন। এক বিন্দু থেকে নিন এবং এর মতো অন্যটিতে যুক্ত করুন: $\Delta p$

p_{i}^{'} = p - Δ p

$p_i'=p-\Delta p$

p_{j}^{'} = p + Δ p

$p_j'=p+\Delta p$

এখন, আসুন দেখুন কীভাবে এন্ট্রপি পরিবর্তিত হয়: এর অর্থ হ'ল ইউনিফর্ম বিতরণ থেকে যে কোনও ঝামেলা এন্ট্রপি (অনিশ্চয়তা) হ্রাস করে। অবিচ্ছিন্ন ক্ষেত্রে একই দেখাতে, আমাকে এই লাইনের সাথে বিভিন্নতার ক্যালকুলাস বা কিছু ব্যবহার করতে হবে তবে নীতিগতভাবে আপনি একই ধরণের ফলাফল পাবেন।

H - H^{'} = p_{i} \ln p_{i} - p_{i} \ln (p_{i} - Δ p) + p_{j} \ln p_{j} - p_{j} \ln (p_{j} + Δ p)

$H-H'=p_i\ln p_i-p_i\ln (p_i-\Delta p)+p_j\ln p_j-p_j\ln (p_j+\Delta p)$

= p \ln p - p \ln [p (1 - Δ p / p)] + p \ln p - p \ln [p (1 + Δ p / p)]

$=p\ln p-p\ln [p(1-\Delta p/p)]+p\ln p-p\ln [p(1+\Delta p/p)]$

= - \ln (1 - Δ p / p) - \ln (1 + Δ p / p) > 0

$=-\ln (1-\Delta p/p)-\ln (1+\Delta p/p)>0$

আপডেট 2: ইউনিফর্মের এলোমেলো ভেরিয়েবলগুলির গড়টি একটি এলোমেলো পরিবর্তনশীল এবং এটি বেটস বিতরণ থেকে । সিএলটি থেকে আমরা জানি যে এই নতুন এলোমেলো ভেরিয়েবলের ভেরিয়েন্সটি হিসাবে সঙ্কুচিত । সুতরাং, বৃদ্ধির সাথে এর অবস্থানের অনিশ্চয়তা হ্রাস করতে হবে : আমরা আরও বেশি করে নিশ্চিত যে একটি বিড়াল মাঝখানে রয়েছে। আমার পরবর্তী প্লট এবং এমএটিএলবি কোডটি দেখায় যে কীভাবে এনট্রপি 0 থেকে (অভিন্ন বিতরণ) এর জন্য কমে যায় । আমি এখানে वितरण 31 লাইব্রেরি ব্যবহার করছি । $n$ $n\to\infty$ $n$ $n=1$ $n=13$

x = 0:0.01:1;
for k=1:5
    i = 1 + (k-1)*3;
    idx(k) = i;
    f = @(x)bates_pdf(x,i);
    funb=@(x)f(x).*log(f(x));
    fun = @(x)arrayfun(funb,x);
    h(k) = -integral(fun,0,1);
    subplot(1,5+1,k)

    plot(x,arrayfun(f,x))
    title(['Bates(x,' num2str(i) ')'])
    ylim([0 6])
end

subplot(1,5+1,5+1)
plot(idx,h)
title 'Entropy'

— Aksakal
সূত্র

(+1) আমি অন্যের ব্যাখ্যা দেখার জন্য অপেক্ষা করব তবে আমি এটি সত্যই পছন্দ করি। সুতরাং মনে হচ্ছে আপনি অন্য বিতরণগুলির সাথে এটির তুলনা করা দরকার এমন একটি নির্দিষ্টতা হিসাবে ইন্ট্রপির ব্যবহার করতে সক্ষম হবেন? অর্থাৎ, নিজেই সংখ্যাটি আপনাকে বেশি কিছু বলে না?

— রাস্টিস্ট্যাটিস্টিয়ান

@ রুস্টি স্ট্যাটিস্টিশিয়ান, আমি বলব না যে এর নিখুঁত মান সম্পূর্ণ অর্থহীন, তবে হ্যাঁ, সিস্টেমের রাজ্যগুলির তুলনা করার জন্য এটি সবচেয়ে কার্যকর। এন্ট্রপিকে অভ্যন্তরীণ করার সহজ উপায় হ'ল এটিকে অনিশ্চয়তার

— আকসাকাল

এই উত্তরের সাথে সমস্যাটি হ'ল "অনিশ্চয়তা" শব্দটি অপরিজ্ঞাত left

— কেজেটিল বি হালওয়ারসেন

শব্দটি অনিশ্চিত রেখে গেছে

— আকসকল

এই খুব সুন্দর.

— অ্যাস্ট্রিড

আমি এই প্রশ্নের একটি সরল উত্তর যুক্ত করতে চাই:

আসলে সেই পরিমাণটি আমাকে কী বলে?

এটি একটি বিচ্ছিন্ন দৃশ্যে চিত্রিত করা স্বজ্ঞাত itive মনে করুন যে আপনি একটি ভারী পক্ষপাতমূলক মুদ্রা টস করেছেন, বলেছে যে প্রতিটি ফ্লিপটিতে একটি মাথা দেখার সম্ভাবনা 0.99। প্রতিটি প্রকৃত ফ্লিপ আপনাকে খুব অল্প তথ্য বলে কারণ আপনি প্রায় ইতিমধ্যে জানেন যে এটি মাথা হয়ে যাবে। তবে যখন এটি একটি মুদ্রার মুদ্রার দিকে আসে, তখন কী প্রত্যাশা করা উচিত তা আপনার পক্ষে আদর্শের পক্ষে পাওয়া কঠিন নয়, তবে প্রতিটি ফ্লিপ আপনাকে আরও পক্ষপাতদুষ্ট মুদ্রার চেয়ে আরও বেশি তথ্য বলে। তথ্য পরিমাণ একটি একক টসে দেখে দ্বারা প্রাপ্ত সঙ্গে সমান ভাবে করা হয় । $\log \frac{1}{p(x)}$

এনট্রপির পরিমাণ আমাদের জানায় যে প্রতিটি প্রকৃত ওজনে (ভারী) গড় উল্টানো তথ্যগুলি বোঝাতে পারে: । ইন্ট্রপির বৃহত্তর মুদ্রাটি যত বড় হবে এবং একটি সম্পূর্ণ ফর্সা মুদ্রা সর্বাধিক তথ্যবহুল হবে। $E \log \frac{1}{p(x)} = \sum p(x) \log \frac{1}{p(x)}$

— লারনার ঝাং
সূত্র