কীভাবে এন্ট্রপি লোকেশন এবং স্কেলের উপর নির্ভর করে?

এনট্রপি সঙ্গে ঘনত্ব ফাংশন একটি ক্রমাগত বিতরণের প্রত্যাশা নেতিবাচক হতে সংজ্ঞায়িত করা হয় এবং সেইজন্য সমান $f$ $\log(f),$

H_{f} = - \int_{- \infty}^{\infty} \log (f (x)) f (x) d x .

$H_f = -\int_{-\infty}^{\infty} \log(f(x)) f(x)\mathrm{d}x.$

আমরা বলি যে কোনো দৈব চলক যার ডিস্ট্রিবিউশন আছে ঘনত্ব এনট্রপি হয়েছে (এই অবিচ্ছেদ্যটি চূড়ান্তভাবে নির্ধারণ করা হয়েছে যখন জিরোস রয়েছে, কারণ এই জাতীয় মানগুলিতে সমান শূন্যে নেওয়া যেতে পারে)) $X$ $f$ $H_f.$ $f$ $\log(f(x))f(x)$

যখন এবং এলোমেলো পরিবর্তনশীল যার জন্য ( একটি ধ্রুবক), বলা হয় একটি সংস্করণ দ্বারা স্থানান্তরিত একইভাবে, যখন ( একটি ধনাত্মক ধ্রুবক) থাকে, তখন দ্বারা স্কেল করা একটি সংস্করণ বলেশিফটের সাথে স্কেল সংমিশ্রণ $X$ $Y$ $Y = X+\mu$ $\mu$ $Y$ $X$ $\mu.$ $Y = X\sigma$ $\sigma$ $Y$ $X$ $\sigma.$ $Y=X\sigma + \mu.$

এই সম্পর্কগুলি ঘন ঘন ঘটে। উদাহরণস্বরূপ, শিফট পরিমাপের একক পরিবর্তন করে এটি স্কেল করে। $X$

এর এনট্রপি কীভাবে সাথে সম্পর্কিত $Y = X\sigma + \mu$ $X?$

distributions data-transformation entropy

— whuber
সূত্র

যেহেতু সম্ভাবনা উপাদান হয় পরিবর্তনশীল পরিবর্তনের সমতূল্য কোথা থেকে $X$ $f(x)\mathrm{d}x,$ $y = x\sigma + \mu$ $x = (y-\mu)/\sigma,$

f (x) d x = f (\frac{y - μ}{σ}) d (\frac{y - μ}{σ}) = \frac{1}{σ} f (\frac{y - μ}{σ}) d y

$f(x)\mathrm{d}x = f\left(\frac{y-\mu}{\sigma}\right)\mathrm{d}\left(\frac{y-\mu}{\sigma}\right) = \frac{1}{\sigma} f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$

এটা অনুসরণ করে এমন ব্যাক্তিদের ঘনত্ব যে হয় $Y$

f_{Y} (y) = \frac{1}{σ} f (\frac{y - μ}{σ}) .

$f_Y(y) = \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right).$

ফলে এর এনট্রপি হয় $Y$

H (Y) = - \int_{- \infty}^{\infty} \log (\frac{1}{σ} f (\frac{y - μ}{σ})) \frac{1}{σ} f (\frac{y - μ}{σ}) d y

$H(Y) = -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right)\right) \frac{1}{\sigma}f\left(\frac{y-\mu}{\sigma}\right) \mathrm{d}y$

যা, পরিবর্তনশীল পরিবর্তন করার পরে উত্পাদন করে $x = (y-\mu)/\sigma,$

\begin{aligned} H (Y) & = - \int_{- \infty}^{\infty} \log (\frac{1}{σ} f (x)) f (x) d x \\ = - \int_{- \infty}^{\infty} (\log (\frac{1}{σ}) + \log (f (x))) f (x) d x \\ = \log (σ) \int_{- \infty}^{\infty} f (x) d x - \int_{- \infty}^{\infty} \log (f (x)) f (x) d x \\ = \log (σ) + H_{f} . \end{aligned}

$\eqalign{ H(Y) &= -\int_{-\infty}^{\infty} \log\left(\frac{1}{\sigma}f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= -\int_{-\infty}^{\infty} \left(\log\left(\frac{1}{\sigma}\right) + \log\left(f\left(x\right)\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log\left(\sigma\right) \int_{-\infty}^{\infty} f(x) \mathrm{d}x -\int_{-\infty}^{\infty} \log\left(f\left(x\right)\right) f\left(x\right) \mathrm{d}x \\ &= \log(\sigma) + H_f. }$

এই গণনাগুলি লোগারিদমের মূল বৈশিষ্ট্য, সংহতকরণের লিনিয়ারিটি এবং unity সংহত করে (সম্পূর্ণ সম্ভাবনার আইন) ব্যবহার করে used $f(x)\mathrm{d}x$

উপসংহারটি হল

এর এনট্রপি এর এনট্রপি হয় প্লাস $Y = X\sigma + \mu$ $X$ $\log(\sigma).$

কথায় কথায়, একটি এলোমেলো ভেরিয়েবল স্থানান্তর করা তার এনট্রপি পরিবর্তন করে না (আমরা এনট্রপিটি সম্ভাবনার ঘনত্বের মানগুলির উপর নির্ভর করে ভাবতে পারি, তবে সেই মানগুলি কোথায় ঘটে তা নয়), যখন একটি ভেরিয়েবলকে স্কেল করে (যা "প্রসারিত" বা "এটি" প্রকাশ করে) এর এনট্রপি ent দ্বারা বৃদ্ধি করে এটি স্ব-স্বীকৃতি দেয় যে উচ্চ-এনট্রপি বিতরণগুলি লো-এন্ট্রপি বিতরণের চেয়ে "আরও ছড়িয়ে পড়ে"। $\sigma \ge 1$ $\log(\sigma).$

এই ফলাফলের ফলস্বরূপ, যে কোনও বিতরণের এনট্রপি গণনা করার সময় আমরা এবং। সুবিধাজনক মানগুলি নির্ধারণ করতে মুক্ত । উদাহরণস্বরূপ, একটি সাধারণ বিতরণের এনট্রপি এবং সেট করে পাওয়া যাবেএই ক্ষেত্রে ঘনত্বের লগারিদম হয় $\mu$ $\sigma$ $(\mu,\sigma)$ $\mu=0$ $\sigma=1.$

\log (f (x)) = - \frac{1}{2} \log (2 π) - x^{2} / 2,

$\log(f(x)) = -\frac{1}{2}\log(2\pi) - x^2/2,$

কোথা হইতে

H = - E [- \frac{1}{2} \log (2 π) - X^{2} / 2] = \frac{1}{2} \log (2 π) + \frac{1}{2} .

$H = -E[-\frac{1}{2}\log(2\pi) - X^2/2] = \frac{1}{2}\log(2\pi) + \frac{1}{2}.$

ফলস্বরূপ একটি সাধারন বিতরণের এনট্রপি প্রাপ্তি কেবল এই যুক্ত করে প্রাপ্ত হয় $(\mu,\sigma)$ $\log\sigma$

H = \frac{1}{2} \log (2 π) + \frac{1}{2} + \log (σ) = \frac{1}{2} \log (2 π e σ^{2})

$H = \frac{1}{2}\log(2\pi) + \frac{1}{2} + \log(\sigma) = \frac{1}{2}\log(2\pi\,e\,\sigma^2)$

উইকিপিডিয়া দ্বারা রিপোর্ট ।

— whuber
সূত্র