পরিসংখ্যান বা তথ্য তত্ত্বের

পরিসংখ্যান বা তথ্য তত্ত্বের পরিমাণের জন্য কোনও ব্যবহার আছে কি ?

\int f (x)^{2} d x

$\int f(x)^2 dx$

probability entropy information-theory

— charles.y.zheng
সূত্র

রেনি এনট্রপি

— কার্ডিনাল

f

$f$ একটি পিডিএফ, ঠিক আছে?

— whuber

হ্যাঁ, একটি ঘনত্ব।

f

$f$

— Charles.y.zheng

@ কার্ডিনাল উত্তর!

@ এমবিকিউ: ঠিক আছে, আমি কিছুটা পরে টাইপ করার চেষ্টা করব যা উত্তরের উপযুক্ত। :)

— কার্ডিনাল

লেটিং , পরিমাণ (Lebesgue বা কাউন্টিং পরিমাপ, যথাক্রমে উভয় সম্মান সঙ্গে) বোঝাতে একটি সম্ভাব্যতা ঘনত্ব ফাংশন রেনি এনট্রপি অর্ডার অফ হিসাবে পরিচিত । এটি শ্যানন এন্ট্রপির একটি সাধারণীকরণ যা একই বৈশিষ্ট্যগুলির অনেকগুলি ধরে রাখে। কেস , আমরা কে এবং এটি স্ট্যান্ডার্ড শ্যানন এন্ট্রপি । $f$ $\newcommand{\rd}{\mathrm{d}}$

H_{α} (f) = - \frac{1}{α - 1} \log (\int f^{α} d μ)

$H_\alpha(f) = -\frac{1}{\alpha-1} \log(\textstyle\int f^\alpha \rd \mu)$

α \geq 0

$\alpha \geq 0$

α = 1

$\alpha = 1$

H_{1} (f)

$H_1(f)$

lim_{α \to 1} H_{α} (f)

$\lim_{\alpha \to 1} H_{\alpha}(f)$

H (f)

$H(f)$

রেনি তার কাগজে এটি চালু করল

এ। রেনি, তথ্য এবং এনট্রপির ব্যবস্থাপনায় , প্রক। চতুর্থ বার্কলে সিম্প গণিতে।, স্ট্যাটাসে। এবং প্রোব। (1960), পৃষ্ঠা 547–561।

যা কেবলমাত্র ধারণাগুলির জন্য নয়, উদাহরণস্বরূপ বর্ণনামূলক শৈলীর জন্য পড়ার পক্ষে উপযুক্ত।

কেস জন্য আরো সাধারণ পছন্দের অন্যতম এবং এই বিশেষ ক্ষেত্রে (এছাড়াও) হল প্রায়ই Renyi এনট্রপি হিসাবে উল্লেখ করা। এখানে আমরা দেখতে পাচ্ছি যে জন্য ঘনত্ব সহ একটি এলোমেলো ভেরিয়েবল বিতরণ করা হয় । $\alpha = 2$ $\alpha$

H_{2} (f) = - \log (\int f^{2} d μ) = - \log (E f (X))

$\newcommand{\e}{\mathbb{E}} H_2(f) = - \log( \textstyle\int f^2 \rd \mu ) = -\log( \e f(X) )$

f

$f$

নোট করুন একটি উত্তল ফাংশন এবং তাই, জেনসেনের বৈষম্যের দ্বারা আমাদের যেখানে ডানদিকে শ্যানন এন্ট্রপি বোঝায় y সুতরাং রেনি এনট্রপি শ্যানন এনট্রপির জন্য একটি নিম্ন সীমা সরবরাহ করে এবং অনেক ক্ষেত্রে এটি গণনা করা সহজ। $- \log(x)$

H_{2} (f) = - \log (E f (X)) \leq E (- \log f (X)) = - E \log f (X) = H (f)

$H_2(f) = -\log( \e f(X) ) \leq \e( -\log f(X) ) = - \e \log f(X) = H(f)$

আর একটি প্রাকৃতিক উদাহরণ যেখানে রেনিই এনট্রপির উদ্ভব ঘটে তা হল একটি পৃথক র্যান্ডম ভেরিয়েবল এবং একটি স্বতন্ত্র অনুলিপি । কিছু পরিস্থিতিতে আমরা সম্ভাব্যতা জানতে চাই যে , যা প্রাথমিক গণনা অনুসারে $X$ $X^\star$ $X = X^\star$

P (X = X^{⋆}) = \sum_{i = 1}^{\infty} P (X = x_{i}, X^{⋆} = x_{i}) = \sum_{i = 1}^{\infty} P (X = x_{i}) P (X^{⋆} = x_{i}) = e^{- H_{2} (f)} .

$\renewcommand{\Pr}{\mathbb{P}} \Pr(X = X^\star) = \sum_{i=1}^\infty \Pr(X = x_i, X^\star = x_i) = \sum_{i=1}^\infty \Pr(X = x_i) \Pr(X^\star = x_i) = e^{-H_2(f)} .$

এখানে -এর মানে মান সেটে এসে কাউন্টিং পরিমাপ থেকে সম্মান সঙ্গে ঘনত্ব । $f$ $\Omega = \{x_i: i \in \mathbb{N}\}$

(জেনারেল) রেনি ইন্ট্রোপি স্পষ্টতই তাপ ভারসাম্যহীন কোনও সিস্টেমের মুক্ত শক্তির সাথে সম্পর্কিত, যদিও আমি ব্যক্তিগতভাবে এটির উপর নির্ভর করি না। এ (খুব) এই বিষয়ে সাম্প্রতিক একটি কাগজ

জেসি বায়েজ, রেনিই এন্ট্রপি এবং ফ্রি এনার্জি , আরএক্সিভ [কোয়ান্ট-পিএইচ] 1101.2098 (ফেব্রুয়ারী ২০১১)।

— মৌলিক
সূত্র

আমি প্রকৃতপক্ষে র্যানি এনট্রপিটি শ্যানন এনট্রপির বিকল্প হিসাবে ব্যবহার করছিলাম; আমার স্বজ্ঞাততার নিশ্চয়তাটি দেখে ভাল লাগল। আলোকিত প্রতিক্রিয়া জন্য আপনাকে ধন্যবাদ।

— Charles.y.zheng

শ্যানন এনট্রপির বৈশিষ্ট্য এবং উপযোগের অনেকগুলি (তবে সমস্ত নয়!) এর গতিবেগ থেকে উত্পন্ন হয়। আপনি যদি তথ্যের তত্ত্বের ভিত্তিতে বেসিকগুলির ফলাফলগুলির দিকে তাকান, তারা জেনসেনের অসমতার উপর কমবেশি জড়িত। সুতরাং, একটি নির্দিষ্ট (অস্পষ্ট) অর্থে খুব বেশি কিছু নেই (ভয়াবহভাবে) সম্পর্কে special এক্সকে নির্দিষ্ট অরেণ্যতা হিসাবে "তথ্য" ধারণার দিকে নিয়ে যায়।

- \log x

$-\log x$

— কার্ডিনাল

আমি দেখি. বিশেষত, আমার সেই সম্পত্তিটির দরকার যা সর্বাধিক এনট্রপি যৌথ বন্টন যা প্রদত্ত প্রান্তিকদের সন্তুষ্ট করে তা প্রান্তিকের পণ্য (আপনি স্বাধীনতা থেকে কী পাবেন)

— চার্লস.ই.জেং