একটি অঙ্কের এনট্রপিতে

আমি দুটি স্বতন্ত্র বিচ্ছিন্ন র‌্যান্ডম ভেরিয়েবল এবং যোগফলের এনট্রপি এর সীমাবদ্ধ সন্ধান করছি । স্বাভাবিকভাবেই, যাইহোক, এর সমষ্টি প্রয়োগ স্বাধীন বের্নুলির র্যান্ডম ভেরিয়েবল , এই দেয় $H(X+Y)$ $X$ $Y$

H (X + Y) \leq H (X) + H (Y) (*)

$H(X+Y) \leq H(X) + H(Y) ~~~~~~(*)$

n

$n$

Z_{1}, \dots, Z_{n}

$Z_1, \ldots, Z_n$

অন্য কথায়, আবদ্ধ সঙ্গে সুসংগত বৃদ্ধি

যখন বারবার আবেদন করেন। যাইহোক,

আকার

এর

সমর্থিত, সুতরাং এর এনট্রপিটি সর্বাধিক

। বস্তুত, কেন্দ্রীয় সীমা উপপাদ্য দ্বারা, আমি অনুমান করছি যে

H (Z_{1} + Z_{2} + \dots + Z_{n}) \leq n H (Z_{1})

$H(Z_1 + Z_2 + \cdots + Z_n) \leq n H(Z_1)$

n

$n$

Z_{1} + \dots Z_{n}

$Z_1 + \cdots Z_n$

n

$n$

\log n

$\log n$

যেহেতু এটি মূলত আকারের

সমর্থিত

H (Z_{1} + \dots + Z_{n}) \approx (1 / 2) \log n

$H(Z_1 + \cdots + Z_n) \approx (1/2) \log n$

।

\sqrt{n}

$\sqrt{n}$

সংক্ষেপে, আবদ্ধ এই পরিস্থিতিতে বেশ কিছুটা দিয়ে ওভারশুট করে। এই ব্লগ পোস্টটি অনুধাবন করা থেকে , আমি সমস্ত ধরণের সীমানা সংগ্রহ করা সম্ভব; বার্নৌলির এলোমেলো ভেরিয়েবলের যোগফলের জন্য বারবার প্রয়োগ করা হলে সঠিক অ্যাসিম্পটিকস (বা কমপক্ষে আরও যুক্তিসঙ্গত অ্যাসিম্পটোটিকস) দেয় এমন কোন সীমাবদ্ধতা কি আছে? $(*)$ $H(X+Y)$

it.information-theory shannon-entropy

— রবিনসন
সূত্র

আপনি সত্যিই যা জিজ্ঞাসা করছেন তা আমি নিশ্চিত নই। আপনি যদি এইচ (এক্স + ওয়াই) এর উপরের উপরের উপরের বাউন্ডটি এইচ (এক্স) এবং এইচ (ওয়াই) এর ক্ষেত্রে চান যা কোনও দুটি স্বতন্ত্র বিচ্ছিন্ন র‌্যান্ডম ভেরিয়েবল এক্স এবং ওয়াইয়ের জন্য প্রযোজ্য, তবে এইচ (এক্স + ওয়াই) ≤এইচ (এক্স) ) + এইচ (ওয়াই) স্পষ্টতই আপনি পেতে পারেন সেরা; এই ক্ষেত্রে বিবেচনা করুন যেখানে x এবং y এর সমর্থনের উপর রেখাংশের যোগফলগুলি Y এর সমর্থনের উপরে বিস্তৃত রয়েছে you আপনি যদি এই সাধারণটিকে খুব বিশেষ ক্ষেত্রে আবদ্ধ করেন তবে স্বাভাবিক যে আপনি খুব একটা পেতে পারেন আলগা আবদ্ধ

— Tsuyoshi Ito

H (X + Y) \leq H (X) + H (Y) - \dots

$H(X+Y) \leq H(X) + H(Y) - \ldots$

n

$n$

H (X + Y) \leq 3 H (X - Y) - H (X) - H (Y)

$H(X+Y) \leq 3 H(X-Y) - H(X) - H(Y)$

এর অর্থ হ'ল আপনি যা খুঁজছেন তা এইচ (এক্স) এবং এইচ (ওয়াই) এর ক্ষেত্রে H (X + Y) এর উপরের আবদ্ধ নয় । প্রশ্নটি সম্পাদনা করুন।

— সোসোশি ইতো

Z_{i}

$Z_i$

n

$n$

$X$ $A$ $2^{H(X)}$ $Y$ $B$ $2^{H(Y)}$

$|A+B|$ $|A|$ $|B|$ $|A+B| \sim |A|\cdot |B|$ $H(X+Y) \sim H(X)+H(Y)$

$|A+B| \ll |A|\cdot |B|$ $A$ $B$ $|A+B|$ $(G,+)$ $|A+B|=O(|A|+|B|)$ $A,B$ $G$

$A$ $[a..b]$ $B$ $[0..c]$ $(1/2)\log n$ $c=1$ $a=0$ $b=k$ $k=1,...,n-1$ $a \sim k-\sqrt{k}$ $b \sim k+ \sqrt{k}$ $|A+B| \leq |A|+c$

— বোয়াজ বারাক
সূত্র

$n$ $Z_1,Z_2,...,Z_n$ $p$ $Z_1+Z_2+...+Z_n$ $np$ $np$ $\frac{1}{2}\log n + O(\log n)$

— VSJ
সূত্র

আপনি সমীকরণটি ব্যবহার করতে পারেন:

H (Z_{1} + Z_{2} + \dots + Z_{n}) = H (Z_{1}) + H (Z_{2}) + \dots + H (Z_{n}) - H (Z_{1} | Z_{1} + Z_{2} + \dots + Z_{n}) - H (Z_{2} | Z_{2} + Z_{3} + \dots + Z_{n}) - \dots - H (Z_{n - 1} | Z_{n - 1} + Z_{n})

$H(Z_1+Z_2+\cdots+Z_n)=H(Z_1)+H(Z_2)+\cdots+H(Z_n)-H(Z_1|Z_1+Z_2+\cdots+Z_n)-H(Z_2|Z_2+Z_3+\cdots+Z_n)-\cdots-H(Z_{n-1}|Z_{n-1}+Z_n)$

এটি আপনার মন্তব্যগুলিতে উল্লিখিত একটি পদের মতো দেখাবে, দুর্ভাগ্যবশত আমি নেতিবাচক পদগুলির কার্ডিনালিটি বা সেগুলি সম্পর্কে অন্তর্দৃষ্টিপূর্ণ সীমা সম্পর্কে ফলাফল জানি না।

— গাদা
সূত্র