শোরগোল বিতরণের এনট্রপি y

Question

বলুন আমাদের একটি ফাংশন রয়েছে যেমন এবং একটি বন্টন, অর্থাৎ, ।$f:\mathbb{Z}_2^n \to \mathbb{R}$

$$\forall x\in \mathbb{Z}_2^n \quad f(x) \in \left\{\frac{1}{2^n}, \frac{2}{2^n}, \ldots, \frac{2^n}{2^n} \right\},$$ $f$$\sum_{x\in \mathbb{Z}_2^n} f(x) = 1$

এর শ্যানন এনট্রপি নিম্নলিখিত হিসাবে সংজ্ঞায়িত করা হয়েছে: $f$

$$H(f) = -\sum _{x \in \mathbb{Z}_2^n} f(x) \log \left( f(x) \right) .$$

আসুন কিছুটা ধ্রুবক হন। বলুন যে আমরা এর একটি এপসিলন-নিইস সংস্করণ পেয়েছি , অর্থাত্ আমরা একটি ফাংশন পেয়েছি টিল্ডে যেমন প্রতি । এনট্রপিতে শব্দটির প্রভাব কী? এটি হ'ল, আমরা কি এবং এর "যুক্তিসঙ্গত" ফাংশন দ্বারা আবদ্ধ করতে পারি , যেমন: বা এমনকি, কিছু ধ্রুবকের জন্য ।$\epsilon$$\epsilon$$f(x)$$\tilde{f}:\mathbb{Z}_2^n \to \mathbb{R}$$|\tilde{f}(x)- f(x) | < \epsilon$$x\in \mathbb{Z}_2^n$$H(\tilde{f})$$\epsilon$$H(f)$

$$(1-\epsilon)H(f) < H(\tilde{f}) < (1+\epsilon)H(f),$$ $$(1-\epsilon^c n)^d H(f) < H(\tilde{f}) < (1+\epsilon^c n)^d H(f),$$ $c,d$

সম্পাদনা করুন: শ্যাননের এন্ট্রপিতে শব্দের প্রভাবের জন্য অনুভূতি অর্জনের চেষ্টা করা, উপর আবদ্ধ কোনও "যুক্তিসঙ্গত" সংযোজনও খুব আকর্ষণীয় হবে।$H(\tilde{f})$

Answer 1

এ জাতীয় আবদ্ধ হওয়া সম্ভব নয়। কেস বিবেচনা করুন যেখানে বন্টন অভিন্ন যে কিছু সেট আকারের , এবং দিন বন্টন যে সম্ভাবনা সঙ্গে হতে একটি অবিশেষে বিতরণ উপাদান আউটপুট , এবং অন্যথায় অভিন্ন বিতরণ করা স্ট্রিং আউটপুট দেয়।$f$$S$$2^{\delta \cdot n}$$\tilde{f}$$\delta$$S$

এটা যে আপনার কাছ থেকে পেতে পারেন তা দেখতে কঠিন না হয় করার কি তোমার একার গোলমাল প্রয়োজন সর্বাধিক । তবে, যখন । সুতরাং, আপনি অত্যন্ত স্বল্প আওয়াজের জন্য নির্বিচারে ছোট জন্য একটি পার্থক্য পেয়ে যান ।$f$$\tilde{f}$$(1-\delta) \cdot 2^{-\delta \cdot n}$$H(f)= \delta \cdot n$$H(\tilde{f}) \approx (1 - \delta + \delta^2) \cdot n$$(1 - \delta)^2 \cdot n$$\delta$

বিশেষত, আপনি set সেট করতে পারেন এবং শব্দ noise এবং এনট্রপি পার্থক্য ।$\delta = \frac{\log(1/\varepsilon)}{n}$$\varepsilon$$\approx n - 2\log(1/\varepsilon)$

Comments

আপনি প্রায় মানে $\epsilon n$ঠিক আছে? যাই হোক না কেন, আমি মনে করি যে এটি প্রশ্নকর্তাকে একটি অ্যাডিটিভ বাউন্ড সম্পর্কেও উত্তর দিতে সহায়তা করতে পারে, এবং কেবল একটি বিচ্ছিন্ন বাউন্ড সম্পর্কে নয় (আমি জানি যে তিনি বিশেষত গুণক সম্পর্কে জিজ্ঞাসা করেছিলেন)।

— ডানা মোশকভিত্জ

সংশোধনীর জন্য ধন্যবাদ. আমি জানি না যে একটি অ্যাডেটিভ বাউন্ডের জন্য উত্তর কী।

— অথবা মায়ার

উত্তরের জন্য ধন্যবাদ বা! এন্ট্রপির সাথে একটি ফাংশনে একটি গুণযুক্ত আবদ্ধ হওয়া আশাজনক$0$। যাইহোক, 0 এর চেয়ে বেশি এন্ট্রপির সাথে ফাংশনগুলি কী? তখন কি এমন বাঁধা পাওয়া সম্ভব?

@ ডানামোশকভিত্জ - একটি অতিরিক্ত সংযোজনের বিষয়টি অবশ্যই খুব প্রাসঙ্গিক। আমি এটিকে প্রশ্নের সাথে যুক্ত করব। এটা ইশারা জন্য ধন্যবাদ!

@ অরমিয়ার - আপনার উদাহরণের সাথে সামান্য কিছুটা টুইট করার ফলে এমন একটি ফাংশন পাওয়া যায় যা আমি যে ধরণের প্রথম গুণিত বাধাকে জিজ্ঞাসা করেছি তার বিপরীতমুখী করে (এমনকি এর সাথে ফাংশনগুলির জন্যও) $H(f) \neq 0$), তবে আমি দ্বিতীয় ধরণের গুণক বাউন্ড সম্পর্কে জিজ্ঞাসা করেছি (ধরে নিচ্ছি) এর জন্য আমি এরকম উদাহরণ পাই না $H(f) \neq 0$)। কোন ধারনা?