ডিফারেনশিয়াল এন্ট্রপি কীভাবে ব্যাখ্যা করবেন?

Question

আমি সম্প্রতি এই নিবন্ধটি একটি পৃথক সম্ভাব্যতা বিতরণের এনট্রপিতে পড়েছি । এটি আপনার ব্যবহার শব্দের সম্ভাব্যতা বন্টনের কারণে আপনার এনকোডিংটি অনুকূল হওয়ার সময় কোনও বার্তা এনকোড করার জন্য প্রত্যাশিত সংখ্যা বিটগুলি (কমপক্ষে আপনার এনট্রপি সংজ্ঞাতে ব্যবহার করার সময় ) এনট্রপির বিষয়ে চিন্তা করার একটি দুর্দান্ত উপায় বর্ণনা করে ।$\log_2$

যাইহোক, এখানে যেমন ধারাবাহিক ক্ষেত্রে প্রসারিত করার সময় আমি বিশ্বাস করি যে এই ধরণের চিন্তাভাবনাটি ভেঙে যায়, যেহেতু কোনও ক্রমাগত সম্ভাবনা বিতরণ জন্য (দয়া করে এটি ভুল হলে আমাকে সংশোধন করুন), তাই আমি অবাক হয়ে যাচ্ছিল যে কীভাবে অব্যাহতভাবে এনট্রপি মানে কী তা নিয়ে চিন্তা করার দুর্দান্ত উপায় আছে ঠিক যেমনটি পৃথক মামলার ক্ষেত্রে।পি ( এক্স $\sum_x p(x) = \infty$$p(x)$

Comments

আপনি কি এনট্রপি এবং ডিফারেনশিয়াল এন্ট্রপি সম্পর্কিত উইকিপিডিয়া নিবন্ধগুলি পড়ার চেষ্টা করেছিলেন?

— ttnphns

একটি অবিচ্ছিন্ন বিতরণ একটি সম্ভাব্য ভর ফাংশন নেই। অবিচ্ছিন্ন ক্ষেত্রে এনালগটি হ'ল সম্ভাবনার ঘনত্বের অবিচ্ছেদ্য এবং এক্স সমান সমান পরিসরের উপর অবিচ্ছেদ্য

— মাইকেল আর। চেরনিক

— @ মিশেল চের্নিক

@ এনটিএনএফএনএস-এ আমার কোন উদ্দীপনা নেই, তবে আমি এখনই এগুলি পরীক্ষা করে দেখছি, ধন্যবাদ।

— dippynark

শ্যানন এনট্রপির ব্যাখ্যার জন্য এছাড়াও stats.stackexchange.com/questions/66186/… দেখুন । কিছু ধারণা স্থানান্তর করা যেতে পারে।

— কেজেটিল বি হালওয়ারসেন

Answer 1

ডিফারেন্সিয়াল এনট্রপির কোনও ব্যাখ্যা নেই যা এন্ট্রপির মতো অর্থবহ বা কার্যকর হবে। অবিচ্ছিন্ন র্যান্ডম ভেরিয়েবলগুলির সমস্যা হ'ল তাদের মানগুলিতে সাধারণত 0 সম্ভাবনা থাকে এবং তাই এনকোড করার জন্য অসীম সংখ্যক বিট লাগবে।

যদি আপনি বিরতিগুলির সম্ভাবনা পরিমাপ করে আলাদা এনট্রপির সীমাটি দেখে থাকেন $[n\varepsilon, (n + 1)\varepsilon[$ , আপনি শেষ করতে পারেন

$$-\int p(x) \log_2 p(x) \, dx - \log_2 \varepsilon$$

এবং ডিফারেন্সিয়াল এনট্রপি নয়। এই পরিমাণটি এক অর্থে আরও অর্থবহ, তবে আমরা আরও ছোট এবং ছোট ব্যবধানগুলি গ্রহণ করায় অনন্তে ডাইভার্ট হয়ে যাবে। এটি উপলব্ধি করে, যেহেতু এনকোড করতে আমাদের আরও বেশি সংখ্যক বিট লাগবে যেগুলির মধ্যে অনেকগুলি অন্তর আমাদের র্যান্ডম মানটির মূল্য পড়ে।

অবিচ্ছিন্ন বিতরণগুলি দেখার জন্য আরও কার্যকর পরিমাণ হ'ল আপেক্ষিক এনট্রপি (কুলব্যাক-লেবেলার বিচ্যুতিও)। পৃথক বিতরণের জন্য:

$$D_\text{KL}[P || Q] = \sum_x P(x) \log_2 \frac{P(x)}{Q(x)}.$$

$P$$-\log Q_2(x)$$x$

$$D_\text{KL}[p \mid\mid q] = \int p(x) \log_2 \frac{p(x)}{q(x)} \, dx,$$

$\log_2 \varepsilon$

$p(x)$$\lambda(x) = 1$

$$-\int p(x) \log_2 p(x) \, dx = -D_\text{KL}[p \mid\mid \lambda].$$

$-\log_2 \int_{n\varepsilon}^{(n + 1)\varepsilon} p(x) \, dx$$n$$-\log \varepsilon$$\lambda$

আপেক্ষিক এনট্রপির দুর্দান্ত পরিচয়ের জন্য সার্জিও ভারদুর আলাপ দেখুন ।