ডিফারেনশিয়াল এন্ট্রপি

গাউসিয়ান আরভি-র ডিফারেনশিয়াল এনট্রপি । এটি উপর নির্ভরশীল যা মানক বিচ্যুতি। $\log_2(\sigma \sqrt{2\pi e})$ $\sigma$

যদি আমরা এলোমেলো পরিবর্তনশীলটিকে স্বাভাবিক করি যাতে এটির ইউনিট ভেরিয়েন্স থাকে তার ডিফারেন্সিয়াল এনট্রপি ড্রপস। আমার কাছে এটি পাল্টা স্বজ্ঞাত যেহেতু এন্ট্রপির হ্রাসের তুলনায় কোলমোগোরভ ধ্রুবককে স্বাভাবিক করার জটিলতা খুব কম হওয়া উচিত। এই এলোমেলো ভেরিয়েবল দ্বারা উত্পাদিত কোনও ডেটাসেট পুনরুদ্ধার করতে সাধারণভাবে কোনও এনকোডার ডিকোডার তৈরি করতে পারে যা নরমালাইজিং ধ্রুবক দিয়ে ভাগ করে / বহুগুণে ভাগ করে।

সম্ভবত আমার বোঝাপড়া বন্ধ আছে। আপনি কি আমার ত্রুটিটি চিহ্নিত করতে পারেন?

information-theory entropy randomness

— ক্যাগডাস ওজজেঙ্ক
সূত্র

আমি এটি দেখতে যাব, যদিও এটি আমার মাথা থেকে কিছুটা উপরে, সুতরাং লবণ ছিটিয়ে দিয়ে ট্রিট করুন ...

আপনি ঠিক ভুল না। আমি মনে করি যে যেখানে আপনার চিন্তার পরীক্ষাটি নীচে নেমে আসে তা হল ডিফারেনশিয়াল এনট্রপি এন্ট্রপির সীমিত ক্ষেত্রে নয়। আমি অনুমান করছি যে এর কারণে, এটির সাথে কোলমোগোরভ জটিলতার মধ্যে সমান্তরালগুলি নষ্ট হয়ে গেছে।

ধরা যাক আমাদের একটি পৃথক র্যান্ডম ভেরিয়েবল । আমরা এর সমস্ত সম্ভাব্য মান , যোগফলের সাহায্যে এর শ্যানন এনট্রপি গণনা করতে পারি $X$ $x_i$

H (X) = - \sum_{i} P (X = x_{i}) \log (P (X = x_{i})) .

$H(X) = -\sum_i P(X=x_i) \log \big( P(X=x_i) \big).$

এতক্ষণে বিরক্তিকর। এখন ধরা যাক একটি অবিচ্ছিন্ন র্যান্ডম ভেরিয়েবলের একটি পরিমাণযুক্ত সংস্করণ - বলুন, আমাদের ঘনত্ব ফাংশন যা আসল সংখ্যার সেট থেকে নমুনা উত্পন্ন করে এবং আমরা এটিকে হিস্টোগ্রামে পরিণত করি। আমাদের কাছে যথেষ্ট পরিমাণে হিস্টোগ্রাম থাকবে যে ঘনত্বের কার্যটি মূলত রৈখিক। যে ক্ষেত্রে আমরা ভালো একটি এনট্রপি কিছু আছে যাচ্ছি, $X$ $p()$ যেখানেহিস্টোগ্রামের বিনগুলির প্রস্থ এবংপ্রত্যেকটির মধ্যবিন্দু। আমরা যে লগারিদম ভিতরে একটি পণ্য আছে - আসুন যে আলাদা এবং সমষ্টি বাহিরে এটিকে সরান 1 summing সম্ভাব্যতা ডিস্ট্রিবিউশন সম্পত্তির ব্যবহার, আমাদের দান

H (X) \approx - \sum_{i} p (X = x_{i}) δ x \log (p (X = x_{i}) δ x),

$H(X) \approx -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \delta x \big),$

δ x

$\delta x$

x_{i}

$x_i$

H (X) \approx - \log (δ x) - \sum_{i} p (X = x_{i}) δ x \log (p (X = x_{i})) .

$H(X) \approx -\log \big( \delta x \big) -\sum_{i} p(X=x_i) \delta x \log \big( p(X=x_i) \big).$

যদি আমরা সীমাটি গ্রহণ করি, একটি ইন্টিগ্রেশনে রূপান্তরিত করা হয়, তবে আমাদের সঠিক হয়ে যায় এবং আমরা নিম্নলিখিতটি পাই, $\delta x \rightarrow dx$

H (X) = - \log (d x) - \int_{x} p (X = x) \log (p (X = x)) d x .

$H(X) = -\log \big( dx \big) -\int_x p(X=x) \log \big( p(X=x) \big)dx.$

ডানদিকে শব্দটি ডিফারেন্সিয়াল এনট্রপি। তবে সেই ভয়াবহ শব্দটি। আমাদের সমস্ত উত্তর NaN হওয়া এড়াতে আমাদের এটিকে এড়িয়ে যেতে হবে। আমি ভীত এটির অর্থ এই যে ডিফারেনশিয়াল এন্ট্রপি শ্যানন এনট্রপির সীমিত ক্ষেত্রে নয়। $\log \big( dx \big)$

সুতরাং, আমরা কিছু সম্পত্তি হারাতে হবে। হ্যাঁ, আপনার ডেটা পুনরুদ্ধার করা ডিফারেনশিয়াল এনট্রপিকে পরিবর্তন করে - ডিফারেনশিয়াল এন্ট্রপি পিডিএফকে কীভাবে 'প্যাকেজড' করা হয় তার একটি পরিমাপ। আপনি যদি এটি পুনরুদ্ধার করেন তবে এই পরিবর্তন হয়। আরেকটি মজাদার সম্পত্তি হ'ল এটি নেতিবাচক হতে পারে, শ্যানন এনট্রপির মতো নয় - সত্যই ছোট্ট করে দেখুন এবং দেখুন কী হয়। কলমোগোরভ জটিলতার লিঙ্কটি হারাতে আমার মনে হয় এটি কেবল অন্য একটি দুর্ঘটনা। $\sigma$

ভাগ্যক্রমে আমরা পুরোপুরি হারিয়েছি না। কুলব্যাক – লেবেলর ডাইভারজেন্স এবং এক্সটেনশন মিউচুয়াল তথ্যগুলি সমস্ত বাতিল হওয়া হিসাবে মোটামুটিভাবে ভাল আচরণ করে। উদাহরণস্বরূপ, আপনি গণনা করতে পারেন যেখানে কিছু রেফারেন্স বিতরণ - বলুন, অভিন্ন। এই সবসময় ইতিবাচক, এবং যখন আপনি পরিবর্তনশীল rescale এটি উভয় পরিবর্তন এবং , তাই ফলাফল অনেক কম গুরুতর। $\delta$

\int_{x} p (X = x) \log (\frac{p (X = x)}{q (X = x)}) d x

$\int_x p(X=x) \log \Bigg( \frac{p(X=x)}{q(X=x)} \Bigg) dx$

q (X)

$q(X)$

X

$X$

p (X)

$p(X)$

q (X)

$q(X)$

— চাপড়ান
সূত্র

ধন্যবাদ। এটা খুব আকর্ষণীয়। আমি জানতাম না তত্ত্বটিতে এমন চিকিত্সা আছে।

— ক্যাগডাস ওজজেঙ্ক

\log (d x)

$\log(\mathrm d x)$

p (x)

$p(x)$

- \sum_{i} p (x_{i}) δ x \log p (x_{i}) \to h (X)

$-\sum_{i} p(x_i) \delta x \log p(x_i) \to h(X)$

δ x \to 0

$\delta x \to 0$

n

$n$

h (X) + n

$h(X) + n$

\log (d x)

$\log(d x)$

@ ক্যাগডাস - আমি যদি এটিকে কল্পনা বলি তবে আমি ডান না। এটি কেবল একটি ভিন্ন জিনিস পরিমাপ করছে। এবং কার্ডিনাল পয়েন্ট হিসাবে এটি এর কিছু ব্যবহার রয়েছে। বাইনোমিনাল ডিস্ট্রিবিউশনের জন্য প্রয়োগ করার পরে এটি ভেঙে যাবে কিনা তা ভালভাবে নির্ভর করে আপনি কীভাবে এটি প্রয়োগ করতে চলেছেন :)। আপনি যদি নিশ্চিত না হন তবে সম্ভবত একটি নতুন বিষয় শুরু করার উপযুক্ত।

— প্যাট

আমি ভেবেছিলাম যে যখন কেউ সিউডো-এলোমেলো সংখ্যা জেনারেটর বিবেচনা করে তখন এনট্রপি কলমোগরভ জটিলতার থেকে স্পষ্টতই আলাদা।

— জেমস বুওয়ারি