কোন বিতরণটি কোনও পরিচিত অর্থ নিরঙ্কুশ বিচ্যুতির জন্য সর্বাধিক এনট্রপি রয়েছে?

আমি হ্যাকার নিউজ-এ অন্যান্য পরিমাপ যেমন গড় নিখুঁত বিচ্যুতির বিপরীতে স্ট্যান্ডার্ড বিচ্যুতি ব্যবহার সম্পর্কে আলোচনাটি পড়ছিলাম । সুতরাং, যদি আমরা সর্বাধিক এনট্রপির নীতি অনুসরণ করি, তবে আমরা যদি বিতরণটির অর্থ এবং এর অর্থ নিরঙ্কুশ বিচ্যুতি জানতাম তবে আমরা কোন ধরণের বিতরণ ব্যবহার করব?

বা মিডিয়ান এবং মধ্যমা থেকে নিখুঁত বিচ্যুতিটি ব্যবহার করা আরও বেশি অর্থবোধ করে?

আমি গ্রেচুক, মলিবোহা এবং জবারকিনের জেনারেল ডেভিয়েশন ব্যবস্থা সহ একটি কাগজ সর্বাধিক এনট্রপি নীতি পেয়েছি যার মধ্যে আমার সম্পর্কে আগ্রহী তথ্য রয়েছে বলে মনে হয় তবে এটি ব্যাখ্যা করতে আমার কিছুটা সময় লাগছে।

distributions maximum-entropy mad

— ডায়েটারিচ এপ্প
সূত্র

আকর্ষণীয় প্রশ্ন; ক্রস যাচাইয়ে স্বাগতম!

— নিক স্টাউনার

এই জ্ঞানী ভদ্রলোক, কোটজ, এস।, কোজুবস্কি, টিজে, এবং পডগোর্স্কি, কে। (2001)। ল্যাপ্লেস ডিস্ট্রিবিউশন অ্যান্ড জেনারালাইজেশন: যোগাযোগ, অর্থনীতি, প্রকৌশল এবং অর্থায়নের জন্য অ্যাপ্লিকেশন সহ একটি পুনর্বিবেচনা (নং 183)। স্প্রিঙ্গের।

একটি অনুশীলন দিয়ে আমাদের চ্যালেঞ্জ:

এখানে চিত্র বর্ণনা লিখুন

প্রমাণটি তথ্য-তাত্ত্বিক প্রমাণটি অনুসরণ করতে পারে যে স্বাভাবিকটি প্রদত্ত গড় এবং বৈচিত্র্যের জন্য সর্বাধিক এনট্রপি। বিশেষত: উপরের ল্যাপ্লেস ঘনত্ব হতে দিন এবং কে অন্য কোনও ঘনত্ব হতে দিন তবে একই গড় এবং অর্থ নিখুঁত বিচ্যুতি হওয়া। এর অর্থ নীচের সাম্যতা হ'ল: $f(x)$ $g(x)$

E_{g} (| X - c_{1} |) = \int g (x) | x - c_{1} | d x = c_{2} = \int f (x) | x - c_{1} | d x = E_{f} (| X - c_{1} |) [1]

$E_g(|X-c_1|)=\int g(x)|x-c_1|dx=c_2 =\int f(x)|x-c_1|dx =E_f(|X-c_1|)\qquad [1]$ এখন দুটি ঘনত্বের কুলব্যাক-লেবেলার বিচরণ বিবেচনা করুন :

0 \leq D_{K L} (g | | f) = \int g (x) \ln (\frac{g (x)}{f (x)}) d x = \int g (x) \ln g (x) d x - \int g (x) \ln f (x) d x [2]

$0\le D_{KL}(g||f) = \int g(x)\ln\left(\frac {g(x)}{f(x)}\right)dx = \int g(x)\ln g(x)dx -\int g(x)\ln f(x)dx \qquad [2]$

প্রথম অবিচ্ছেদ্য হ'ল এর (ডিফারেনশিয়াল) এন্ট্রপির নেতিবাচক , এটি । দ্বিতীয় অবিচ্ছেদ্য হ'ল (স্পষ্টভাবে Laplacian pdf লিখে) $g$ $-h(g)$

\int g (x) \ln [f (x)] d x = \int g (x) \ln [\frac{1}{2 c_{2}} \exp {- \frac{1}{c_{2}} | x - c_{1} |}] d x

$\int g(x)\ln[f(x)]dx = \int g(x)\ln\left[\frac{1}{2c_2}\exp\left\{-\frac 1{c_2} |x-c_1|\right\}\right]dx$

= \ln [\frac{1}{2 c_{2}}] \int g (x) d x - \frac{1}{c_{2}} \int g (x) | x - c_{1} | d x

$=\ln\left[\frac{1}{2c_2}\right]\int g(x)dx- \frac 1{c_2}\int g(x)|x-c_1|dx$ প্রথম অবিচ্ছেদ্য একতার সাথে সংহত করে, এবং eq ব্যবহার করে। আমরা প্রাপ্ত

[1]

$[1]$

\int g (x) \ln [f (x)] d x = - \ln [2 c_{2}] - \frac{1}{c_{2}} \int f (x) | x - c_{1} | d x = - (\ln [2 c_{2}] + 1)

$\int g(x)\ln[f(x)]dx = -\ln\left[2c_2\right] - \frac 1{c_2}\int f(x)|x-c_1|dx = -(\ln\left[2c_2\right] +1)$ তবে এটি ল্যাপ্লেসিয়ার ডিফারেনশিয়াল এনট্রপির নেতিবাচক, এটি ।

- h (f)

$-h(f)$

এই ফলাফলগুলি EQ- এ .োকানো হচ্ছে। আমাদের যেহেতু স্বেচ্ছাচারী ছিল, এটি প্রমাণ করে যে উপরের প্রেসক্রিপশন সহ সমস্ত বিতরণের মধ্যে ল্যাপ্লেসিয়ার ঘনত্ব সর্বাধিক এনট্রপি। $[2]$

0 \leq D (g | | f) = - h (g) - (- h (f)) \Rightarrow h (g) \leq h (f)

$0\le D(g||f) = -h(g) - (-h(f)) \Rightarrow h(g) \le h(f)$

g

$g$

— আলেকোস পাপাদোপল্লোস
সূত্র

এত সহজ বিতরণ, এবং একটি দুর্দান্ত লেখার আপ! আমি সন্দেহ করি যে 0 এ বিতরণটি মসৃণ হবে

— ডায়েটরিচ এপ্প

ধন্যবাদ। কিছু সময় "একই সাথে একই যায়" - যেহেতু ল্যাপ্লেস বিতরণে নিখুঁত মান জড়িত, এটি একটি প্রধান সন্দেহভাজন।

— অ্যালেকোস পাপাদোপল্লোস