এমিরিকাল এন্ট্রপি কী?

Question

যৌথভাবে টিপিকাল সেটগুলির সংজ্ঞায় ("ইনফরমেশন থিওরির উপাদানসমূহ", ch। 7.6, p। 195) এ আমরা ব্যবহার করি

যেমনগবেষণামূলক এনট্রপিএকটি এরএনসঙ্গে -sequenceপি(এক্সএন)=Π এন আমি = 1 P(Xআমি)। আমি এই পরিভাষাটি এর আগে কখনও আসিনি। এটি বইয়ের সূচী অনুসারে স্পষ্টভাবে কোথাও সংজ্ঞায়িত হয়নি।

$$-\frac{1}{n} \log{p(x^n)}$$ $n$$p(x^n) = \prod_{i=1}^{n}{p(x_i)}$

আমার প্রশ্ন মূলত হল: কেন গবেষণামূলক এনট্রপি নয় যেখানে পি ( এক্স ) হয় গবেষণামূলক বন্টন?$-\sum_{x}{\hat p (x) \log(\hat p(x))}$$\hat p(x)$

এই দুটি সূত্রের মধ্যে সবচেয়ে আকর্ষণীয় পার্থক্য এবং মিল কী? (সম্পত্তি হিসাবে তারা ভাগ / ভাগ করে না)।

Comments

দুটি বর্ণটি কি বীজগণিতভাবে সমান নয়?

— হোবার

@ শুভ: না, তারা বিভিন্ন পরিমাণে, বিভিন্ন উদ্দেশ্যে, আমি বিশ্বাস করি। মনে রাখবেন যে প্রথমটি সত্য হিসাবে পরিমাপ ব্যবহার করে যা অনুমান হিসাবে পরিচিত uses দ্বিতীয়টি না। $p$

— কার্ডিনাল

প্রাক্তন সময়ের সাথে সাথে এনট্রপি জমে এবং এটি সিস্টেমের প্রকৃত এনট্রপির সাথে কীভাবে তুলনা করে তা নিয়ে উদ্বিগ্ন। এটি কীভাবে আচরণ করে সে সম্পর্কে এসএলএলএন এবং সিএলটি একে একে অনেক কিছু বলে। দ্বিতীয়টি ডেটা থেকে এনট্রপি অনুমানের সাথে সম্পর্কিত এবং এর বৈশিষ্ট্যগুলির কিছুগুলি কেবলমাত্র উল্লিখিত একই দুটি সরঞ্জামের মাধ্যমেও পাওয়া যেতে পারে। তবে, যেখানে প্রথমটি পক্ষপাতহীন, দ্বিতীয়টি কোনও অধীনে নেই । এটি সহায়ক হলে আমি কিছু বিশদ পূরণ করতে পারি। $p$

— কার্ডিনাল

@ কার্ডিনাল: আপনি যদি উত্তর হিসাবে উপরের মন্তব্যটি সরবরাহ করতেন (এসএলএলএন এবং সিএলটি কী তাও ব্যাখ্যা করতে পারেন - আমি এগুলি জানি না) আমি আনন্দের সাথে উপস্থাপন করবো ...

— ব্লবব

ঠিক আছে, আমি আরও পরে পোস্ট করার চেষ্টা করব। এর মধ্যে, এসএলএলএন = "প্রচুর সংখ্যার শক্তিশালী আইন" এবং সিএলটি = "কেন্দ্রীয় সীমাবদ্ধ উপপাদ্য"। এগুলি মোটামুটি স্ট্যান্ডার্ড সংক্ষেপণ যা আপনি আবার মুখোমুখি হবেন। চিয়ার্স। :)

— কার্ডিনাল

Answer 1

তথ্য থাকলে , যে, একটি এন একটি নমুনা স্থান থেকে -sequence এক্স , গবেষণামূলক বিন্দু সম্ভাব্যতা হয় পি ( এক্স ) = $x^n = x_1 \ldots x_n$$n$$\mathcal{X}$ জন্যএক্স∈এক্স। এখানেδএক্স(Xআমি)এক হলেএক্সআমি=এক্সএবং শূন্য অন্যথায়। অর্থাৎ পি (এক্স)আপেক্ষিক ফ্রিকোয়েন্সি হয়এক্সপর্যবেক্ষিত ক্রমানুসারে। এনট্রপিগবেষণামূলক বিন্দু সম্ভাব্যতা কর্তৃক প্রদত্ত সম্ভাব্যতা বিতরণের হয় এইচ( পি )=-

$$\hat{p}(x) = \frac{1}{n}|\{ i \mid x_i = x\}| = \frac{1}{n} \sum_{i=1}^n \delta_x(x_i)$$ $x \in \mathcal{X}$$\delta_x(x_i)$$x_i = x$$\hat{p}(x)$$x$ আধুনিক পরিচয় দুই অঙ্কের interchanging এবং লক্ষ দ্বারা অনুসরণ করে যেΣএক্স∈ এক্স δএক্স(Xআমি)লগ পি (এক্স)=লগ পি (এক্সআমি)। এই থেকে আমরা দেখতে পাই যে এইচ( পি )=- $$H(\hat{p}) = - \sum_{x \in \mathcal{X}} \hat{p}(x) \log \hat{p}(x) = - \sum_{x \in \mathcal{X}} \frac{1}{n} \sum_{i=1}^n \delta_x(x_i) \log \hat{p}(x) = -\frac{1}{n} \sum_{i=1}^n \log\hat{p}(x_i).$$ $$\sum_{x \in \mathcal{X}} \delta_x(x_i) \log\hat{p}(x) = \log\hat{p}(x_i).$$ সঙ্গে পি (এক্সএন)=Π এন আমি = 1 P (Xআমি)এবং পরিভাষা প্রশ্নটি থেকে এই গবেষণামূলক এনট্রপি ব্যবহারগবেষণামূলক সম্ভাব্যতা বিতরণের। যেমনটি একটি মন্তব্যে @ কার্ডিনাল দ্বারা নির্দেশিত,- $$H(\hat{p}) = - \frac{1}{n} \log \hat{p}(x^n)$$ $\hat{p}(x^n) = \prod_{i=1}^n \hat{p}(x_i)$বিন্দু সম্ভাব্যতা সঙ্গে একটি প্রদত্ত সম্ভাব্যতা বিতরণের গবেষণামূলক এনট্রপি হয়পি।$- \frac{1}{n} \log p(x^n)$$p$

Comments

(+1) কভার এবং থমাস এন্ট্রপির "অদ্ভুত স্ব-রেফারেন্টিয়াল চরিত্র" হিসাবে উল্লেখ করেছেন এর একটি সুন্দর চিত্র তুলে ধরে। তবে, আমি নিশ্চিত নই যে উত্তরটি আসলে ওপির আপাত উদ্বেগকে সম্বোধন করে (সরাসরি)। :)

— কার্ডিনাল

@ কার্ডিনাল, আমি জানি, এবং উত্তরটি এই নির্দিষ্ট বিষয়টির জন্য একটি দীর্ঘ মন্তব্য ছিল। আমি আপনার পয়েন্ট পুনরাবৃত্তি করতে চান না।

— এনআরএইচ

আমার বা অন্যের মন্তব্যগুলিতে সম্প্রসারণ সহ আপনার নিজের উত্তর পোস্ট করতে আপনার খারাপ লাগবে না বা দ্বিধা করা উচিত নয়। আমি উত্তর পোস্ট করার বিষয়ে বিশেষভাবে ধীর এবং খারাপ, আপনি বা অন্যরা উত্তরগুলি পোস্ট করেন যা আমি আগে সংক্ষিপ্তভাবে মন্তব্য করেছি এমন বিষয়গুলির দিকগুলি অন্তর্ভুক্ত করে তবে তা কখনই অপরাধ করবে না। একেবারে বিপরীত, আসলে। চিয়ার্স।

— কার্ডিনাল

Answer 2

এন্ট্রপি সম্ভাব্যতা বিতরণের জন্য সংজ্ঞায়িত করা হয়। যখন আপনার কাছে একটি নয়, তবে কেবল ডেটা থাকে এবং সম্ভাবনা বিতরণের কোনও নিষ্পাপ প্রাক্কলনকারী প্লাগ করে, আপনি বুদ্ধিমান এনট্রপি পান। এটি পৃথক (বহুজাতিক) বিতরণগুলির পক্ষে সহজ, যেমনটি অন্য উত্তরে দেখানো হয়েছে, তবে বিন্ন ইত্যাদি দ্বারা অন্যান্য বিতরণের জন্যও করা যেতে পারে etc.

এমিরিকাল এনট্রপির একটি সমস্যা হ'ল এটি ছোট নমুনাগুলির জন্য পক্ষপাতদুষ্ট। সম্ভাব্যতা বিতরণের নিষ্পাপ অনুমান নমুনা শব্দের কারণে অতিরিক্ত প্রকরণ দেখায়। অবশ্যই একটি আরও ভাল অনুমানকারী ব্যবহার করা যেতে পারে, উদাহরণস্বরূপ, বহুজাতিক পরামিতিগুলির জন্য উপযুক্ত একটি পূর্ববর্তী, তবে এটি সত্যই নিরপেক্ষ হওয়া সহজ নয়।

উপরেরগুলি শর্তযুক্ত বিতরণগুলিতেও প্রযোজ্য। তদ্ব্যতীত, সবকিছু বিনিং (বা কার্নেলাইজেশন) এর সাথে সম্পর্কিত, সুতরাং আপনার কাছে আসলে এক ধরণের ডিফারেনশিয়াল এনট্রপি রয়েছে।

Comments

আমরা এখানে ইমেরিকাল এনট্রপি হিসাবে যা উল্লেখ করছি সে সম্পর্কে আমাদের সতর্ক হওয়া উচিত । মনে রাখবেন যে সমস্ত নমুনা আকারের জন্য প্লাগ-ইন অনুমানকারী সর্বদা পক্ষপাতদুষ্ট কম থাকে, যদিও নমুনার আকার বাড়ার সাথে সাথে পক্ষপাত হ্রাস পাবে। এন্ট্রপির জন্য নিরপেক্ষ অনুমান করা কেবল কঠিনই নয় , সাধারণ ক্ষেত্রে এটি অসম্ভব । বিশেষত স্নায়ুবিজ্ঞানের সাহিত্যে গত বেশ কয়েক বছর ধরে এই এলাকায় যথেষ্ট তীব্র গবেষণা হয়েছে। আসলে প্রচুর নেতিবাচক ফলাফল বিদ্যমান।

— কার্ডিনাল