"অভিজ্ঞতামূলক এনট্রপি" শব্দটি কে তৈরি করেছিলেন?

Question

আমি এনট্রপির সাথে শ্যাননের কাজ সম্পর্কে জানি, তবে ইদানীং আমি সসিনেক্ট ডেটা স্ট্রাকচারে কাজ করেছি যেখানে অভিজ্ঞতালীন এন্ট্রপি প্রায়শই স্টোরেজ বিশ্লেষণের অংশ হিসাবে ব্যবহৃত হয়।

শ্যানন একটি বিচ্ছিন্ন তথ্য উত্স দ্বারা উত্পাদিত তথ্যের এনট্রপিকে সংজ্ঞায়িত করেছিল , যেখানে ঘটনার সম্ভাবনা , যেমন একটি নির্দিষ্ট অক্ষর উত্পন্ন, এবং সেখানে রয়েছে সম্ভাব্য ঘটনা।$-\sum_{i=1}^k p_i \log{p_i}$$p_i$$i$$k$

মন্তব্যে এমসিএইচ দ্বারা নির্দেশিত হিসাবে, অভিজ্ঞতাগত এনট্রোপি হ'ল এই ইভেন্টগুলির অনুপ্রেরণামূলক বিতরণের এনট্রপি, এবং এভাবে দেওয়া হয় যেখানে event ইভেন্ট এবং এর পরিলক্ষিত ইভেন্টগুলির সংখ্যা হ'ল পর্যালোচিত ইভেন্টগুলির সংখ্যা। একে শূন্য-তম অর্ডার এমপিরিয়াল এনট্রপি বলা হয় । শর্তাধীন শর্তযুক্ত শর্তযুক্ত এনট্রপির ধারণার একই উচ্চতর অর্ডার ইমিরিকাল সংস্করণ রয়েছে।$-\sum_{i=1}^k \frac{n_{i}}{n} \log{\frac{n_{i}}{n}}$$n_{i}$$i$$n$

শ্যানন এম্পিরিকাল এনট্রপি শব্দটি ব্যবহার করেননি, যদিও তিনি অবশ্যই এই ধারণার জন্য কিছু কৃতিত্বের দাবিদার। কে এই ধারণাটি সর্বপ্রথম ব্যবহার করেছিলেন এবং কে প্রথমে (খুব যৌক্তিক) নামটি বোধগম্য ইন্ট্রপি ব্যবহার করার জন্য ব্যবহার করেছে ?

Comments

"প্রতিটি স্ট্রিংয়ের জন্য পয়েন্টওয়াইজ সংজ্ঞায়িত" কোলমোগোরভ জটিলতার মতো শব্দগুলি: আপনি কি সেই বিষয়টিকেই উল্লেখ করছেন? যদি তা না হয় তবে আপনি কি এমন কোনও লিঙ্ককে নির্দেশ করতে পারেন যা এটি সংজ্ঞায়িত করে, বা আরও ভাল এখনও প্রশ্নটিতে একটি ডিফএন সরবরাহ করতে পারে?

— সুরেশ ভেঙ্কট

এটিকে তাই বলা হয় কারণ ইমেরিকাল এনট্রপি হচ্ছে একটি অনুক্রমের অনুশীলনমূলক বিতরণের এনট্রপি y

— মাহদী চেরাগচি

@ সুরেশভেনক্যাট আমি প্রশ্নটি বিস্তারিতভাবে জানার চেষ্টা করেছি।

— ব্যবহারকারীদের 42

কোসারাজু এস রাও, মনজিনি জি এর দিকে একবার নজর দিন, "লেম্পেল-জিভ অ্যালগরিদমগুলির সাথে লো এনট্রপি স্ট্রিংগুলির সংক্ষেপণ" (1998 )ও। তারা " তথাকথিত এম্পিরিকাল এনট্রপি " ব্যবহার করে লেম্পেল-জিভ অ্যালগরিদমগুলির পারফরম্যান্স বিশ্লেষণ করে ।

— মারজিও দে বায়াসি

নোট করুন যে "অভিজ্ঞতা অভিজ্ঞতা" আসলে ফ্রিকোয়েন্সি গণনাগুলির একটি সেট জন্য এমএল বিতরণ। তাই আমি অবাক হয়েছি যদি এটি বেয়েসের ফিরে আসে। এমনকি ল্যাপ্লেস অনুভূতিগত গণনা থেকে বিতরণ সংজ্ঞায়িত করার সমস্যাটিও চিন্তা করেছিলেন।

— সুরেশ ভেঙ্কট

Answer 1

আমি আপনার মতো "এম্পিরিকাল এনট্রপিতে" আগ্রহী এবং আমার কাছে পাওয়া প্রথমতম কাগজটি কোসারাজুর কাছ থেকে ব্যবহারকারী "মারজিও ডি বিয়াসি" তার মন্তব্যে বলেছিলেন।

তবে আমার মতে "এম্পিরিকাল এন্ট্রপি" এর আসল সংজ্ঞাগুলি পূর্বের ধারণাগুলি সাধারণীকরণের পরে তৈরি করা হয়েছে:

1. ট্র্যাভিস গাগি (২০০৮) দ্বারা "বৃহত্তর বর্ণমালা এবং সংকোচনের ক্ষমতা"
2. পল এমবি ভিটেনি (২০১১) রচিত "ইমপ্রিকাল এনট্রপি"

গ্যাগি অর্ডার এমপ্রিরিয়াল এনট্রপির সংজ্ঞাটিকে পুনরায় ব্যাখ্যা করেছেন: $k$

• $H_{k}(w)=\frac{1}{|w|}\min\limits_{Q}\left\{\log\large\frac{1}{P(Q=w)}\right\}$

যেখানে হল একটি ম অর্ডার মার্কভ প্রক্রিয়া। তিনি আরও দেখিয়েছিলেন যে এই সংজ্ঞাটি আগের মতটির সমান। ভিটেনি থেকে পরবর্তী পদক্ষেপটি ছিল স্বেচ্ছাসেবী শ্রেণীর প্রক্রিয়াগুলির এক সাধারণকরণ (কেবল মার্কভ-প্রক্রিয়া নয়):$Q$$k$

• $H(w|\mathcal{X})=\min\limits_{X}\left\{K(X)+H(X):\;\left|H(X)-\log\large\frac{1}{P(X=w)}\right|\normalsize\;is\;minimal!\right\}$

যেখানে allowed অনুমোদিত প্রক্রিয়াগুলির শ্রেণি এবং হ'ল কোলমোগোরভ জটিলতা। আমরা চয়ন করেন তাহলে বর্গ হতে ম অর্ডার মার্কভ একটা ক্রম উত্পাদক প্রসেসএলোমেলো পরিবর্তনশীল এবং কলমোগোরভ জটিলতা উপেক্ষা করার চেয়ে এটি গ্যাগির সংজ্ঞাও দেয় (ডাব্লু ডাব্লু সাথে বহুগুণ )।$\mathcal{X}$$K(X)$
$\mathcal{X}$$k$$|w|$$|w|$