বিভিন্ন ধরণের এন্ট্রপিতে ভাল পরিচয়

Question

আমি একটি বই বা অনলাইন সংস্থান খুঁজছি যা বিভিন্ন ধরণের এনট্রপি যেমন স্যাম্পল এন্ট্রপি এবং শ্যানন এন্ট্রপি এবং তাদের সুবিধা এবং অসুবিধাগুলির ব্যাখ্যা দেয়। কেউ আমাকে সঠিক পথ নির্দেশ করতে পারবেন?

Answer 1

কভার এবং থমাসের বইয়ের উপাদানসমূহের ইনফরমেশন থিওরি এনট্রপি এবং এর অ্যাপ্লিকেশনগুলির জন্য একটি ভাল উত্স, যদিও আমি জানি না যে এটি আপনার মনে থাকা সমস্যাগুলিকে ঠিকঠাকভাবে সমাধান করে।

Comments

এছাড়াও ডেম্বো কভার এবং টমাসের "তথ্য তাত্ত্বিক বৈষম্য" কাগজটি অনেক গভীর দিক প্রকাশ করেছে

— রবিন জিরাড

তবুও, এই বইগুলির কোনওটিরই দাবি নেই যে একাধিক এনট্রপি রয়েছে।

Answer 2

ও। জনসনের তথ্য তত্ত্ব সম্পর্কিত এই বক্তৃতা নোটগুলিতে বিভিন্ন ধরণের এনট্রপি সম্পর্কিত ভাল পরিচয় রয়েছে।

Answer 3

আপনার যদি এন্ট্রপির চারপাশে গাণিতিক পরিসংখ্যানগুলির প্রতি আগ্রহী, আপনি এই বইয়ের সাথে পরামর্শ করতে পারেন

http://www.renyi.hu/~csiszar/Publications/Information_Theory_and_Statistics:_A_Tutorial.pdf

এটি অবাধে উপলব্ধ!

Answer 4

এন্ট্রপিটি কেবল একটি (ধারণা হিসাবে) - কিছু সিস্টেম বর্ণনা করার জন্য প্রয়োজনীয় পরিমাণ পরিমাণ তথ্য; এর অনেকগুলি সাধারণীকরণ রয়েছে। নমুনা এন্ট্রপি হ'ল হার্ট বিশ্লেষণে ব্যবহৃত কিছু এনট্রপির মতো বর্ণনাকারী।

Comments

আমি জানি, তবে এটি আমাকে সিদ্ধান্ত নিতে সহায়তা করে না যে আমি যে ডেটা নিয়ে কাজ করছি তার জন্য নমুনা এনট্রপি বা শ্যানন এনট্রপি বা অন্য কোনও ধরণের এনট্রপি ব্যবহার করা উপযুক্ত কিনা।

— খ্রিস্টান

আমি আমার পোস্টে যা লিখেছি তা হ'ল একটি নির্দিষ্ট ধরণের ডেটা / প্রক্রিয়া / সিস্টেমের জন্য কেবলমাত্র একটি সত্য এনট্রপি সংজ্ঞা রয়েছে। নমুনা এনট্রপি হয় না একটি এনট্রপি পরিমাপ, এটা শুধু একটা বিভ্রান্তিকর নামের সঙ্গে কিছু পরিসংখ্যাত হয়। একটি প্রশ্ন তৈরি করুন যেখানে আপনি ডেটাটি সংজ্ঞায়িত করেছেন যার জন্য আপনি এনট্রপি গণনা করতে চান, এবং সূত্রটি পাবেন।

আমি সত্যের প্রতি আগ্রহী নই তবে কার্যকর একটি ফাংশন পেতে আগ্রহী । আমি একজন বায়োইনফর্মেশিয়ান এবং গোপনীয় সত্যের সন্ধান না করা বরং পরিসংখ্যান অনুসন্ধান করা শিখিয়েছি । আমি মনে করি না যে এন্ট্রপি সবচেয়ে ভাল কাজ করে তা সুনির্দিষ্ট করে যে ধরণের ডেটা নিয়ে কাজ করতে চাই সেগুলি নিয়ে কাজ করেছি। আমি ডেটা নিয়ে কাজ করতে চাই কেন সেই বিন্দুটি।

— খ্রিস্টান

ঠিক আছে, তবে এটি কৌতূহলোদ্দীপক সত্যগুলি সম্পর্কে নয় বরং শব্দ সম্পর্কে। আপনি এনট্রপি সম্পর্কে জিজ্ঞাসা করেছেন, তাই আমি এনট্রপি সম্পর্কে জবাব দিয়েছি। কারণ এখন আমি দেখতে পাচ্ছি যে টাইম সিরিজ বর্ণনাকারীদের সম্পর্কে আপনার সত্যিকারের একটি উত্তর প্রয়োজন, সময় সিরিজের বর্ণনাকারী সম্পর্কে একটি প্রশ্ন লিখুন, তবেই আপনি একটি কার্যকর উত্তর পাবেন।

Answer 5

জেনেস দেখিয়েছেন কীভাবে শাননের বইয়ের মূল নীতিগুলি থেকে এনট্রিপি নেওয়া যায় ।

$n!$ দ্বারা $n^n$, এনট্রপি হ'ল নিম্নলিখিত পরিমাণের পুনর্লিখন

$$\frac{1}{n}\log \frac{n!}{(n p_1)!\cdots (n p_d)!}$$

লগের অভ্যন্তরের পরিমাণটি বিভিন্ন দৈর্ঘ্যের n পর্যবেক্ষণের ক্রম সংখ্যা $d$ ফলাফল যা বিতরণের সাথে মিলেছে $p$, সুতরাং এটি বিতরণের ব্যাখ্যামূলক শক্তির একটি পরিমাপ of

Comments

$n^n$ এর যেমন একটি অপরিশোধিত অনুমান $n!$যে কেউ এই পদ্ধতির সন্দেহ করার জন্য ক্ষমা করা হবে। তবে স্টার্লিংয়ের (অ্যাসিপটোটিক) আনুমানিক পরিমাণ$\log(n!) \sim n \log n - n + O(1)$ কমপক্ষে বৃহত্তর জন্যও কাঙ্ক্ষিত ফলাফল বাড়ে $n$, কারণ $p_1 + \cdots+ p_d = 1$।

— হোবার

Answer 6

গ্রেনওয়াল্ড এবং দাউদের কাগজ গেম তত্ত্ব, সর্বাধিক এনট্রপি, ন্যূনতম তাত্পর্য এবং শক্তিশালী বায়েশিয়ার সিদ্ধান্ত তত্ত্ব এন্ট্রপির প্রচলিত ধারণার সাধারণীকরণ নিয়ে আলোচনা করে discuss ক্ষতি দেওয়া হয়েছে, এর সাথে সম্পর্কিত এন্ট্রপি ফাংশনটি কোনও বিতরণ থেকে সেই বিতরণের জন্য ন্যূনতম অর্জনযোগ্য প্রত্যাশিত ক্ষতির ম্যাপিং। সাধারণ এনট্রপি ফাংশন হ'ল লগ ক্ষয়ের সাথে সম্পর্কিত জেনারেলাইজড এনট্রপি। ক্ষতির অন্যান্য পছন্দগুলি বিভিন্ন এনট্রপি যেমন রেনি এনট্রপি প্রদান করে।

Comments

তাহলে, সিগমা হ'ল এন (0, সিগমা) এর স্কোয়ার ত্রুটির সাথে সম্পর্কিত, এবং ন্যূনতম (পি, 1-পি) বার্নোল্লি (পি) এর এনট্রপি 0,1 পূর্বাভাস ক্ষতির সাথে সম্পর্কিত? দেখে মনে হচ্ছে বেশ সাধারণীকরণ!

— ইয়ারোস্লাভ বুলাটোভ

হ্যাঁ. বর্গক্ষেত্র ক্ষতির জন্য এনট্রপি নিয়মিত এবং 0-1 ক্ষতির জন্য এনট্রপিটি ন্যূনতম (পি, 1-পি)। মজার বিষয় হ'ল এগুলিও ডাইভারজেন্সগুলির সাথে দৃ strong় চিঠিপত্র রয়েছে। হ্যালিঞ্জার ডাইভারজেন্সের বর্গক্ষেত্র ক্ষতি এবং ভেরিয়েশনাল ডাইভারজেন্সের 0-1 টি ক্ষতি। যেহেতু এন্ট্রপিজগুলি এটির মতো সংজ্ঞায়িত করা হয় তারা অগত্যা অবতল ফাংশন এবং এটি f (p) = -entropy (p) ব্যবহার করে নির্মিত এফ-ডাইভারজেন্সটি সক্রিয় করে। বব উইলিয়ামসন এবং আমি আমাদের কাগজে এই কিছু অন্বেষণ করেছেন: arxiv.org/abs/0901.0356 । এটা মজাদার জিনিস।

— মার্ক রেড

সম্প্রতি ডাইভারজেন্স সম্পর্কে আমি এখানে আকর্ষণীয় কিছু খুঁজে পেয়েছি - বিশ্বাস প্রচারের প্রতিটি পদক্ষেপকে গ্রেগম্যান

— ইয়ারোস্লাভ