গুণগতভাবে ক্রস এন্ট্রপি কি

Question

এই প্রশ্নটি সূত্রের বিচারে ক্রস এনট্রপির একটি পরিমাণগত সংজ্ঞা দেয়।

আমি আরও কল্পিত সংজ্ঞা খুঁজছি, উইকিপিডিয়া বলেছেন:

তথ্য তত্ত্বে, দুটি সম্ভাব্য বিতরণের মধ্যে ক্রস এনট্রপি সম্ভাবনার একটি সেট থেকে একটি ইভেন্ট সনাক্ত করার জন্য প্রয়োজনীয় বিটগুলির গড় সংখ্যার পরিমাপ করে, যদি কোনও কোডিং স্কিম একটি "সম্ভাব্য" বিতরণ পি-র পরিবর্তে প্রদত্ত সম্ভাবনা বন্টন q এর উপর ভিত্তি করে ব্যবহৃত হয় ।

এটি যে বিষয়টি আমাকে বুঝতে সমস্যা করছে তা আমি জোর দিয়েছি। আমি একটি সুন্দর সংজ্ঞা চাই যার জন্য এন্ট্রপির পৃথক (পূর্ব বিদ্যমান) বোঝার প্রয়োজন নেই।

Comments

আপনি ক্রস- এন্ট্রপির একটি সংজ্ঞা জিজ্ঞাসা করছেন যা একই সময়ে, এন্ট্রপি নিজেই সংজ্ঞায়িত করবে । এবং স্বজ্ঞাতভাবে তাই ... আপনার যদি এন্ট্রপি নিজেই ধারণাটি বুঝতে সমস্যা হয় তবে প্রথমে প্রাথমিক ধারণাটি এবং তারপরের যে কোনও একটি এক্সটেনশানটি বোঝা ভাল ধারণা হবে।

— আলেকোস পাপাদোপল্লোস

ব্যক্তিগতভাবে আমার এন্ট্রপির প্রাথমিক ধারণা ছিল (যদিও এটি প্রয়োগ করার পরে প্রায় 12 মাস হয়ে গেছে)। তবে এন্ট্রপির পরিমাণগত অভিব্যক্তি, একটি সংক্ষিপ্ত অনুচ্ছেদে মাপসই করা উচিত এবং ক্রস এনট্রপিতে কেবল আরও একটি নেওয়া উচিত। সুতরাং আমি মনে করি একটি ভাল উত্তর উভয়ই অন্তর্ভুক্ত করতে পারে, যাতে পাঠক এটি বুঝতে অন্য কোথাও রেফারেন্স করার প্রয়োজন হয় না।

— লিন্ডন হোয়াইট

সম্পর্কিত পোস্টগুলি দেখুন: stats.stackexchange.com/questions/66186/… এবং stats.stackexchange.com/questions/188903/…

— কেজিটিল বি হালওয়ার্সেন

Answer 1

সম্ভাব্যতা সহ ঘটে যাওয়া কোনও ইভেন্ট এনকোড করতে আপনার কমপক্ষে লগ 2 ( 1 $p$ বিট প্রয়োজন (কেন?"শ্যাননের এন্ট্রপিতে লোগারিদমের ভূমিকা কী?") এআমার উত্তরদেখুন।$\log_2(1/p)$

সুতরাং অনুকূল এনকোডিংয়ে এনকোড হওয়া বার্তার গড় দৈর্ঘ্য হ'ল যে,শ্যানন এনট্রপিমূল সম্ভাব্যতা বিতরণের করুন।

$$\sum_i p_i \log_2(\tfrac{1}{p_i}),$$

তবে সম্ভাব্যতা বন্টন জন্য যদি আপনি পৃথক সম্ভাবনা বিতরণ Q এর জন্য অনুকূল এমন এনকোডিং ব্যবহার করেন তবে এনকোড হওয়া বার্তার গড় দৈর্ঘ্য হ'ল ∑ i p i কোড_leth ( i ) = ∑ i p i লগ 2 ( $P$$Q$ হয়ক্রস এনট্রপি, যা তার চেয়ে অনেক বেশীΣআমিপিআমিলগ ইন করুন2(

$$\sum_i p_i \text{code_length($i$)} = \sum_i p_i \log_2(\tfrac{1}{q_i}),$$ ।$\sum_i p_i \log_2(\tfrac{1}{p_i})$

উদাহরণস্বরূপ, চারটি বর্ণের বর্ণমালা বিবেচনা করুন (A, B, C, D), তবে A এবং B এর একই ফ্রিকোয়েন্সি রয়েছে এবং সি এবং ডি একেবারে প্রদর্শিত হচ্ছে না। সুতরাং সম্ভাবনা $P=(\tfrac{1}{2}, \tfrac{1}{2}, 0, 0)$

তারপরে যদি আমরা এটিকে সর্বোত্তমভাবে এনকোড করতে চাই, আমরা A কে 0 হিসাবে এবং B কে 1 হিসাবে এনকোড করব, সুতরাং আমরা প্রতি চিঠিতে এক বিট এনকোডযুক্ত বার্তা পাই। (এবং এটি হ'ল আমাদের সম্ভাব্যতা বিতরণের শ্যানন এনট্রপি))

$P$$Q=(\tfrac{1}{4},\tfrac{1}{4},\tfrac{1}{4},\tfrac{1}{4})$

Comments

সুন্দর ব্যাখ্যা, ধন্যবাদ। যাইহোক, উইকিপিডিয়া সংজ্ঞাটি Sum_i [p_i * লগ (q_i)]। আপনার 1 / q_i এর ব্যবহার সম্ভাব্য রাজ্যের সংখ্যা দেয়, তাই লগ 2 রূপান্তর করে যে কোনও একক চিহ্নকে এনকোড করার জন্য প্রয়োজনীয় বিটের সংখ্যায় পরিণত হয়, তবে উইকিপিডিয়া পৃষ্ঠাটি কিছু আলাদাভাবে বর্ণনা করছে।

— redcalx

@ লকস্টার উইকিপিডিয়ায় এটির যোগফলের আগে বিয়োগ চিহ্ন রয়েছে যা থাকার সমতুল্য $1/q_i$যেমন $\log(1/q_i)=-\log(q_i)$।

— পাইটর মিগডাল