"ক্রস এনট্রপি" এর সংজ্ঞা এবং উত্স

Question

ছাড়া সূত্র উদ্ধৃত, উইকিপিডিয়া সংজ্ঞায়িত ক্রস এনট্রপি বিযুক্ত ডিস্ট্রিবিউশন এবং কিউ হতে$P$$Q$

$$\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align}$$

কে এই পরিমাণ ব্যবহার করা শুরু করেছিলেন কে? এবং এই শব্দটি কে আবিষ্কার করেছেন? আমি ভিতরে তাকিয়েছি:

জে শোর এবং আরডাব্লু জনসন, "সর্বাধিক এনট্রপির নীতি এবং ন্যূনতম ক্রস-এনট্রপির নীতিটির অ্যাক্সিয়মেটিক ডাইরিভিশন," ইনফরমেশন থিওরি, আইইইই লেনদেন অন, খণ্ড। 26, না। 1, পৃষ্ঠা 26-37, জানুয়ারি 1980।

আমি তাদের ভূমিকা অনুসরণ

উ। ওয়েলল, "এন্ট্রপির সাধারণ বৈশিষ্ট্য," আধুনিক পদার্থবিজ্ঞানের পর্যালোচনা, খণ্ড। 50, না। 2, পৃষ্ঠা 221-260, এপ্রিল 1978।

যে শব্দটি কখনই ব্যবহার করে না।

না হয়

এস। কুলব্যাক এবং আর। লেইবলার, "তথ্য এবং পর্যাপ্ততার উপর," অ্যানালস অফ ম্যাথমেটিক্যাল স্ট্যাটিস্টিকস, খণ্ড। 22, না। 1, পৃষ্ঠা 79-86, 1951।

আমি ভিতরে তাকান

টিএম কভার এবং জেএ টমাস, তথ্য তত্ত্বের উপাদানসমূহ (টেলিযোগাযোগ এবং সিগন্যাল প্রসেসিংয়ে উইলি সিরিজ) ile উইলি-ইন্টারসায়েন্স, 2006

এবং

আই। ভাল, "হাইপোথেসিস সূত্র গঠনের জন্য সর্বাধিক এনট্রপি, বিশেষত বহুমাত্রিক কন্টিনজেন্সি টেবিলগুলির জন্য," অ্যানালালস অফ ম্যাথমেটিক্যাল স্ট্যাটিস্টিকস, খন্ড। 34, না। 3, পৃষ্ঠা 911-934, 1963।

তবে উভয় কাগজই ক্রস-এনট্রপি কে কেএল-ডাইভারজেন্সের সমার্থক হিসাবে সংজ্ঞায়িত করে।

মূল কাগজ

সিই শ্যানন, "আ গণিতের তত্ত্বের যোগাযোগ," বেল সিস্টেমের প্রযুক্তিগত জার্নাল, খণ্ড। 27, 1948।

ক্রস এনট্রপির কথা উল্লেখ করে না (এবং "আপেক্ষিক এনট্রপি" এর একটি বিস্ময়কর সংজ্ঞা রয়েছে: "উত্সের এনট্রপির অনুপাতটি একই চিহ্নগুলিতে সীমাবদ্ধ থাকাকালীন সর্বাধিক মান পর্যন্ত হতে পারে)"।

অবশেষে, আমি কিছু পুরানো বই এবং ট্রাইব্যাসের কাগজপত্রগুলিতে তাকালাম।

উপরের সমীকরণটি কী বলা হয় এবং কে এটি আবিষ্কার করেছে বা এর একটি সুন্দর উপস্থাপনা রয়েছে তা কি কেউ জানেন?

Answer 1

$I_{1:2}(E)$$2.2-2.4$

সম্পাদনা করুন:

অতিরিক্ত উপাধিতে কুলব্যাক-লেবেলারের তথ্য পরিমাপ, আপেক্ষিক তথ্য পরিমাপ, ক্রস-এনট্রপি, আই-ডাইভারজেন্স এবং কেরিজের অসম্পূর্ণতা অন্তর্ভুক্ত রয়েছে ।

Comments

ধন্যবাদ! আমি সেই উল্লেখগুলি পরীক্ষা করে দেখেছি, তবে এখনও "ক্রস এনট্রপি" শব্দটি বা কোনও মিলের সমীকরণ খুঁজে পেতে আমার সমস্যা হচ্ছে। আপনি যদি নিবন্ধ বা বইগুলির মধ্যে একটিতে দেখেছেন তবে আমাকে জানান let

— নিল জি

নির্দিষ্ট বছর অবধি প্রকাশিত (যেমন, ১৯৮০ অবধি ক্রস-এনট্রপি ) প্রবন্ধের জন্য গুগল পন্ডিতের পিছনেও অনুসন্ধান করতে পারেন ।

— ইটামার

আপনার সাম্প্রতিক সম্পাদনা সম্পর্কে, আমি আমার প্রশ্নে দেওয়া ফর্মের ইতিহাসে আগ্রহী। আমি ইতিমধ্যে লক্ষ্য করেছি যে প্রারম্ভিক কাগজপত্রগুলি "কেএল ডাইভারজেন্স" বোঝাতে "ক্রস এনট্রপি" ব্যবহার করছিল। (নোট করুন যে কুলব্যাক পেপারটি আমার প্রশ্নের মধ্যে রয়েছে))

— নীল জি

দুঃখিত, আমি প্রশ্নের কুলব্যাক পেপারটি মিস করেছি

— ইটামার

Answer 2

@ ইটামারের পরামর্শের জন্য ধন্যবাদ, আমি এতে একটি উল্লেখ পেয়েছি:

আইজে গুড, "ইনফরমেশন থিওরিতে কিছু টার্মিনোলজি অ্যান্ড নোটেশন," আইইই এর কার্যদিবস - পার্ট সি: মনোগ্রাফস, খণ্ড 103, না। 3, পিপি 200-200, মার্চ 1956।

ক্রস-এনট্রপির একটি দুর্দান্ত উপস্থাপনা খুঁজে পাওয়া এখনও আমার পক্ষে সত্যই কার্যকর।

Answer 3

এর জন্য থ্যাঙ্কস - পটভূমি সাহিত্যের ভাল সংক্ষিপ্তসার। আইইইই-র 1980 এর শোর এবং জনসন নিবন্ধটি একটি ভাল শুরু, তবে @ ইটামারের 1956 সাল থেকে গুড মনোগ্রাফের পয়েন্টারটি আরও ভাল। শাননের কাজ থেকে ধারণাটি এসেছে বলে মনে হচ্ছে, কুলব্যাক এবং লেবেলারের 1951 এর এএমএস নোটটি এই শব্দটির বর্তমান ব্যবহারের উত্স। যতক্ষণ পর্যন্ত "ক্রস এন্ট্রপি" শব্দটির উৎপত্তি কৃত্রিম নিউরাল নেটওয়ার্কগুলির সাথে সম্পর্কিত, সেখানে বিজ্ঞানের একটি গবেষণাপত্রে ব্যবহৃত একটি শব্দ রয়েছে, ১৯৯৪ সালে প্রকাশিত, ১৯৯৪ সালে প্রকাশিত, জিই হিন্টন, পি। দায়ান, বিজে ফ্রে এবং আরএম নীল, যা "হেমহোল্টজ মেশিন" শব্দটির প্রাথমিক ব্যবহার রয়েছে - সম্ভবত এটিই প্রথম। অনুলিপিটির জন্য url: http://elderlab.yorku.ca/~elder/teaching/cosc6390psyc6225/readings/hinton%201995.pdf সেই কাগজে, "অচলিত নিউরাল নেটওয়ার্কগুলির জন্য ওয়াক-স্লিপ অ্যালগরিদম", সমীকরণ # 5 এর পূর্বে নোটটি বলে: "যখন কোনও ইনপুট ভেক্টর বর্ণনা করার অনেক বিকল্প উপায় আছে তখন স্টোকাস্টিক কোডিং স্কিম ডিজাইন করা সম্ভব যা সুবিধা গ্রহণ করে বিকল্প বর্ণনা জুড়ে এনট্রপি [1]। ব্যয়টি তখন: "(একন # 5 এর জন্য কাগজ দেখুন)" দ্বিতীয় শব্দটি হ'ল বিতরণটির এনট্রপি যা স্বীকৃতি ওজন বিভিন্ন বিকল্প উপস্থাপনাকে নির্ধারণ করে "" পরের কাগজে, একন # 5টিকে এ্যাকন # 8 হিসাবে আবারও লেখা হয়, শেষ সম্ভাব্যতা বিতরণ এবং উত্তরোত্তর সম্ভাবনা বিতরণের মধ্যে কুলব্যাক-লেবেলার বিচ্যুতি হিসাবে বর্ণিত শেষ শব্দটি। কাগজটিতে বলা হয়েছে: "সুতরাং দুটি জেনারেটাল মডেলের জন্য যা সমান সম্ভাবনা ডি তে সরবরাহ করে, ) এই কাগজটি এখনও এই নির্দিষ্ট অ্যালগরিদমের জন্য ন্যূনতমকরণ প্রক্রিয়াটিকে কুলব্যাক-লেবেলার বিচ্যুতি হ্রাস হিসাবে বর্ণনা করেছে, তবে মনে হচ্ছে এটি "বিকল্প বিবরণ জুড়ে এনট্রপি" শব্দটি কেবল "ক্রস এন্ট্রপি" হিসাবে সংক্ষিপ্ত করা হয়েছিল। টেনসরফ্লো ব্যবহার করে ক্রস এনট্রপির সংখ্যাসূচক উদাহরণের জন্য, এখানে পোস্টিংটি দেখুন, এটি সহায়ক: ) এই কাগজটি এখনও এই নির্দিষ্ট অ্যালগরিদমের জন্য ন্যূনতমকরণ প্রক্রিয়াটিকে কুলব্যাক-লেবেলার বিচ্যুতি হ্রাস হিসাবে বর্ণনা করেছে, তবে মনে হচ্ছে এটি "বিকল্প বিবরণ জুড়ে এনট্রপি" শব্দটি কেবল "ক্রস এন্ট্রপি" হিসাবে সংক্ষিপ্ত করা হয়েছিল। টেনসরফ্লো ব্যবহার করে ক্রস এনট্রপির সংখ্যাসূচক উদাহরণের জন্য, এখানে পোস্টিংটি দেখুন, এটি সহায়ক: /programming/41990250/ কি-is-cross-entropy নোট করুন যে সিই = 0.47965 এর সমাধানটি .619 সম্ভাবনার প্রাকৃতিক লগ গ্রহণ করেই উত্পন্ন হয়েছিল। উপরের উদাহরণে, "একটি হট" এনকোডিংয়ের অর্থ হ'ল ক্রস এনট্রপির সংমিশ্রণে শূন্য-মূল্যবান প্রাথমিক সম্ভাবনার দ্বারা গুণিত হওয়ার কারণে অন্য দুটি প্রাথমিক এবং উত্তরীয় সম্ভাব্যতা উপেক্ষা করা হয়।

Comments

+1 এটি সঠিক হতে পারে। সুতরাং, আপনি বলছেন যে 1994 ক্রস এনট্রপির আধুনিক সংজ্ঞাটির উত্স?

— নীল জি