ক্রস-এনট্রপি এবং বিভ্রান্তির মধ্যে সম্পর্ক বোঝার চেষ্টা করা। সাধারণত একটি মডেল এম এর জন্য , Perplexity (M) = 2 ^ এন্ট্রপি (এম) । এই সম্পর্কটি কি সমস্ত বিভিন্ন এন-গ্রাম, অর্থাৎ ইউনিগ্রাম, বিগ্রাম ইত্যাদির জন্য ধারণ করে?
উত্তর:
হ্যাঁ, বিভ্রান্তি সর্বদা এনট্রপির ক্ষমতার সমান। আপনার কী ধরণের মডেল, এন-গ্রাম, ইউনিগ্রাম, বা নিউরাল নেটওয়ার্ক তা বিবেচ্য নয়।
ভাষা মডেলিংয়ের লোকেরা কেবল এনট্রপি ব্যবহার না করে বিভ্রান্তির পছন্দ করার কয়েকটি কারণ রয়েছে। একটি হ'ল, ঘটনাকারীর কারণে, এনট্রপির সমতুল্য উন্নতির চেয়ে তারা বিভ্রান্তির "অনুভূতি" উন্নতি করে। আর একটি হ'ল তারা বিভ্রান্তি ব্যবহার শুরু করার আগে একটি ভাষা মডেলের জটিলতাটি সরলবাদী শাখা ফ্যাক্টর পরিমাপ ব্যবহার করে জানানো হয়েছিল যা এনট্রপির চেয়ে বিভ্রান্তির চেয়ে বেশি অনুরূপ।
কিছুটা সংশোধন করে @ অ্যারোন উত্তরের সাথে একমত হয়েছেন:
এটি সর্বদা এন্ট্রপির ক্ষমতার সমান নয় equal প্রকৃতপক্ষে, এটি হবে (লগের জন্য ভিত্তি) এন্ট্রপির শক্তি। আপনি যদি ইটিকে আপনার বেস হিসাবে ব্যবহার করেন তবে এটি ই ^ এনট্রপি হবে।