ক্রস-এনট্রপি সাধারণত দুটি সম্ভাব্য বন্টনের মধ্যে পার্থক্য প্রমাণ করতে ব্যবহৃত হয়। সাধারণত "সত্য" বিতরণ (আপনার মেশিন লার্নিং অ্যালগরিদম যেটি মেলে চেষ্টা করছে) এক-গরম বিতরণের ক্ষেত্রে প্রকাশিত হয়।
উদাহরণস্বরূপ, ধরুন কোনও নির্দিষ্ট প্রশিক্ষণের উদাহরণের জন্য আসল লেবেল হ'ল বি (সম্ভাব্য লেবেল এ, বি এবং সি এর মধ্যে)। এই প্রশিক্ষণের উদাহরণের জন্য এক-গরম বিতরণ হ'ল:
Pr(Class A) Pr(Class B) Pr(Class C)
0.0 1.0 0.0
আপনি উপরোক্ত সত্য বিতরণটির ব্যাখ্যা করতে পারেন যে প্রশিক্ষণের উদাহরণটিতে ক্লাস এ হওয়ার 0% সম্ভাবনা, বি বি শ্রেণি হওয়ার 100% সম্ভাবনা এবং শ্রেণি সি হওয়ার 0% সম্ভাবনা রয়েছে has
এখন, ধরুন আপনার মেশিন লার্নিং অ্যালগরিদম নিম্নলিখিত সম্ভাব্যতা বিতরণের পূর্বাভাস করেছে:
Pr(Class A) Pr(Class B) Pr(Class C)
0.228 0.619 0.153
সত্য বিতরণের পূর্বাভাস বিতরণ কতটা কাছাকাছি? ক্রস-এনট্রপি ক্ষতি এটিই নির্ধারণ করে। এই সূত্রটি ব্যবহার করুন:
p(x)সত্য সম্ভাবনা বিতরণ কোথায় , এবং q(x)পূর্বাভাসের সম্ভাবনা বন্টন। যোগফলটি তিনটি A, B এবং C এর উপরে রয়েছে, এক্ষেত্রে লোকসানটি 0.479 হয় :
H = - (0.0*ln(0.228) + 1.0*ln(0.619) + 0.0*ln(0.153)) = 0.479
সুতরাং সত্যিকারের বিতরণ থেকে আপনার ভবিষ্যদ্বাণীটি "ভুল" বা "দূরে" is
ক্রস এন্ট্রপি হ'ল সম্ভাব্য ক্ষতির কোনও একটি (অন্য জনপ্রিয় এটি এসভিএম কবজ ক্ষতি) loss এই ক্ষতির ফাংশনগুলি সাধারণত জ (থেটা) হিসাবে লেখা হয় এবং গ্রেডিয়েন্ট বংশোদ্ভূত হওয়ার মধ্যে ব্যবহার করা যেতে পারে, যা পরামিতিগুলি (বা সহগ) সর্বোত্তম মানগুলির দিকে সরানোর জন্য একটি পুনরাবৃত্ত অ্যালগরিদম। নিচে সমীকরণ, আপনি প্রতিস্থাপন করবে J(theta)সঙ্গে H(p, q)। তবে নোট করুন যে আপনাকে H(p, q)প্রথমে প্যারামিটারগুলির সাথে সম্মানের সাথে ডেরাইভেটিভ গণনা করতে হবে ।
সুতরাং আপনার মূল প্রশ্নের সরাসরি উত্তর দিতে:
ক্ষতির কার্যকারিতা বর্ণনা করার জন্য কি কেবল এটিই একটি পদ্ধতি?
সঠিক, ক্রস-এনট্রপি দুটি সম্ভাব্যতা বিতরণের মধ্যে ক্ষতির বর্ণনা দেয়। এটি সম্ভাব্য ক্ষতির অন্যতম কার্যকারিতা।
তারপরে আমরা নূন্যতম সন্ধানের জন্য গ্রেডিয়েন্ট বংশদ্ভুত অ্যালগরিদম ব্যবহার করতে পারি।
হ্যাঁ, ক্রস-এন্ট্রপি ক্ষতি ফাংশন গ্রেডিয়েন্ট বংশোদ্ভূত অংশ হিসাবে ব্যবহার করা যেতে পারে।
আরও পড়ুন: টেনসরফ্লো সম্পর্কিত আমার অন্য একটি উত্তর ।
