স্পার্স_একটিগ্রাফিকাল_ক্রোসেন্টরোপি বনাম শ্রেণিবদ্ধ_ক্রসাসট্রপি (কেরাস, নির্ভুলতা)

Question

নির্ভুলতার জন্য কোনটি ভাল বা সেগুলি একই? অবশ্যই, আপনি যদি শ্রেণিবদ্ধ_ক্রোসেন্টরোপি ব্যবহার করেন তবে আপনি একটি গরম এনকোডিং ব্যবহার করেন এবং আপনি যদি স্পার্স_ক্যাটরেগরিয়াল_ক্রসসেন্ট্রপি ব্যবহার করেন তবে সাধারণ সংখ্যার হিসাবে এনকোড করে থাকেন। অতিরিক্তভাবে, যখন অন্য একজনের থেকে ভাল হয়?

Answer 1

যখন আপনার ক্লাসগুলি পারস্পরিকভাবে একচেটিয়া থাকে (উদাহরণস্বরূপ যখন প্রতিটি নমুনা এক শ্রেণির অন্তর্গত) তখন শ্রেণীবদ্ধ ক্রসসেন্ট্রপি ব্যবহার করুন এবং যখন কোনও নমুনায় একাধিক শ্রেণি বা লেবেল থাকতে পারে তখন নরম সম্ভাবনা থাকে (যেমন [০.০, ০.০, ০.২])।

শ্রেণীবদ্ধ ক্রসসেন্ট্রোপির সূত্র (এস - নমুনা, সি - ক্লাসেস, $s \in c$ - নমুনা শ্রেণীর সি অন্তর্গত):

$$-\frac{1}{N} \sum_{s\in S} \sum_{c \in C} 1_{s\in c} log {p(s \in c)}$$

$-log p(s \in c)$ সত্য বর্গ গ জন্য।

এটি সময় এবং স্মৃতি সংরক্ষণ করতে দেয়। 10000 শ্রেণীর ক্ষেত্রে পারস্পরিকভাবে একচেটিয়া থাকার ক্ষেত্রে বিবেচনা করুন - প্রতিটি নমুনার জন্য 10000 যোগফলের পরিবর্তে কেবল 1 লগ করুন, 10000 ফ্লোটের পরিবর্তে কেবল একটি পূর্ণসংখ্যা।

ফর্মুলা উভয় ক্ষেত্রেই একই, সুতরাং নির্ভুলতার কোনও প্রভাব হওয়া উচিত নয়।

Comments

তারা কি যথার্থতাটিকে আলাদাভাবে প্রভাবিত করে, উদাহরণস্বরূপ mnist ডিজিটের ডেটাসেটে?

— মাস্টার এম

গাণিতিকভাবে কোনও পার্থক্য নেই। যদি প্রয়োগগুলির দ্বারা গণনা করা মানগুলিতে উল্লেখযোগ্য পার্থক্য থাকে (বলুন টেনসরফ্লো বা পাইকার্চ), তবে এটি বাগের মতো শোনাচ্ছে। এলোমেলো তথ্য (1000 শ্রেণি, 10 000 নমুনা) এর সাথে সহজ তুলনা কোনও পার্থক্য দেখায় না।

— frenzykryger

প্রিয় ফ্রেনজিক্রাইজার, আমি অনুমান করি যে আপনি কেবলমাত্র একটি নমুনা কেসের জন্য একটি বিয়োগফল ভুলে গেছেন: "প্রতিটি নমুনার জন্য কেবলমাত্র শূন্য-বিন্দু কেবলমাত্র লগ (পি (গুলি) $\in$সি)) "

— বাকীগুলির জন্য

তুমি ঠিক বলছো. ধন্যবাদ!

— frenzykryger

@ ফ্রেঞ্জাইক্রাইগার আমি মাল্টি-আউটপুট সমস্যা নিয়ে কাজ করছি। আমার 3 টি আলাদা আলাদা আউটপুট রয়েছে o1,o2,o3এবং প্রত্যেকের 167,11,7যথাক্রমে ক্লাস রয়েছে। আমি আপনার উত্তরটি পড়েছি যে এটি কোনও তাত্পর্যপূর্ণ করবে না তবে আমি ব্যবহার করি sparse__বা না ব্যবহার করে কোনও পার্থক্য রয়েছে । আমি কি প্রথম categorical2 এবং sparseপ্রথম শ্রেণীর জন্য যেতে পারি যেহেতু প্রথম শ্রেণিতে 167 ক্লাস রয়েছে?

— দেশওয়াল

Answer 2

উত্তর, সংক্ষেপে

যদি আপনার লক্ষ্যগুলি এক-হট এনকোড থাকে তবে শ্রেণীবদ্ধ_ক্রসসেন্টরোপি ব্যবহার করুন। এক-গরম এনকোডিংগুলির উদাহরণ:

[1,0,0]
[0,1,0] 
[0,0,1]

তবে আপনার লক্ষ্যগুলি যদি পূর্ণসংখ্যার হয় তবে স্পার্স_শ্রেণীর_সামগ্রী ব্যবহার করুন sent পূর্ণসংখ্যার এনকোডিংগুলির উদাহরণ (সমাপ্তির জন্য):

1
2
3

Comments

আমার কি একক আউটপুট নোডের দরকার sparse_categorical_crossentropy? এবং from_logitsযুক্তি মানে কি?

— লিভো