আমি বর্তমানে পাঠ্য থেকে উত্তোলিত বিভিন্ন সত্তায় বেশ কয়েকটি পৃথক শ্রেণিবদ্ধকারী ব্যবহার করছি এবং প্রতিটি পৃথক শ্রেণিবদ্ধকারী প্রদত্ত ডেটাসেট জুড়ে কতটা ভাল সম্পাদন করে তার সংক্ষিপ্তসার হিসাবে যথার্থ / স্মরণ ব্যবহার করছি।
আমি ভাবছি যদি এই শ্রেণিবদ্ধদের পারফরম্যান্সের সাথে একইভাবে তুলনা করার কোনও অর্থবোধক উপায় থাকে তবে যা পরীক্ষার ডেটাগুলিতে শ্রেণিবদ্ধ করা হচ্ছে তার প্রতিটি সত্তার মোট সংখ্যাও বিবেচনা করে?
বর্তমানে, আমি পারফরম্যান্সের পরিমাপ হিসাবে নির্ভুলতা / স্মরণ ব্যবহার করছি, তাই এর মতো কিছু থাকতে পারে:
Precision Recall
Person classifier 65% 40%
Company classifier 98% 90%
Cheese classifier 10% 50%
Egg classifier 100% 100%
তবে, আমি যে ডেটাসেটটি এ চালাচ্ছি তাতে 100k লোক, 5 কে সংস্থা, 500 চিজ এবং 1 ডিম থাকতে পারে।
তাহলে কি উপরের টেবিলটিতে আমি সংক্ষিপ্ত পরিসংখ্যান যুক্ত করতে পারি যা প্রতিটি আইটেমের মোট সংখ্যাও বিবেচনা করে? বা ডিমের শ্রেণিবদ্ধে উদাহরণস্বরূপ 100% যথাযথ / রেক মাত্র 1 ডেটা আইটেমের সাথে অর্থপূর্ণ নাও হতে পারে তা পরিমাপের কিছু উপায় আছে?
আসুন ধরা যাক আমাদের শত শত শ্রেণিবদ্ধ ছিল, আমি অনুমান করি যে "কোন শ্রেণিবদ্ধদের তুলনামূলক কম পারফর্ম করা হচ্ছে? কোন শ্রেণিবদ্ধদের তারা দক্ষতার তুলনায় দক্ষ কিনা তা বলার জন্য পর্যাপ্ত পরীক্ষার ডেটার অভাব রয়েছে?"।