বিভিন্ন নমুনা মাপের সাথে বিভিন্ন শ্রেণিবদ্ধের পারফরম্যান্স পরিমাপ


12

আমি বর্তমানে পাঠ্য থেকে উত্তোলিত বিভিন্ন সত্তায় বেশ কয়েকটি পৃথক শ্রেণিবদ্ধকারী ব্যবহার করছি এবং প্রতিটি পৃথক শ্রেণিবদ্ধকারী প্রদত্ত ডেটাসেট জুড়ে কতটা ভাল সম্পাদন করে তার সংক্ষিপ্তসার হিসাবে যথার্থ / স্মরণ ব্যবহার করছি।

আমি ভাবছি যদি এই শ্রেণিবদ্ধদের পারফরম্যান্সের সাথে একইভাবে তুলনা করার কোনও অর্থবোধক উপায় থাকে তবে যা পরীক্ষার ডেটাগুলিতে শ্রেণিবদ্ধ করা হচ্ছে তার প্রতিটি সত্তার মোট সংখ্যাও বিবেচনা করে?

বর্তমানে, আমি পারফরম্যান্সের পরিমাপ হিসাবে নির্ভুলতা / স্মরণ ব্যবহার করছি, তাই এর মতো কিছু থাকতে পারে:

                    Precision Recall
Person classifier   65%       40%
Company classifier  98%       90%
Cheese classifier   10%       50%
Egg classifier      100%      100%

তবে, আমি যে ডেটাসেটটি এ চালাচ্ছি তাতে 100k লোক, 5 কে সংস্থা, 500 চিজ এবং 1 ডিম থাকতে পারে।

তাহলে কি উপরের টেবিলটিতে আমি সংক্ষিপ্ত পরিসংখ্যান যুক্ত করতে পারি যা প্রতিটি আইটেমের মোট সংখ্যাও বিবেচনা করে? বা ডিমের শ্রেণিবদ্ধে উদাহরণস্বরূপ 100% যথাযথ / রেক মাত্র 1 ডেটা আইটেমের সাথে অর্থপূর্ণ নাও হতে পারে তা পরিমাপের কিছু উপায় আছে?

আসুন ধরা যাক আমাদের শত শত শ্রেণিবদ্ধ ছিল, আমি অনুমান করি যে "কোন শ্রেণিবদ্ধদের তুলনামূলক কম পারফর্ম করা হচ্ছে? কোন শ্রেণিবদ্ধদের তারা দক্ষতার তুলনায় দক্ষ কিনা তা বলার জন্য পর্যাপ্ত পরীক্ষার ডেটার অভাব রয়েছে?"।


আপনার যদি বিভিন্ন ডেটাসেটে প্রশিক্ষিত বিভিন্ন শ্রেণিবদ্ধ থাকে, আপনি কীভাবে তাদের অর্থপূর্ণ উপায়ে তুলনা করতে পারেন? আপেল এবং কমলা, খড়ি এবং পনির মনে আসে। এছাড়াও, আপনার যদি মাল্টিক্লাস শ্রেণিবদ্ধ রয়েছে, আপনি কীভাবে নির্ভুলতা গণনা করবেন এবং পুনরুদ্ধার করবেন? এমনকি এন = 1 জানা জেনে রাখা কার্যকর নয় - পৃথিবীতে যদি একটি মাত্র ডিম থাকে তবে আপনার ডিমের শ্রেণিবদ্ধ ঠিক আছে।
বুল

তারা একই ডেটাसेटগুলিতে প্রশিক্ষিত বিভিন্ন শ্রেণিবদ্ধ, উদাহরণস্বরূপ আমরা জানি যে আমাদের কাছে আপেল এবং কমলা সম্পর্কিত একটি নথি রয়েছে, তাই এটি কী ধরণের অ্যাপল কথা বলছে তা নির্ধারণ করার জন্য আমরা এতে একটি আপেল শ্রেণিবদ্ধকারী চালাই এবং কমলার ধরণ নির্ধারণের জন্য কমলা শ্রেণিবদ্ধকারী এটা সম্পর্কে কথা বলা। যদি আমাদের নথিগুলি আপেল সম্পর্কে 99%, কমলা সম্পর্কে 1% এবং উভয় শ্রেণিবদ্ধের সমান যথাযথ / রেক (সংশ্লেষণের ম্যাট্রিক্সের তুলনায় সারি / কলস সংমিশ্রণ) থাকে তবে আমরা উপস্থাপন করতে পারি এমন কোনও তথ্য রয়েছে যা প্রত্যেকটির পরিমাণের পার্থক্যের বিষয়টি বিবেচনা করে থাকে? ? (এটি এমন হতে পারে যে, না, যা একটি উত্তর যা দিয়ে আমি খুশি হব)
ডেভ চ্যালিস

উত্তর:


5

আপনার পরিসংখ্যানের আত্মবিশ্বাসের ব্যবধানটি লক্ষ্য করা দরকার। এটি পরিসংখ্যানগুলিতে কতটা অনিশ্চয়তা পরিমাপ করতে সহায়তা করে যা মূলত নমুনা আকারের একটি কার্য।


2

আমার মতে, আকারের এত বড় পার্থক্য থাকলে পারফরম্যান্সটির তুলনা করা কঠিন। এই লিঙ্কটিতে, (দয়া করে এটি এখানে উইকিপিডিয়া http://en.wikedia.org/wiki/Effect_size এ দেখুন ), আপনি বিভিন্ন কৌশল দেখতে পাবেন।

আমার প্রস্তাবিত একটি হ'ল বৈকল্পিক সম্পর্কিত। উদাহরণস্বরূপ, শ্রেণিবদ্ধ (100%) এবং ব্যক্তি শ্রেণিবদ্ধকারী (65%) এর কর্মক্ষমতা বিবেচনা করুন। প্রাক্তন শ্রেণিবদ্ধের সাথে আপনি যে সর্বনিম্ন ত্রুটি করেন তা হ'ল 100%। যাইহোক, আপনি পরবর্তী শ্রেণিবদ্ধের সাথে সংঘটিত করতে সর্বনিম্ন ত্রুটিটি 10e-5।

শ্রেণিবদ্ধের তুলনা করার একটি উপায় হ'ল এই নিয়মের তিনটি ( http://en.wikedia.org/wiki/Rule_of_three_ ( স্ট্যাটিস্টিকস) মনে রাখা যেখানে আপনি পারফরম্যান্স এবং তার পরিবর্তনশীলতার তুলনা করতে পারবেন।

অন্যান্য সম্ভাবনা হ'ল এফ-পরিমাপ যা যথার্থ এবং পুনর্বিবেচনার সংমিশ্রণ এবং এটি প্রভাব আকারের সাথে একরকম স্বতন্ত্র।


2

ক্লাসে ডেটা সংখ্যা কখনও কখনও supportশ্রেণিবদ্ধ হিসাবে চিহ্নিত করা হয় । এটি আপনাকে জানায় যে আপনি নিজের ফলাফলকে কতটা বিশ্বাস করতে পারেন, যেমন একটি পি-মান আপনাকে কোনও পরীক্ষার উপর বিশ্বাস বা অবিশ্বাস করতে দেয়।

আপনি যে পদ্ধতিটি ব্যবহার করতে পারেন তা হ'ল একাধিক শ্রেণিবদ্ধ কর্মক্ষমতা ব্যবস্থা গণনা করা, কেবলমাত্র নির্ভুলতা এবং পুনরুদ্ধারই নয়, সত্য ধনাত্মক হার, মিথ্যা ইতিবাচক হার, নির্দিষ্টতা, সংবেদনশীলতা, ইতিবাচক সম্ভাবনা, নেতিবাচক সম্ভাবনা ইত্যাদি and এবং দেখুন যে তারা একে অপরের সাথে সামঞ্জস্যপূর্ণ কিনা see । যদি পরিমাপের মধ্যে একটি ম্যাক্সেক্স আউট (100%) না করে এবং অন্যটি না করে, তবে এটি প্রায়শই আমার অভিজ্ঞতায় কিছু ভুলের ইঙ্গিত দেয় (যেমন দুর্বল সমর্থন, তুচ্ছ শ্রেণিবদ্ধ, পক্ষপাতদুষ্ট শ্রেণিবদ্ধ ইত্যাদি)। দেখুন এই ক্লাসিফায়ার কর্মক্ষমতা ব্যবস্থা একটি তালিকার জন্য।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.