পিআর বক্ররেখা অধীনে অঞ্চল ব্যাখ্যা

Question

আমি বর্তমানে তিনটি পদ্ধতির তুলনা করছি এবং আমার যথাযথতা, অরোক এবং অউপিআরটি মেট্রিক হিসাবে রয়েছে। এবং আমি নিম্নলিখিত ফলাফল আছে:

পদ্ধতি এ - acc: 0.75, auROC: 0.75, auPR: 0.45

পদ্ধতি বি - acc: 0.65, অরোক: 0.55, ইউপিআর: 0.40

পদ্ধতি সি - acc: 0.55, auROC: 0.70, auPR: 0.65

আমার যথাযথতা এবং অরোক সম্পর্কে ভাল ধারণা আছে (ভালভাবে মনে রাখতে আমি প্রায়শই "অউরোসি = ভাল ধনাত্মক শ্রেণীর পূর্বাভাস দেওয়ার ক্ষমতা চিহ্নিতকরণ" এর মতো একটি বাক্যটি উপস্থিত করার চেষ্টা করি, যদিও সঠিকভাবে এটি আমাকে স্মরণে রাখতে সহায়তা করে না)। এর আগে আমার কাছে কখনই আরপিআর ডেটা ছিল না এবং আমি বুঝতে পারি যে এটি কীভাবে তৈরি করা হয়েছে আমি এর পিছনে "অনুভূতি" পেতে পারি না।

প্রকৃতপক্ষে নির্ভুলতা এবং ইউপিআর জন্য খারাপ / গড় থাকাকালীন কেন পদ্ধতি সিতে আইপিআরটির জন্য অবিশ্বাস্যভাবে উচ্চ স্কোর থাকে তা আমি বুঝতে ব্যর্থ হয়েছি।

যদি কেউ আমাকে সাধারণ ব্যাখ্যা দিয়ে এটি আরও কিছুটা বুঝতে সাহায্য করতে পারে যা সত্যই দুর্দান্ত। ধন্যবাদ.

Answer 1

আরওসি এবং পিআর বক্ররেখার একটি অক্ষ একই, এটি টিপিআর: ডেটাতে সমস্ত ইতিবাচক কেসগুলির মধ্যে কতটি ইতিবাচক কেস সঠিকভাবে শ্রেণিবদ্ধ করা হয়েছে।

অন্য অক্ষ পৃথক পৃথক। আরওসি এফপিআর ব্যবহার করে, যা তথ্যগুলির সমস্ত নেতিবাচকতার মধ্যে কতজন ভুলভাবে ইতিবাচক হিসাবে ঘোষণা করে। পিআর বক্ররেখা নির্ভুলতা ব্যবহার করে: ইতিবাচক হিসাবে পূর্বাভাস দেওয়া সমস্তগুলির মধ্যে কতটি সত্য ধনাত্মক। সুতরাং দ্বিতীয় অক্ষের ভিত্তি আলাদা। আরওসি ডেটাতে যা রয়েছে তা ব্যবহার করে, পিআর ভবিষ্যদ্বাণীতে যা ব্যবহার করে তা ভিত্তি হিসাবে ব্যবহার করে।

ডেটাতে উচ্চ শ্রেণির ভারসাম্যহীনতা থাকলে পিআর বক্ররেখা আরও তথ্যবহুল বলে মনে করা হয়, এই পেপারটি দেখুন http://pages.cs.wisc.edu/~jdavis/davisgoadrichcamera2.pdf ।

Comments

অরোকের জন্য ০.০ হ'ল সর্বনিম্ন (কারণ ভবিষ্যদ্বাণীটি উল্টিয়ে কম করা ভাল)। এপিআর-এর সাথে কি কিছু অনুরূপ নিয়ম রয়েছে? আমার পরিমাপ সম্পর্কেও: পদ্ধতি সি এর স্কোরগুলি দেখে আমি কী জোর দিয়ে বলতে পারি? কারণ আমি একই ক্ষেত্রে 3 টি ক্ষেত্রে একই ডেটাসেটের সাথে কাজ করছি এবং ক্লাসের মধ্যে কমবেশি এমনকি বিতরণকৃত একটি ডেটাসেটের জন্য আমার দৃষ্টিকোণ থেকে এটি বোঝা যাবে না যে অরোক এবং ইউপিআর আমার জন্য একই র‌্যাঙ্কিং অনুসরণ করে না পদ্ধতি।

— AdrienNK

এপিআর-এ এলোমেলো শ্রেণিবদ্ধ স্কোর কত? আমি জানি এটি অরোক-তে 0.5. তবে আমি ইউপিআর-তে জানতে অক্ষম।

— জ্যাক টোয়েন 19

এলোমেলোভাবে শ্রেণিবদ্ধের জন্য প্রত্যাশিত এপিআর স্কোরটি ডেটাসেটের সত্যিকারের ইতিবাচক মামলার অনুপাত মাত্র। আপনি যদি ক্লাসটি অনুমান করেন তবে আপনি যে নির্ভুলতাটি আশা করবেন তা হ'ল, এবং আপনি সমস্ত স্তরের পুনরুদ্ধারের জন্য সেই নির্ভুলতা পাবেন। সুতরাং একটি এলোমেলো শ্রেণিবদ্ধের জন্য প্রত্যাশিত পিআর বক্ররেখার দৈর্ঘ্য "সত্য ধনাত্মক অনুপাত" x 1 সহ মাত্র একটি আয়তক্ষেত্র হিসাবে উদাহরণস্বরূপ, যদি আপনার ডেটাসেটে 10% ধনাত্মক কেস এবং 90% নেতিবাচক কেস থাকে, তবে সুযোগের মধ্যে প্রত্যাশিত এপিআর 0.1 হয়।

— লিজি সিলভার