ভারসাম্যহীন ডেটাসেটে আরওসি বনাম যথার্থ-পুনরুদ্ধার বক্ররেখা


18

আমি এই আলোচনাটি পড়ে শেষ করেছি । তাদের যুক্তি রয়েছে যে ভারসাম্যহীন ডেটাসেটের ক্ষেত্রে আরওসি এউসি থেকে পিআর এউসি ভাল।

উদাহরণস্বরূপ, আমাদের পরীক্ষার ডেটাসেটে 10 টি নমুনা রয়েছে। 9 টি নমুনা ধনাত্মক এবং 1 টি নেতিবাচক। আমাদের কাছে একটি ভয়াবহ মডেল রয়েছে যা সবকিছুকে ইতিবাচক বলে পূর্বাভাস দেয়। সুতরাং, আমাদের কাছে এমন একটি মেট্রিক থাকবে যা টিপি = 9, এফপি = 1, টিএন = 0, এফএন = 0।

তারপরে, যথার্থতা = 0.9, পুনরায় কল করুন = 1.0। যথার্থতা এবং পুনরুদ্ধার উভয়ই খুব বেশি, তবে আমাদের একটি নিম্ন শ্রেণিবদ্ধ রয়েছে।

অন্যদিকে, টিপিআর = টিপি / (টিপি + এফএন) = 1.0, এফপিআর = এফপি / (এফপি + টিএন) = 1.0। যেহেতু এফপিআর খুব বেশি, আমরা সনাক্ত করতে পারি যে এটি একটি ভাল শ্রেণিবদ্ধ নয়।

স্পষ্টতই, ভারসাম্যহীন ডেটাসেটের ক্ষেত্রে আরওসি PR এর চেয়ে ভাল। কেউ আরও ব্যাখ্যা করতে পারেন কেন পিআর ভাল?


1
যথার্থতা এবং পুনরুদ্ধার উভয়ই মিথ্যা নেতিবাচক উপেক্ষা করে। পিআর ট্রেডঅফ (কার্ভস বা এফ-স্কোর) ব্যবহারের জন্য সাধারণ যুক্তিটি হ'ল টিপি এবং এফপির তুলনায় নেতিবাচক এবং ভ্রান্ত নেতিবাচক সংখ্যা huge সুতরাং টিএনআর-> 1 এবং এফপিআর-> 0 (সমান 1 টি সমান | নেগস | বিভাজন)। সুতরাং পিআর এই ক্ষেত্রে টিপি বনাম এফপি বাণিজ্যকে (প্রশস্ত বা জুম বাড়িয়ে) প্রতিফলিত করে তবে এটি অর্থবহ নয় এবং যা প্রাসঙ্গিক তা ইউডেন জে সূচক বৃদ্ধি (ইনফরমেশন = টিপিআর-এফপিআর = টিপিআর + টিএনআর -১ = সংবেদনশীলতা + নির্দিষ্টকরণ -১) যা ত্রিভুজাকার একক অপারেটিং পয়েন্ট বক্ররেখা এবং আরওসি চান্স লাইনের মধ্যবর্তী অঞ্চলের দ্বিগুণ।
ডেভিড

2
@ ডেভিড এমডাব্লুপাওয়ারস, কেন এটি সরকারী উত্তরে পরিণত করবেন না? এটি আমার কাছে খুব তথ্যপূর্ণ প্রতিক্রিয়া বলে মনে হচ্ছে।
গুং - মনিকা পুনরায়

2
যথার্থতা, প্রত্যাহার, সংবেদনশীলতা এবং নির্দিষ্টতা অযৌক্তিক বিচ্ছিন্নভাবে স্বেচ্ছাসেবী তথ্য হারাতে নির্ভুলতার স্কোর এবং ব্যবহার করা উচিত নয়। ভারসাম্যহীনতায় এগুলি বিশেষত সমস্যাযুক্ত হতে পারে। -index (নির্ঘণ্ট সম্ভাব্যতা; AUROC) চরম ভারসাম্য অধীনে কাজ করে জরিমানা। আরও ভাল: লগ-সম্ভাবনা বা ব্রিয়ার স্কোর সম্পর্কিত একটি যথাযথ নির্ভুলতার স্কোরিং নিয়ম ব্যবহার করুন।
ফ্র্যাঙ্ক হ্যারেল

উত্তর:


8

প্রথমত, কাগল পোস্টে দাবিটি বোগাস। তারা যে কাগজটি উল্লেখ করেছেন, " রিলেশনশিপ বিটিউন অফ প্রিসিশন-রিকল এবং আরওসি কার্ভস " কখনও দাবি করেন না যে পিআর এউসি আরওসি এউসি থেকে ভাল । তারা কেবল তাদের মানগুলি বিচার না করেই তাদের সম্পত্তিগুলির তুলনা করে।

আরওসি বক্ররেখা কখনও কখনও কিছু খুব ভারসাম্যহীন অ্যাপ্লিকেশনগুলিতে বিভ্রান্তিকর হতে পারে। সংখ্যালঘু শ্রেণীর বেশিরভাগ বা সমস্তকে ভুলভাবে শ্রেণিবদ্ধ করার সময় একটি আরওসি বক্ররেখা এখনও বেশ ভাল দেখতে (যেমন এলোমেলো চেয়ে ভাল) দেখতে পারে।

বিপরীতে, পিআর বক্ররেখা বিশেষত বিরল ঘটনা সনাক্তকরণের জন্য তৈরি করা হয় এবং এই পরিস্থিতিতে দৃশ্যে বেশ কার্যকর। তারা দেখিয়ে দেবে যে এটি যদি আপনার শ্রেণিবদ্ধের সংখ্যালঘু শ্রেণীর বা বেশিরভাগ বা সকলকেই ভুল শৃঙ্খলাবদ্ধ করে থাকে তবে তার পারফরম্যান্স কম থাকে। তবে তারা বেশি ভারসাম্যযুক্ত মামলায় বা নেতিবাচক বিরল ক্ষেত্রে খুব ভাল অনুবাদ করে না।

তদতিরিক্ত, যেহেতু তারা ইতিবাচক ইভেন্টগুলির বেসলাইন সম্ভাবনা সম্পর্কে সংবেদনশীল, তারা ভাল জেনারেল করে না এবং কেবলমাত্র তারা যে নির্দিষ্ট ডেটাসেটটি তৈরি করেছিল তা প্রয়োগ করে, বা ঠিক একই ভারসাম্য সহ ডেটাস্টেটে প্রয়োগ করে। এর অর্থ হল বিভিন্ন গবেষণা থেকে পিআর বক্ররেখাগুলির তুলনা করা তাদের পক্ষে প্রয়োজনীয়তা সীমাবদ্ধ করা সাধারণত কঠিন।

বরাবরের মতো, আপনার কাছে উপলব্ধ সরঞ্জামগুলি বোঝা এবং সঠিক প্রয়োগের জন্য সঠিকটি নির্বাচন করা গুরুত্বপূর্ণ। আমি এখানে সিভিতে আরওসি বনাম নির্ভুলতা এবং পুনরুদ্ধার বক্ররেখা প্রশ্নটি পড়ার পরামর্শ দিচ্ছি ।


3

আপনার উদাহরণ অবশ্যই সঠিক।

তবে আমি মনে করি কেগল প্রতিযোগিতা / রিয়েল লাইফ অ্যাপ্লিকেশন প্রসঙ্গে, একটি স্কিউড ডেটাসেট বলতে সাধারণত নেতিবাচক নমুনাগুলির চেয়ে কম পজিটিভ নমুনাগুলির সাথে একটি ডেটাসেট বোঝায়। কেবলমাত্র এই ক্ষেত্রে, পিআর এউসি আরওসি এউসির চেয়ে বেশি "অর্থবহ" "

টিপি = 9, এফএন = 1, টিএন = 900, এফপি = 90 সহ একটি ডিটেক্টর বিবেচনা করুন, যেখানে 10 ধনাত্মক এবং 990 নেতিবাচক নমুনা রয়েছে। টিপিআর = 0.9, এফপিআর = 0.1 যা একটি ভাল আরওসি স্কোর নির্দেশ করে, তবে যথার্থ = 0.1 যা একটি খারাপ পিআর স্কোর নির্দেশ করে।


0

আপনি সেখানে অর্ধেক পথ।

সাধারণত যখন আমি ভারসাম্যহীন মডেল, হেক, এমনকি ভারসাম্যপূর্ণ মডেলগুলি করি তখন আমি আমার সমস্ত ক্লাসের জন্য PR এর দিকে তাকাই।

আপনার উদাহরণে, হ্যাঁ, আপনার ইতিবাচক শ্রেণিতে P = 0.9 এবং R = 1.0 রয়েছে। তবে আপনাকে যা দেখতে হবে তা হ'ল আপনার সমস্ত ক্লাস। সুতরাং আপনার নেতিবাচক শ্রেণীর জন্য, আপনার পি = 0 এবং আপনার আর = 0 এবং আপনি সাধারণত পিআর স্কোরগুলি পৃথকভাবে দেখেন না। আপনি এফ 1-স্কোর (এফ 1 ম্যাক্রো বা এফ 1 মাইক্রো, আপনার সমস্যার উপর নির্ভর করে) দেখতে চান যা ক্লাস 1 এবং ক্লাস 2 উভয়ের জন্য আপনার পিআর স্কোরগুলির সুরেলা গড় Your আপনার ক্লাস 0 পিআর স্কোর, আপনার এফ 1-স্কোর হবে মারাত্মক, যা আপনার দৃশ্যের জন্য সঠিক উপসংহার।

টিএল, ডিআর: আপনার সমস্ত ক্লাসের জন্য পিআর স্কোরগুলি দেখুন এবং আপনার মডেল পারফরম্যান্স সম্পর্কে বাস্তব উপসংহার পেতে এফ 1-স্কোরের মতো একটি মেট্রিকের সাথে তাদের একত্র করুন। আপনার দৃশ্যের জন্য F1- স্কোরটি ভয়াবহ হবে যা আপনার দৃশ্যের জন্য সঠিক উপসংহার।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.