কেন এউসি = 1 এমনকি শ্রেণিবদ্ধরা নমুনাগুলির অর্ধেকটি ভুল শংসায়িত করেছেন?


20

আমি একটি শ্রেণিবদ্ধ ব্যবহার করছি যা সম্ভাব্যতা ফিরিয়ে দেয়। এউসি গণনা করতে, আমি পিআরসি আর-প্যাকেজটি ব্যবহার করছি। শ্রেণিবদ্ধ থেকে আউটপুট সম্ভাব্যতাগুলি হ'ল:

probs=c(0.9865780,
0.9996340,
0.9516880,
0.9337157,
0.9778576,
0.8140116,
0.8971550,
0.8967585,
0.6322902,
0.7497237)

probsক্লাস '1' এ থাকার সম্ভাবনা দেখায়। হিসাবে দেখানো হয়েছে, শ্রেণিবদ্ধকারী '1' শ্রেণিতে সমস্ত নমুনা শ্রেণিবদ্ধ করেছে।

সত্য লেবেল ভেক্টর হ'ল:

truel=c(1, 1, 1, 1, 1, 0, 0, 0, 0, 0)

হিসাবে দেখানো হয়েছে, শ্রেণিবদ্ধকারী 5 টি নমুনা ভুলভাবে শ্রেণিবদ্ধ করেছে। তবে, এউসি হ'ল:

pROC::auc(truel, probs)
Area under the curve: 1

আপনি দয়া করে আমাকে ব্যাখ্যা করতে পারেন কেন এটি ঘটে?


সম্পর্কিত প্রশ্ন: stats.stackexchange.com/questions/97395
জুহো কোককল

উত্তর:


21

ক্লাব সদস্যতার সম্ভাবনা অনুযায়ী উদাহরণগুলি র‌্যাঙ্ক করার ক্ষমতার একটি পরিমাপকতা এটিউসি । সুতরাং যদি সমস্ত সম্ভাব্যতা 0.5 এর উপরে হয় তবে ইতিবাচক নিদর্শনগুলির সমস্ত নেতিবাচক নিদর্শনগুলির তুলনায় উচ্চতর সম্ভাবনা থাকলে আপনার এখনও একটির একটি এউসি থাকতে পারে। এক্ষেত্রে একটি সিদ্ধান্তের দ্বার হবে যা 0.5 এর চেয়ে বেশি, যা শূন্যের ত্রুটির হার দেয়। নোট করুন যেহেতু এইউসি কেবল সম্ভাব্যতার র‌্যাঙ্কিংয়ের পরিমাপ করে, সম্ভাবনাগুলি ভালভাবে ক্যালিব্রেটেড হয় (উদাহরণস্বরূপ কোনও পদ্ধতিগত পক্ষপাত নেই) এটি আপনাকে জানায় না, যদি সম্ভাবনার ক্রমাঙ্কন গুরুত্বপূর্ণ হয় তবে ক্রস-এনট্রপি মেট্রিকটি দেখুন।


21

অন্যান্য উত্তরগুলি কী ঘটছে তা ব্যাখ্যা করে তবে আমি ভেবেছিলাম কোনও ছবি খুব সুন্দর হতে পারে।

আপনি দেখতে পাচ্ছেন যে ক্লাসগুলি পুরোপুরি পৃথক হয়ে গেছে, সুতরাং এটিসি 1 হয়, তবে 1/2 এ থ্রোসোল্ডিং করলে 50% এর একটি ভুল শৃঙ্খলাবদ্ধ হার তৈরি হবে।

probs


21

নমুনাগুলি মোটেও "ভুল শ্রেণিবদ্ধ" ছিল না। 0উদাহরণ থেকে যথাযথভাবে নিম্ন তম স্থান হয় 1উদাহরণ। এআরওসিসি ঠিক তাই করছে যা এটি করার জন্য সংজ্ঞায়িত হয়েছে, যা এলোমেলোভাবে নির্বাচিতকে এলোমেলোভাবে নির্বাচিতের 1চেয়ে উচ্চতর স্থান দেওয়া হয় এমন সম্ভাবনা পরিমাপ করে 0। এই নমুনায়, এটি সর্বদা সত্য, সুতরাং এটি সম্ভাব্য 1 ইভেন্ট।

টম ফাউসেটের আরওসি বক্ররেখা সম্পর্কে দুর্দান্ত প্রকাশক নিবন্ধ রয়েছে । আমি সেখানে শুরু করার পরামর্শ দেব suggest

টম ফাউসেট "আরওসি বিশ্লেষণের একটি ভূমিকা।" প্যাটার্ন স্বীকৃতি চিঠি। 2005।


3
+1 ফাউসেট পেপার শুরু করার জন্য খুব ভাল একটি জায়গা।
ডিকরান মার্শুপিয়াল
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.