যথার্থ-পুনর্বিবেচনা বক্ররেখার (পিআর-কার্ভের এউসি) এবং গড় যথার্থতা (এপি)

Question

যথার্থ-পুনর্বিবেচনা বক্ররেখার (পিআর-কার্ভের এউসি) আওতাভুক্ত যথার্থতা (এপি) কি অঞ্চল?

সম্পাদনা করুন:

পিআর এউসি এবং এপিতে পার্থক্য সম্পর্কে এখানে কিছু মন্তব্য।

এউসি নির্ভুলতার ট্র্যাপিজয়েডাল ইন্টারপোলেশন দ্বারা প্রাপ্ত। একটি বিকল্প এবং সাধারণত সমতুল্য মেট্রিক হল গড় যথার্থ (এপি), তথ্য.এপ হিসাবে প্রত্যাবর্তন returned প্রতিবার নতুন ধনাত্মক নমুনা প্রত্যাহার করার সময় প্রাপ্ত যথার্থতার গড় এটি। যথাযথ অংশগুলি দ্বারা নির্ভুলতা বিভক্ত হয় এবং এটি প্রায়শই টিআরইসি দ্বারা ব্যবহৃত সংজ্ঞা হয় তবে এটি এটিউ এর সমান।

http://www.vlfeat.org/overview/plots-rank.html

অধিকন্তু, auc এবং average_precision_score ফলাফল একই scikit-শিখতে হয় না। এটি আশ্চর্যজনক, কারণ ডকুমেন্টেশনে আমাদের রয়েছে:

পূর্বাভাস স্কোরগুলি থেকে গণনা গড় নির্ভুলতা (এপি) এই স্কোরটি যথার্থ-পুনর্বিবেচনা বক্ররেখার অধীনে অঞ্চলের সাথে মিলে যায়।

কোডটি এখানে:

# Compute Precision-Recall and plot curve
precision, recall, thresholds = precision_recall_curve(y_test, clf.predict_proba(X_test)[:,1])
area = auc(recall, precision)
print "Area Under PR Curve(AP): %0.2f" % area  #should be same as AP?

print 'AP', average_precision_score(y_test, y_pred, average='weighted')
print 'AP', average_precision_score(y_test, y_pred, average='macro')
print 'AP', average_precision_score(y_test, y_pred, average='micro')
print 'AP', average_precision_score(y_test, y_pred, average='samples')

আমার শ্রেণিবদ্ধের জন্য আমার কাছে এরকম কিছু রয়েছে:

Area Under PR Curve(AP): 0.65
AP 0.676101781304
AP 0.676101781304
AP 0.676101781304
AP 0.676101781304

Answer 1

সংক্ষিপ্ত উত্তর: হ্যাঁ । যথার্থ-পুনর্বিবেচনা বক্ররেখার সংক্ষিপ্তসার জন্য ব্যবহৃত গড় একক সংখ্যা:

আপনি এর সাথে অবিচ্ছেদ্য (বক্ররেখার ক্ষেত্রফল) আনুমানিক করতে পারেন:

ভাল ব্যাখ্যার জন্য দয়া করে এই লিঙ্কটি একবার দেখুন take

Comments

এই মন্তব্য সম্পর্কে কি? "যথাযথতার ট্রাইপিজয়েডাল দ্বিখণ্ডনের দ্বারা এইউসি প্রাপ্ত হয় An একটি বিকল্প এবং প্রায় সমতুল্য মেট্রিকটি অ্যাভারেজ প্রিসিকেশন (এপি), তথ্য.এপ হিসাবে প্রত্যাবর্তিত হয় new প্রতিবার নতুন ধনাত্মক নমুনা প্রত্যাহার করার সময় প্রাপ্ত যথার্থতার গড় এটি। যথাযথ বিভাগগুলি দ্বারা নির্ভুলতা বিভক্ত হয় এবং এটি টিআরসি দ্বারা প্রায়শই ব্যবহৃত সংজ্ঞা হয় It vlfeat.org/overview/plots-rank.html

— mrgloom

আমার মনে the average of the precision obtained every time a new positive sample is recalledহয় আমি প্রদত্ত লিঙ্কটিতে ব্যাখ্যা করা ইন্টারপোল্টেড গড় যথার্থতা বোঝায় । কিছু লেখক একটি বিকল্প আনুমানিক নির্বাচন করেন যাকে আন্তঃবিবাহিত গড় নির্ভুলতা বলা হয় । বিভ্রান্তিকরভাবে, তারা এখনও এটিকে গড় নির্ভুলতা বলে।

— ঝুবার্ব

কয়েকটি তাত্ক্ষণিক প্রশ্ন: 1) কেন সমন্বয় করুন (পুনরাবৃত্তি = 0, যথার্থতা = 1)? আমার কাছে মোটেই কোন ধারণা রাখে না। ২) যেমন আপনি পর্যবেক্ষণ করতে পারেন, আমরা যদি শ্রেণিবদ্ধের প্রান্তিকাকে কম করি তবে আরও ফলাফল ফিরে পাওয়া যেত এবং ফলস্বরূপ, পুনরুদ্ধার নাও বাড়তে পারে, তবে যথার্থতা আলাদা হতে পারে, উদাহরণস্বরূপ, মোট ২ টি ইতিবাচক আইটেমের সাথে, এখানে র‌্যাংকিং ফলাফল রয়েছে = [মিথ্যা, সত্য, মিথ্যা, মিথ্যা, সত্য], তাই জন জোড়া = [(পি = 0, আর = 0), (1/2, 1/2), (1/3, 1/2), (1 / 4, 1/2), (2/5, 2/2)], আপনি দেখতে পারেন, আর = 1/2 এর জন্য 3 পি রয়েছে (যেমন 1/2, 1/3, 1/4) , ঠিক আপনার গ্রাফের মতো r = 0.8 এর মতো, ঠিক সেগুলি ঠিক একই x অক্ষে প্লট করবেন?

— অ্যাভোকাডো

Answer 2

average_precision_score ফাংশন দ্বিতীয় প্যারামিটার হিসাবে আত্মবিশ্বাস বা সম্ভাবনা আশা করে।

সুতরাং আপনার এটি নীচের মতো ব্যবহার করা উচিত,

average_precision_score(y_test, clf.predict_proba(X_test)[:,1])

এবং তারপরে এটি aucফাংশনের একই ফলাফল ।

Comments

WEKA সফ্টওয়্যার এবং সাইকিট-লার্নের বিভিন্ন উদাহরণ সিএলএফ স্কোর সরবরাহ করে তবে এটিসি নয়। এটি কি এই সিএলএফ স্কোরটি আসলে কোনওভাবে এইউসি সম্পর্কিত বা এটিসিও হতে পারে?

— hhh