আরওসি বনাম সামগ্রিক নির্ভুলতার বক্ররেখার ক্ষেত্র

Question

আমি আরওসি এর এরিয়া আন্ডার কার্ভ (এওসি) এবং সামগ্রিক নির্ভুলতা সম্পর্কে কিছুটা বিভ্রান্ত হয়ে পড়েছি।

1. সামগ্রিক যথাযথতার সাথে আনুপাতিকতা কী এইউসি হবে? অন্য কথায়, যখন আমাদের আরও বৃহত্তর সামগ্রিক নির্ভুলতা থাকবে তখন আমরা অবশ্যই একটি বৃহত এওসি পাব? নাকি এগুলি সংজ্ঞা দিয়ে ইতিবাচকভাবে সম্পর্কযুক্ত?

2. যদি সেগুলি ইতিবাচকভাবে সম্পর্কিত হয় তবে আমরা কেন কিছু প্রকাশনাতে উভয়কেই রিপোর্ট করতে বিরক্ত করব?

3. প্রকৃত ক্ষেত্রে, আমি কিছু শ্রেণিবদ্ধকরণের কার্য সম্পাদন করেছি এবং ফলাফলগুলি নিম্নলিখিতভাবে পেয়েছি: শ্রেণিবদ্ধ A একটি যথাযথতা পেয়েছে 85% এবং 0.98 এর এউসি এবং শ্রেণিবদ্ধী বি 93% এবং 0.92 এর এউসি যথার্থতা পেয়েছে। প্রশ্নটি হচ্ছে, কোন শ্রেণিবদ্ধার ভাল? বা এর মতো একই ফলাফল পাওয়া সম্ভব (আমার অর্থাত্ বাস্তবায়নে কোনও ত্রুটি থাকতে পারে)?

Comments

আমি খুঁজে পেয়েছি একটি কাগজ আপনার কারও জন্য কিছু আগ্রহ থাকতে পারে। google.co.uk/…

— সামো জেরোম

আমরা যথাযথতার সাথে না থাকাকালীন এটিউসি পরিমাপে ভুয়া ধনাত্মক হারের জন্য গণনা করার পরেও কি সামগ্রিক নির্ভুলতার চেয়ে কম হওয়ার কথা নয় ???

— আলী সুলতান

ক্লাসের আকার আলাদা হলে আরওসি এউসি উপকারী। যদি 99% অবজেক্ট ইতিবাচক হয় তবে 99% এর যথার্থতা এলোমেলো নমুনা দ্বারা প্রাপ্ত হয়। তাহলে আরওসি এউসি মানটি আরও অনেক অর্থবহ হবে।

— অ্যানি-মৌসিস

Answer 1

AUC (আরওসি ভিত্তিক) এবং সামগ্রিক যথার্থতা একই ধারণা বলে মনে হয় না।

সামগ্রিক নির্ভুলতা একটি নির্দিষ্ট কাটপয়েন্টের উপর ভিত্তি করে তৈরি করা হয়, যখন আরওসি সমস্ত কাটপয়েন্টের চেষ্টা করে এবং সংবেদনশীলতা এবং স্পষ্টতাকে প্লট করে। সুতরাং যখন আমরা সামগ্রিক নির্ভুলতার তুলনা করি তখন আমরা কিছু কাটপয়েন্টের ভিত্তিতে নির্ভুলতার তুলনা করি। সামগ্রিক নির্ভুলতা বিভিন্ন কাটপয়েন্ট থেকে পৃথক হয়।

Comments

তোমার উত্তরের জন্য অনেক ধন্যবাদ! আমি বুঝতে পারি যে সামগ্রিক নির্ভুলতা নির্দিষ্ট কাট-পয়েন্ট (বা প্রান্তিক মান) থেকে প্রাপ্ত। তবে এখানে একটি সেরা কাট-পয়েন্ট রয়েছে, অর্থাৎ উপরের বাম কোণার নিকটতম একটি। উদাহরণস্বরূপ, আমার সামগ্রিক নির্ভুলতাটি এই সেরা কাট-অফ পয়েন্টটি ব্যবহার করে গণনা করা হয় এবং এটিউসি সমস্ত ভিন্ন কাট-পয়েন্টের জন্য। তাহলে এই নির্ভুলতা এবং এউসি কীভাবে ব্যাখ্যা করবেন? উদাহরণস্বরূপ, আমি উপরে উল্লিখিত দুটি শ্রেণিবদ্ধের পারফরম্যান্স।

— সামো জেরম

আচ্ছা বুঝলাম. আপনি সর্বোত্তম সামগ্রিক নির্ভুলতা এবং এউসি তুলনা করছেন। তবে এগুলি আবারও ভিন্ন ধারণা। এউসি হ'ল পি (পূর্বাভাসযুক্ত সত্য | প্রকৃত সত্য) বনাম পি (ফলস | ফলস), সামগ্রিক যথার্থতা পি = পি (সত্য | সত্য) * পি (প্রকৃত সত্য) + পি (ফলস | মিথ্যা) * পি ( প্রকৃত মিথ্যা)। সুতরাং এটি আপনার ডেটা সেটটিতে সত্যিকারের মানের অনুপাতের উপর নির্ভর করে। অনুশীলনে, দেখে মনে হচ্ছে সাধারণত কাটপয়েন্টটি পি (প্রকৃত সত্য) এর কাছাকাছি থাকলে সর্বোত্তম সামগ্রিক নির্ভুলতা পাওয়া যায়।

— ভিনসেন্ট

সুতরাং আপনার ডেটা সেটের সত্যিকারের মানের অনুপাতের উপর নির্ভর করে এউসি এবং সেরা সামগ্রিক যথার্থতা সামঞ্জস্য হতে পারে না। আপনার ক্ষেত্রে এটি দেখে মনে হয় যে শ্রেণিবদ্ধকারীগুলির মধ্যে একটি সংবেদনশীলতার দিকে বেশি মনোযোগী অন্যটি নির্দিষ্টকরণের দিকে। এবং আপনার বর্তমান ডেটা সেটটিতে, পি (সত্য) 50% নয়। সুতরাং সংবেদনশীলতা এবং নির্দিষ্টতা বিভিন্ন ওজন দ্বারা সামগ্রিক নির্ভুলতা অবদান। অনুশীলনে, আরওসি আমাদের আরও তথ্য দিতে পারে, এবং আমরা কেস দ্বারা শ্রেণিবদ্ধ কেস চয়ন করতে চাই। উদাহরণস্বরূপ, গুরুত্বপূর্ণ ইমেলগুলি অনুপস্থিত থেকে রোধ করার জন্য স্প্যাম শ্রেণিবদ্ধকারী পি (স্প্যাম নয় | স্প্যাম নয়) এর প্রতি বেশি মনোযোগ দিতে পারে।

— ভিনসেন্ট

আপনার উত্তরের জন্য ধন্যবাদ. এটি এখন আরও পরিষ্কার। তবে কারও যদি আরও আলোচনা করতে চান তবে এখানে পোস্ট করুন।

— সামো জেরোম

Answer 2

যদিও দুটি পরিসংখ্যানের পদক্ষেপগুলি পারস্পরিক সম্পর্কযুক্ত হতে পারে তবে তারা শ্রেণিবদ্ধের বিভিন্ন গুণকে মাপ দেয়।

AUROC

বক্ররেখার (এউসি) এর অধীনে অঞ্চলটি সম্ভাবনার সমান যে কোনও শ্রেণিবদ্ধ একটি এলোমেলোভাবে বেছে নেওয়া ইতিবাচক উদাহরণকে এলোমেলোভাবে বেছে নেওয়া নেতিবাচক উদাহরণের চেয়ে উচ্চতর করে তোলে। এটি ধনাত্মক শ্রেণীর অন্তর্গত, তবে ক্লাসগুলিতে প্রকৃত নিদর্শনগুলি নির্ধারণ না করে ডিগ্রি অনুসারে নিদর্শনগুলির একটি সেট র‌্যাঙ্কিংয়ের শ্রেণিবদ্ধ দক্ষতা পরিমাপ করে ।

সামগ্রিক যথাযথতা শ্রেণিবদ্ধকারীর র‌্যাংকগুলি র‍্যাঙ্কিংয়ের ক্ষমতার উপরও নির্ভর করে, তবে প্রান্তিকের উপরে যদি ধনাত্মক শ্রেণীর নিদর্শনগুলি নির্ধারণ করতে ব্যবহৃত হয় এবং নীচে থাকলে ifণাত্মক শ্রেণিতে র‌্যাঙ্কিংয়ের একটি চৌম্বক নির্বাচন করার দক্ষতার উপরও নির্ভর করে।

সুতরাং উচ্চতর এআরওসিসি পরিসংখ্যান সহ শ্রেণীবদ্ধকারী (সমস্ত জিনিস সমান হওয়ায়) উচ্চতর সামগ্রিক যথাযথতাও থাকতে পারে কারণ প্যাটার্নের র‌্যাঙ্কিং (যা এওআরওসি পরিমাপ করে) এটি আরওসি এবং সামগ্রিক যথার্থতা উভয়ের পক্ষে উপকারী। তবে, যদি কোনও শ্রেণিবদ্ধকারী নিদর্শনগুলি ভালভাবে চিহ্নিত করে তবে প্রান্তিকরভাবে খারাপভাবে নির্বাচন করে তবে এটির উচ্চতর AUROC হতে পারে তবে সামগ্রিকভাবে নিখুঁত হতে পারে।

বাস্তবিক ব্যবহার

অনুশীলনে, আমি সামগ্রিক নির্ভুলতা সংগ্রহ করতে চাই, URআরওসি এবং যদি শ্রেণিবদ্ধক শ্রেণীর সদস্যতার সম্ভাবনা, ক্রস-এনট্রপি বা ভবিষ্যদ্বাণীমূলক তথ্যটি অনুমান করে। তারপরে আমার একটি মেট্রিক রয়েছে যা কঠোর শ্রেণিবদ্ধকরণ করার জন্য এর কাঁচা ক্ষমতা পরিমাপ করে (মিথ্যা-ধনাত্মক এবং মিথ্যা-নেতিবাচক ভুল শ্রেণিবদ্ধকরণ ব্যয় সমান এবং নমুনায় শ্রেণীর ফ্রিকোয়েন্সি অপারেশনাল ব্যবহারের মতো একই - একটি বড় অনুমান!), এমন একটি মেট্রিক যা প্যাটার্নগুলি র‌্যাঙ্ক করার ক্ষমতা এবং এমন একটি মেট্রিক পরিমাপ করে যা র্যাঙ্কিংটিকে সম্ভাব্যতা হিসাবে কতটা ভালভাবে ক্যালিবিট করা হয় তা পরিমাপ করে।

অনেক কাজের জন্য, অপারেশনাল ভুল শংসাপত্রের ব্যয় অজানা বা পরিবর্তনশীল, বা প্রশিক্ষণ নমুনায় বা অপারেশনাল অপারেশনাল ক্লাস ফ্রিকোয়েন্সিগুলি পৃথক। সেক্ষেত্রে সামগ্রিক যথাযথতা প্রায়শই মোটামুটি অর্থহীন এবং এআরওসি কর্মক্ষমতাটির একটি আরও ভাল সূচক এবং আদর্শভাবে আমরা এমন একটি শ্রেণিবদ্ধ চাই যা ভাল ক্যালিব্রেটেড সম্ভাব্যতাগুলির ফলাফল দেয়, যাতে আমরা অপারেশনাল ব্যবহারে এই সমস্যাগুলির জন্য ক্ষতিপূরণ দিতে পারি। মূলত কোন মেট্রিকটি গুরুত্বপূর্ণ তা আমরা সমাধান করার চেষ্টা করছি তার উপর নির্ভর করে।

Comments

ডিকরান, আপনার কি প্রথম অনুচ্ছেদে রেফারেন্স রয়েছে?

— বন্দর

@ বন্দরটি সরাসরি নয়, এআওআরওসি হ'ল সম্ভাবনা যে এলোমেলোভাবে নির্বাচিত + ভীতির ধরণটি এলোমেলোভাবে নির্বাচিত -ve প্যাটার্ন ( en.wikedia.org/wiki/… ) এর চেয়ে বেশি স্থান পাবে এবং তাই র‌্যাঙ্কিংয়ের মানের একটি পরিমাপ , আমরা যতটা সম্ভব সম্ভাবনা তত বেশি হওয়া চাই।

— ডিকরান মার্শুপিয়াল

Answer 3

এটিসি কি আসলেই খুব দরকারী মেট্রিক?

আমি বলব প্রত্যাশিত ব্যয় আরও উপযুক্ত পরিমাপ।

তারপরে আপনার সমস্ত মিথ্যা ধনাত্মকগুলির জন্য একটি ব্যয় হবে এবং সমস্ত মিথ্যা নেতিবাচকদের জন্য বি খরচ হবে। এটি সহজেই হতে পারে যে অন্য শ্রেণীর তুলনায় অন্যান্য শ্রেণীর তুলনায় বেশি ব্যয়বহুল। অবশ্যই আপনার যদি বিভিন্ন উপ-গোষ্ঠীতে ভুয়া শ্রেণিবিন্যাসের জন্য ব্যয় করে থাকে তবে তা আরও শক্তিশালী মেট্রিক।

এক্স-অক্ষের কাট-অফ প্লট করে এবং তারপরে y-axis এ আপনি দেখতে পাচ্ছেন কোন কাট-অফ পয়েন্টটি প্রত্যাশিত ব্যয়কে হ্রাস করে।

সাধারণত আপনার ক্ষতি-ফাংশন হ্রাস (কাট-অফ | ডেটা, ব্যয়) থাকে যা আপনি হ্রাস করার চেষ্টা করেন।

Comments

আপনি যদি মিথ্যা-পজিটিভ এবং মিথ্যা-নেতিবাচক ব্যয়গুলি জানেন, যা এইউসির গণনার জন্য প্রয়োজনীয় নয়, তবে যদি মূল্য অজানা বা পরিবর্তনশীল হয় তবে এটি ব্যবহারের জন্য একটি ভাল পরিসংখ্যান, তবেই প্রত্যাশিত ব্যয়ের মূল্যায়ন করা যেতে পারে।

— ডিকরান মার্সুপিয়াল

Answer 4

সমস্ত উত্তর পোস্ট করা হয়েছে: ROCএবং accuracyমৌলিক দুটি পৃথক ধারণা।

সাধারণভাবে বলতে গেলে ROCশ্রেণিবণ্টন এবং অসম পূর্বাভাস ত্রুটি ব্যয়ের (মিথ্যা ইতিবাচক এবং মিথ্যা নেতিবাচক ব্যয়) থেকে পৃথক শ্রেণিবদ্ধের বৈষম্যমূলক শক্তি বর্ণনা করে।

বা accuracyএর শ্রেণীবিন্যাসের উপর ভিত্তি করে মেট্রিক গণনা করা হয় তবে আপনি যখন বাস্তবজীবনের ডেটাতে শ্রেণিবদ্ধার প্রয়োগ করেন তখন এই অনুপাত পরিবর্তন হতে পারে কারণ অন্তর্নিহিত শ্রেণিবণ্টন পরিবর্তন বা অজানা। অন্যদিকে, এবং যা নির্মাণে ব্যবহৃত হয় তা শ্রেণিবণ্টন স্থানান্তরকরণের দ্বারা প্রভাবিত হবে না।test datasetcross-validationTP rateFP rateAUC