ক্লাসের প্রায় 100% লেবেল একটি শ্রেণীর অন্তর্ভুক্ত হলে কোনও শ্রেণিবদ্ধের পারফরম্যান্স কীভাবে পরিমাপ করা যায়?

Question

আমার ডেটাতে আমার ক্লাস ভেরিয়েবল রয়েছে, হিসাবে চিহ্নিত । এই শ্রেণীর পরিবর্তনশীল মানগুলি হ'ল (বাইনারি)। এর প্রায় সমস্ত পর্যবেক্ষণ 0 হয় (100% এর কাছাকাছি, আরও নিখুঁতভাবে 97%)। আমি বিভিন্ন শ্রেণিবদ্ধকরণের মডেলগুলিতে "পারফরম্যান্স" পরীক্ষা চাই (এটি যথার্থতা হতে পারে)। আমি যা ঘটতে ভয় পাচ্ছি তা হ'ল যদি আমার কাছে এমন একটি শ্রেণিবদ্ধ মডেল থাকে যা সর্বদা 0 পর্যবেক্ষণকে ক্লাস 0 এ শ্রেণিবদ্ধ করে, তবে সেই মডেলটি 97% নির্ভুল হবে (যদিও এটি কখনও অন্য কোনও চলক বিবেচনা করে না)।$C$${0, 1}$$C$

খুব বিরল ইভেন্টগুলির সাথে সম্পর্কিত ডেটা সম্পর্কিত শ্রেণিবদ্ধকরণের মডেলগুলির জন্য কোনও সুপরিচিত পারফরম্যান্স টেস্ট রয়েছে?

Answer 1

কয়েকটি সম্ভাবনা আমার মনে আসে।

সামগ্রিক হিট রেটের দিকে নজর দেওয়া সাধারণত খুব ভাল ধারণা হয় না কারণ এটি বিভিন্ন শ্রেণির পারফরম্যান্সের ক্ষেত্রে পার্থক্য থাকলে টেস্ট সেটটির রচনার উপর নির্ভর করবে। সুতরাং খুব কমপক্ষে, আপনাকে অর্থবোধক মান অর্জনের জন্য আপনার পরীক্ষার ডেটাগুলিতে ক্লাসগুলির আপেক্ষিক ফ্রিকোয়েন্সি নির্দিষ্ট (এবং ন্যায্যতা) দেওয়া উচিত।

দ্বিতীয়ত, @ শোরাক যেমন ইতিমধ্যে বলেছে, ত্রুটি কী ধরণের গুরুত্বপূর্ণ তা উল্লেখ করুন। প্রায়শই, শ্রেণিবদ্ধকারীকে কার্যকর হওয়ার জন্য নির্দিষ্ট পারফরম্যান্সের মানদণ্ডগুলি পূরণ করতে হয় (এবং সামগ্রিক যথার্থতা পর্যাপ্ত পরিমাপ খুব কমই হয়)। সংবেদনশীলতা, সুনির্দিষ্টতা, ধনাত্মক এবং নেতিবাচক প্রাক্কলনমূলক মানের মতো পদক্ষেপ রয়েছে যা বিভিন্ন শ্রেণি এবং বিভিন্ন ধরণের ভুল শৃঙ্খলাবদ্ধতার বিষয়টি বিবেচনা করে। আপনি বলতে পারেন যে এই ব্যবস্থাগুলি শ্রেণিবদ্ধকারী সম্পর্কে বিভিন্ন প্রশ্নের উত্তর দেয়:

• সংবেদনশীলতা: সত্যিকার অর্থে শ্রেণীর C এর সাথে সম্পর্কিত কোন অংশটি স্বীকৃত?
• সুনির্দিষ্টতা: সত্যিকার অর্থে শ্রেণীর সি এর অন্তর্ভুক্ত না হওয়ার ক্ষেত্রে কোন ভগ্নাংশটি স্বীকৃত?
• ধনাত্মক ভবিষ্যদ্বাণীমূলক মান: শ্রেণিবদ্ধার দেওয়া সি ক্লাস পূর্বাভাস, এই ভবিষ্যদ্বাণীটি সঠিক হওয়ার সম্ভাবনা কী?
• নেতিবাচক ভবিষ্যদ্বাণীমূলক মান: শ্রেণিবদ্ধের পূর্বাভাস দেওয়া হয়েছে যে কেস সি ফর্ম নয় , এই ভবিষ্যদ্বাণীটি সঠিক হওয়ার সম্ভাবনা কী?

এই প্রশ্নগুলি প্রায়শই এমন স্পেসিফিকেশনগুলি তৈরি করতে দেয় যা কার্যকর হওয়ার জন্য শ্রেণিবদ্ধের অবশ্যই আবশ্যক।

শ্রেণিবদ্ধের ব্যবহারিক প্রয়োগের দৃষ্টিকোণ থেকে ভবিষ্যদ্বাণীমূলক মানগুলি প্রায়শই বেশি গুরুত্বপূর্ণ: সেগুলি পূর্বাভাসের উপর শর্তযুক্ত হয়, ক্লাসিফার প্রয়োগ করার সময় আপনি যে পরিস্থিতিতে রয়েছেন (একজন রোগী সাধারণত কীভাবে সম্ভাবনা জানেন তা জানতে আগ্রহী নন পরীক্ষা হ'ল রোগাক্রান্ত কেসগুলি সনাক্ত করা, তবে বর্ণিত রোগ নির্ণয়টি সঠিক হওয়ার সম্ভাবনা বেশি)। তবে, তাদের যথাযথভাবে গণনা করার জন্য শ্রেণিবদ্ধকারীর জন্য জনসংখ্যার বিভিন্ন শ্রেণীর তুলনামূলক ফ্রিকোয়েন্সিগুলি জানতে হবে (মনে হয় আপনার কাছে এই তথ্য রয়েছে - সুতরাং এটি দেখার থেকে আপনাকে রক্ষা করে এমন কিছুই নেই)।

ইতিবাচক বা নেতিবাচক পূর্বাভাস আপনাকে প্রদত্ত তথ্য অর্জনের দিকেও নজর রাখতে পারেন। এটি ইতিবাচক এবং নেতিবাচক সম্ভাবনা অনুপাত, LR⁺ এবং LR⁻ দ্বারা পরিমাপ করা হয় ⁻ সংক্ষেপে, তারা আপনাকে বলেছিল যে ভবিষ্যদ্বাণী প্রশ্নাবলীতে শ্রেণীর প্রতিকূলতাগুলিকে কতটা পরিবর্তন করে। ( আরও বিস্তারিত ব্যাখ্যা জন্য আমার উত্তর এখানে দেখুন)

আপনার তুচ্ছ শ্রেণিবদ্ধের জন্য, জিনিসগুলি দেখতে দেখতে: আমি "0" শ্রেণিকে প্রশ্নযুক্ত শ্রেণি হিসাবে ব্যবহার করব, সুতরাং "ইতিবাচক" অর্থ শ্রেণি "0"। 100 টির মধ্যে 100 টি ইতিবাচকভাবে পূর্বাভাস দেওয়া হয়েছে (0 শ্রেণির অন্তর্গত)। তাদের মধ্যে 97 সত্যিই করেন, 3 করবেন না। শ্রেণি 0 এর সংবেদনশীলতা 100% (সত্যিকারের ক্লাস 0 সম্পর্কিত সমস্ত 97 টি মামলা স্বীকৃত ছিল), সুনির্দিষ্টতা 0 (অন্যান্য ক্ষেত্রে কোনওটিই স্বীকৃত ছিল না)। ইতিবাচক ভবিষ্যদ্বাণী মান ((৯: ৩ আপেক্ষিক ফ্রিকোয়েন্সি প্রতিনিধি হিসাবে ধরে নেওয়া) %৯%, নেতিবাচক ভবিষ্যদ্বাণীমূলক মান গণনা করা যায় না কারণ কোনও নেতিবাচক ভবিষ্যদ্বাণী ঘটে নি।

$LR^+ = \frac{\text{sensitivity}}{1 - \text{specificity}} = 1$
$LR^- = \frac{1 - \text{sensitivity}}{\text{specificity}} = \frac{0}{0}$
এখন এলআরএ এবং এলআর⁻ হ'ল ফ্যাক্টরি যার সাহায্যে আপনি ইতিবাচক শ্রেণীর ("0") এর সাথে সম্পর্কিত কেসটির পক্ষে মতভেদগুলি গুণান। 1 এর LR⁺ থাকার অর্থ ইতিবাচক পূর্বাভাস আপনাকে কোনও তথ্য দেয়নি: এটি প্রতিকূলতাকে পরিবর্তন করবে না। সুতরাং এখানে আপনার একটি পরিমাপ রয়েছে যা পরিষ্কারভাবে প্রকাশ করে যে আপনার তুচ্ছ শ্রেণিবদ্ধকারী কোনও তথ্য যুক্ত করে না ।

---

চিন্তার সম্পূর্ণ ভিন্ন দিক: আপনি উল্লেখ করেছেন যে আপনি বিভিন্ন শ্রেণিবদ্ধকে মূল্যায়ন করতে চাই। এটি কিছুটা শ্রেণিবদ্ধ তুলনা বা নির্বাচনের মতো শোনাচ্ছে। উপরে আমি যে পদক্ষেপগুলি নিয়ে আলোচনা করেছি তার সাথে সতর্কতা হ'ল আপনি যদি "হার্ড" শ্রেণির লেবেলে তাদের মূল্যায়ন করেন তবে এগুলি খুব উচ্চ র্যান্ডম অনিশ্চয়তার (যার অর্থ আপনার অনেক পরীক্ষার ক্ষেত্রে প্রয়োজন) to যদি আপনার ভবিষ্যদ্বাণীটি প্রাথমিকভাবে অবিচ্ছিন্ন থাকে (মেট্রিক, উদাহরণস্বরূপ উত্তরীয় সম্ভাবনা) আপনি সম্পর্কিত পদক্ষেপগুলি একই ধরণের প্রশ্নের দিকে তাকান তবে কেসগুলির ভগ্নাংশগুলি ব্যবহার না করে অবিচ্ছিন্ন ব্যবস্থা ব্যবহার করতে পারেন, দেখুন এখানে । ভবিষ্যদ্বাণীগুলির মধ্যে ছোট পার্থক্য সনাক্ত করার জন্য এগুলি আরও ভাল।

(@ ফ্র্যাঙ্কহারেল আপনাকে বলবে যে আপনার "যথাযথ স্কোরিং বিধি" প্রয়োজন, তাই এটি মনে রাখার জন্য অন্য একটি অনুসন্ধান শব্দ term)

Answer 2

প্রথমত: সমস্ত হিট কি সমান গুরুত্বপূর্ণ এবং সমস্ত মিসগুলিও সমান গুরুত্বপূর্ণ? যদি তা হয় তবে আপনার নাল-মডেলটি ভাল করে স্কোর করার কোনও সমস্যা নেই: এটি কেবল একটি দুর্দান্ত সমাধান।

যদি আপনি 1 এর পূর্বাভাস দেওয়ার জন্য ভাল পারফরম্যান্স পাওয়া গুরুত্বপূর্ণ মনে করেন তবে আপনি পরিবর্তে এফ-মাপ ব্যবহার করতে পারেন। এটি মূলত প্রত্যাহারের সুরেলা মাধ্যম (প্রকৃত 1 এর কোন অংশটি 1 হিসাবে পূর্বাভাস দেওয়া হয়েছে) এবং নির্ভুলতা (ভবিষ্যদ্বাণী করা 1 এর কোন অংশটি আসলে 1 ছিল)। এই পরিমাপে কোনও মডেল সর্বোচ্চ স্কোর করার জন্য এটির দরকার:

1. 1 এর বেশিরভাগ সন্ধান করুন।
2. প্রায়শই 1 এর পূর্বাভাস দেয় না যখন এটি আসলে 0 হয়।

এবং এটি একই সাথে উভয়ই করা দরকার। এমনকি যদি আপনার মডেল প্রায় একটি নিখুঁত পদ্ধতিতে 2 টির মধ্যে একটি করেও, অন্য প্রয়োজনীয়তাতে এটি সম্পাদন না করে তবে এর কম স্কোর থাকবে। https://en.wikipedia.org/wiki/F1_score

Comments

এটি একটি অনুচিত স্কোরিং নিয়ম যা পূর্বাভাসগুলি থেকে মাত্র 1 বিট তথ্য ব্যবহার করে। ভুল স্কোরিং নিয়মগুলি বগাস মডেলগুলি দ্বারা অনুকূলিত হয়েছে।

— ফ্র্যাঙ্ক হ্যারেল

Answer 3

আমি আনন্দিত যে @ কবেলাইটরা দরজা খুলেছে ... একত্রীকরণের সম্ভাবনা বা ইন্ডেক্স, যা বাইনারি বিশেষ ক্ষেত্রে আরওসি ক্ষেত্রের সমান হয় , এটি ভবিষ্যদ্বাণীমূলক বৈষম্যের একটি দুর্দান্ত সংক্ষিপ্তসার। আরওসি বক্ররেখাতে নিজেই একটি উচ্চ কালি থাকে: তথ্য অনুপাত, তবে বক্ররেখার অধীনে অঞ্চল, কারণ এটি সম্মিলিত সম্ভাবনার সমতুল্য, অনেকগুলি সুন্দর বৈশিষ্ট্য রয়েছে যার মধ্যে একটি হ'ল এটি এর থেকে পৃথক কারণ এটি শর্তাধীন রয়েছে । এটি একেবারে যথাযথ নয় ( এটি অর্জনের জন্য জেনারালাইজড ব্যবস্থা বা সম্ভাবনা অনুপাত ratio ব্যবহার করুন) এবং দুটি মডেলের তুলনা করার জন্য এটি যথেষ্ট সংবেদনশীল নয়, এটি একটি একক মডেলের দুর্দান্ত সংক্ষিপ্তসার।$c$$Y$$Y=1$$Y$$R^2$$\chi^2$

Answer 4

রিসিভার অপারেটিং চরিত্রগত (আরওসি) http://en.wikedia.org/wiki/Receiver_operating_characteristic বক্ররেখা এবং সম্পর্কিত গণনা (যথা নাম অঞ্চল হিসাবে কার্ভ- এউসি) ব্যবহার করা হয়। মূলত আপনি কল্পনা করেন যে আপনার শ্রেণিবদ্ধ একটি অবিচ্ছিন্ন তিরস্কার দেয় (উদাহরণস্বরূপ 0 এবং 1 এর মধ্যে) এবং আপনি সংবেদনশীলতা বনাম মিথ্যা অ্যালার্মের হার (1- নির্দিষ্টতা) হিসাবে সিদ্ধান্তের প্রান্তিকতা 0 এবং 1 এর মধ্যে পরিবর্তিত হয় plot প্লেন?)।

Answer 5

আপনি যখন দৃ strongly়ভাবে ভারসাম্যহীন ডেটা নিয়ে কাজ করছেন, যথার্থ-পুনর্বিবেচনা বক্ররেখা একটি খুব ভাল সরঞ্জাম, এর আরও সাধারণ মামাতো ভাই আরওসি বক্ররের চেয়ে ভাল ।

ডেভিস এবং। অল। দেখিয়েছেন যে একটি অ্যালগরিদম যা আরওসি বক্ররেখার অধীনে অঞ্চলটিকে অনুকূল করে তোলে, পিআর বক্ররেখার অধীনে অঞ্চলটিকে অনুকূল করার গ্যারান্টিযুক্ত নয়।