চ-পরিমাপটি কি নির্ভুলতার সমার্থক?

Question

আমি বুঝতে পেরেছি যে চ-পরিমাপ (নির্ভুলতা এবং পুনরুদ্ধারের উপর ভিত্তি করে) কোনও শ্রেণিবদ্ধকারী কতটা সঠিক তার অনুমান। এছাড়াও, যখন আমাদের ভারসাম্যহীন ডেটাসেট থাকে তখন নির্ভুলতার চেয়ে এফ-পরিমাপ অনুকূল হয় । আমার একটি সাধারণ প্রশ্ন রয়েছে (যা প্রযুক্তি সম্পর্কে সঠিক পরিভাষা ব্যবহার সম্পর্কে বেশি)। আমার একটি ভারসাম্যহীন ডেটাসেট রয়েছে এবং আমি আমার পরীক্ষায় এফ-মাপ ব্যবহার করি। আমি একটি কাগজ লিখতে চলেছি যা কোনও মেশিন লার্নিং / ডেটা মাইনিং কনফারেন্সের জন্য নয়। অতএব, আমি এই প্রসঙ্গে যথার্থতার সাথে সমার্থক এফ-পরিমাপটি উল্লেখ করতে পারি? উদাহরণস্বরূপ, আমার কাছে 0.82 এর একটি পরিমাপ রয়েছে, তারপরে আমি কি বলতে পারি যে আমার শ্রেণিবদ্ধার 82% সঠিক পূর্বাভাস অর্জন করে?

Comments

আপনি যদি এফ-মেজারটি ব্যবহার করেন তবে এটি পরিচয় করিয়ে দেওয়া ভাল। আমার দৃষ্টিকোণে দু'জনকে স্থান দেওয়া সঠিক নয়। আপনার ক্ষেত্রে যদি আপনার নির্ভুলতা 99% হয় আপনি 99% সঠিক ভবিষ্যদ্বাণী অর্জন করতে পারেন আপনার এফ-পরিমাপ কি তা নয় এবং এটি পাঠকদের ভুলভ্রান্তিতে ডেকে আনতে পারে।

— অ্যাড্রিয়েনকে

@ অ্যাড্রিয়েনকে: পরীক্ষার মামলার আপেক্ষিক ফ্রিকোয়েন্সি বাস্তব প্রয়োগের পরিস্থিতির মতো না হলে 99% নির্ভুলতা 99% সঠিক ভবিষ্যদ্বাণীকে বোঝায় না।

— এসএক্সে অসন্তুষ্ট সিবিলেটরা

@ কেবিলেটগুলি আপনি ঠিক বলেছেন, আমি জানি, তবে প্রায়শই পরীক্ষার কেসগুলি একই বিতরণ থেকে জারি করা হয় (ভালই হতে পারে আমার এটির পক্ষপাতদর্শী দৃষ্টিভঙ্গি কারণ আমার কাছে খুব কমই এমন ডেটা নিয়ে কাজ করতে হয়েছিল যে ক্ষেত্রে এটি ছিল না)

— অ্যাড্রিয়েনকে 24'14

@ অ্যাড্রিয়েনএনকে: আমি বিশ্লেষণরত কেমিস্ট চিকিত্সার নির্ণয়ের দিকে কাজ করছি। বিভিন্ন রোগীর উপ-জনগোষ্ঠীর মধ্যে আকারের ক্রম সম্পর্কে প্রশ্নে রোগের প্রাদুর্ভাব পৃথক হতে পারে। যেমন এই প্রবন্ধের দ্বিতীয়ার্ধে বিভিন্ন PPVs আলোচনা দেখুন: nature.com/news/2011/110323/full/471428a.html

— এসএক্স অসন্তুষ্ট cbeleites

এটি একটি আকর্ষণীয় পড়া ছিল, আমার নজরে আনার জন্য আপনাকে ধন্যবাদ।

— অ্যাড্রিয়েনকে

Answer 1

প্রথমত, আমি "নির্ভুলতা" পাই মাঝে মাঝে কিছুটা বিভ্রান্তিকর, কারণ এটি স্বতন্ত্র জিনিসগুলিকে বোঝায়:

সিস্টেম বা পদ্ধতির মূল্যায়ন করার জন্য জেনাল মধ্যে নির্ভুলতা শব্দটি (আমি বিশ্লেষণী রসায়নবিদ) বলতে হয় ভবিষ্যদ্বাণীগুলির পক্ষপাতিত্বকে বোঝায়, অর্থাত্ উত্তম ভবিষ্যদ্বাণীগুলি গড়ে গড়ে কীভাবে হয় সে প্রশ্নের উত্তর দেয়।

যেমন আপনি জানেন, প্রচুর পারফরম্যান্সের বিভিন্ন ব্যবস্থা রয়েছে যা শ্রেণিবদ্ধদের জন্য পারফরম্যান্সের বিভিন্ন দিকের উত্তর দেয়। এর মধ্যে একটির যথার্থতাও বলা হয়। যদি আপনার কাগজটি কোনও মেশিন লার্নিং / শ্রেণিবিন্যাস দর্শকদের জন্য না হয় তবে আমি এই পার্থক্যটি খুব স্পষ্ট করে দেওয়ার পরামর্শ দিই। এমনকি নির্ভুলতার আরও সুনির্দিষ্ট অর্থের জন্যও আমি ক্লাসের ভারসাম্যহীনতার সাথে আচরণ করার বিভিন্ন উপায় হতে পারে বলে আমি যথার্থতার সাথে খুব স্পষ্ট হয়েছি। সাধারণত, শ্রেণি ভারসাম্যহীনতা উপেক্ষা করা হয়, যা সুপরিচিত গণনার দিকে নিয়ে যায়। তবে, আপনি সংবেদনশীলতা এবং নির্দিষ্টতার গড়ও ব্যবহার করতে পারেন, যা আপনার গড়কে ওজন করে শ্রেণি ভারসাম্যহীনতা নিয়ন্ত্রণ করে।$\frac{TP+TN}{all~cases}$

এফ স্কোর প্রায়ই স্পষ্টতা এবং রিকল সমন্বয়পূর্ণ গড় (অথবা ইতিবাচক ভবিষ্যদ্বাণীপূর্ণ মান এবং সংবেদনশীলতা) হিসেবে আবির্ভাব ঘটে। আপনার প্রশ্নের জন্য আমি এটিকে আরও কিছুটা বানান এবং সরলকরণে সহায়ক মনে করি:

$F = \frac{2 \cdot precision \cdot recall}{precision + recall} = \frac{2 \frac{TP}{all~P} \frac{TP}{all T}}{\frac{TP}{all~P} + \frac{TP}{all T}} = \frac{2 \frac{TP^2}{all~P \cdot all T}}{\frac{TP \cdot all~T}{all~P \cdot all T} + \frac{TP \cdot all~P}{all~P \cdot all T}} = \frac{2~TP^2}{TP \cdot all~T + TP \cdot all~P} = \frac{2~TP}{all~T + all~P}$

শেষ প্রকাশটি কোনও কিছুর ভগ্নাংশ নয় যা আমি পরীক্ষার কেসগুলির একটি নির্দিষ্ট গ্রুপ হিসাবে ভাবতে পারি। বিশেষত, সত্য এবং পজিটিভ কেসের মধ্যে একটি (ভারী) ওভারল্যাপ আশা করা যায়। এটি আমাকে এফ-স্কোরকে শতাংশ হিসাবে প্রকাশ করা থেকে বিরত রাখবে কারণ এই ধরণের মামলার একটি অনুপাত বোঝায়। আসলে, আমি মনে করি আমি পাঠককে সতর্ক করে দিয়েছি যে এফ-স্কোরের এর মতো ব্যাখ্যা নেই।

Comments

আরও নির্দিষ্টভাবে এটি পরিমাপ। এফ-স্কোরকে পৃথক প্যারামিটার দিয়ে সাধারণ করা যেতে পারে$F_1$

— Qwr

Answer 2

দ্রুত উত্তর:

না, F-measureসূত্রটি TNফ্যাক্টর নিয়ে গঠিত নয় এবং এটি সমস্যাগুলি ^(ডক) পুনরুদ্ধারে কার্যকর ।

সুতরাং, F-measureভারসাম্যহীন ডেটাসেটগুলি মূল্যায়ন করার জন্য accuracyএবং এর পরিবর্তে পুনরুদ্ধার সমস্যাগুলির ক্ষেত্রে এটি ( ) সঠিক পদ্ধতি ROC।

Accuracy = (TP+TN) / (TP+FP+FN+TN)

F1_Score = 2*(Recall * Precision) / (Recall + Precision)
# or
F1_Score = 2*TP / (2*TP + FP + FN)

---

[ দ্রষ্টব্য ]:

Precision = TP / (TP+FP)

Recall = TP / (TP+FN)