অরোক বা নির্ভুলতার ভিত্তিতে শ্রেণিবদ্ধের তুলনা করুন?

Question

আমার একটি বাইনারি শ্রেণিবদ্ধকরণ সমস্যা আছে এবং আমি এটিতে বিভিন্ন শ্রেণিবদ্ধ পরীক্ষা করেছি: আমি শ্রেণিবদ্ধদের তুলনা করতে চাই। কোনটি আরও ভাল পরিমাপের এউসি বা নির্ভুলতা? এবং কেন?

Raondom Forest: AUC: 0.828  Accuracy: 79.6667 %
           SVM: AUC: 0.542  Accuracy: 85.6667 %

Answer 1

অনুপাতে সঠিকভাবে শ্রেণিবদ্ধ করা একটি অনুচিত স্কোরিং নিয়ম, অর্থাত্ এটি বোগাস মডেল দ্বারা অনুকূলিত। আমি চৌম্বকীয় যথাযথ স্কোরিং নিয়মটি বারিয়ার স্কোর, বা সম্মতির সম্ভাবনা (বাইনারি ক্ষেত্রে আরওসি বক্ররেখার অধীনে অঞ্চল ) হিসাবে পরিচিত। র্যান্ডম অরণ্য আপনার ক্ষেত্রে এসভিএমের চেয়ে ভাল কাজ করে।$Y$

Comments

যদি আপনার নমুনায় sample বিষয়বস্তুর জন্য পর্যবেক্ষণ করা বাইনারি ফলাফল এবং হ'ল একটি '1' এর পূর্বাভাসযোগ্য সম্ভাবনা হয় তবে তারপরে স্কোরটি (যদি আমি মনে করি) । যেমন বাইনারি শ্রেণিবদ্ধকরণের সমস্যা রয়েছে তাই পরিচিত তবে আপনি কীভাবে জন্য গণনা করবেন ? ণ আমি ∈ { 0 , 1 } চ আমি বি = $i$$o_i \in \{0,1\}$$\hat{f}_i$ণআমি চ$B=\frac{1}{n} \sum_{i=1}^n (\hat{f}_i - o_i)^2$$o_i$$\hat{f}_i$

@fcop একটি এসভিএমের বাইনারি শ্রেণিবদ্ধকরণ পূর্বাভাসকে সম্ভাবনার মধ্যে রূপান্তর করার একটি উপায় রয়েছে, যাকে প্ল্যাট স্কেলিং ( en.wikedia.org/wiki/Platt_scaling ) বলা হয়। মূলত, এসভিএম শ্রেণিবদ্ধকরণ ( বা ) কে হিসাবে গণনা করার পরিবর্তে , যেখানে এসভিএম উত্তল চতুর্ভুজ প্রোগ্রামিংয়ের সমাধান সমস্যা, প্লট স্কেলিংয়ে এর যৌক্তিক রূপান্তর হয় : যেখানে এবং প্লেট স্কেলিং অ্যালগোরিদম দ্বারা নির্ধারিত পরামিতি। $\hat y_i$$= +1$$-1$$\hat y_i = sign(g(y_i,x_i))$$g(y_i,x_i)$$g(y_i,x_i)$ এ$\hat f_i = P(Y=1|x_i)=\frac{1}{1+exp(A \times g(y_i,x_i) + B)}$$A$$B$

— রবার্টএফ

Answer 2

আমি মনে করি আপনার অবশ্যই নিখরচায় এউসি এবং নির্ভুলতার চেয়ে আরও মেট্রিকের দিকে নজর দেওয়া উচিত।

নির্ভুলতা (সংবেদনশীলতা এবং স্বতন্ত্রতার সাথে একত্রে) একটি খুব সাধারণ তবে পক্ষপাতযুক্ত মেট্রিক যা আপনাকে নির্ভুল পূর্বাভাসের ফলাফলটি দেখতে বাধ্য করে এবং শ্রেণীর সম্ভাবনা বা র‌্যাঙ্কিংয়ের দাবিতে খোলা হয় না does এটি জনসংখ্যাকেও বিবেচনায় রাখে না, যা নির্ভুলভাবে উচ্চতর হওয়া সত্ত্বেও এলোমেলোভাবে সঠিক হওয়ার 95% সুযোগ সহ একটি জনসংখ্যার উপর 95% নির্ভুলতা দেওয়ার একটি মডেল হিসাবে ভুল ব্যাখ্যা করার জন্য আমন্ত্রণ জানায়।

মডেল যথার্থতা যা জনসংখ্যার শ্রেণীর সম্ভাবনার থেকে পৃথক, দাবি করার জন্য এটিউসি একটি ভাল মেট্রিক। তবে এটি সম্ভবত সম্ভাবনার অনুমান কতটা ভাল তা সম্পর্কে আপনাকে কিছু বলবে না। আপনি একটি উচ্চতর এউসি পেতে পারেন তবে এখনও খুব সম্ভাবনার অনুমান রয়েছে। নির্ভুলতার চেয়ে এই মেট্রিকটি আরও বৈষম্যমূলক এবং কিছু সঠিক স্কোরিং নিয়মের সাথে মিশ্রণে ব্যবহার করার সময় অবশ্যই আপনাকে আরও ভাল মডেলগুলি দেবে, যেমন অন্য পোস্টে উল্লিখিত হিসাবে বেরিয়ার স্কোর।

আপনি এখানে আরও একটি আনুষ্ঠানিক প্রমাণ পেতে পারেন, যদিও এই কাগজটি বেশ তাত্ত্বিক: এউসি: একটি পরিসংখ্যানগতভাবে সামঞ্জস্যপূর্ণ এবং নির্ভুলতার চেয়ে বৈষম্যমূলক পরিমাপ

সেখানে বেশ কয়েকটি ভাল মেট্রিক পাওয়া যায়। বাইনারি ক্লাসের সম্ভাব্যতা অনুমানের এবং শ্রেণিবদ্ধের জন্য ক্ষতির কার্যকারিতা: স্ট্রাকচার এবং অ্যাপ্লিকেশনগুলি ব্রেয়ার স্কোরের মতো যথাযথ স্কোরিং নিয়মের তদন্তকারী একটি ভাল কাগজ।

মডেল পারফরম্যান্সের দৃser়তার জন্য মেট্রিকের সাথে আরও একটি আকর্ষণীয় কাগজ হল মূল্যায়ন: যথার্থতা, স্মরণ এবং এফ-পরিমাপ থেকে শুরু করে আরওসি, তথ্য, চিহ্ন এবং পারস্পরিক সম্পর্ক যেমন আরও ভাল পারফরম্যান্স মেট্রিক গ্রহণ করে যেমন তথ্য।

সংক্ষিপ্তসার হিসাবে আমি আপনাকে মডেল পারফরম্যান্স দৃ as় করার জন্য এইউসি / গিনি এবং ব্রিয়ার স্কোরের দিকে নজর দেওয়ার পরামর্শ দিচ্ছি, তবে আপনার মডেলের সাথে লক্ষ্যটির উপর নির্ভর করে অন্য মেট্রিকগুলি আপনার সমস্যার আরও ভাল মানায়।

Comments

মূল্যায়নের লিংক: নির্ভুলতা, প্রত্যাহার এবং এফ-পরিমাপ থেকে আরওসি, তথ্য, চিহ্ন এবং পারস্পরিক সম্পর্ক মৃত

— ভনজড

যদি আপনার নমুনায় sample বিষয়বস্তুর জন্য পর্যবেক্ষণ করা বাইনারি ফলাফল এবং হ'ল একটি '1' এর পূর্বাভাসযোগ্য সম্ভাবনা হয় তবে তারপরে স্কোরটি (যদি আমি মনে করি) । যেমন বাইনারি শ্রেণিবদ্ধকরণের সমস্যা রয়েছে তাই পরিচিত তবে আপনি কীভাবে জন্য গণনা করবেন ? ণ আমি ∈ { 0 , 1 } চ আমি বি = $i$$o_i \in \{0,1\}$$\hat{f}_i$ণআমি চ$B=\frac{1}{n} \sum_{i=1}^n (\hat{f}_i - o_i)^2$$o_i$$\hat{f}_i$

কোনও বায়ারস্কোর এমন পদ্ধতির জন্য দুর্দান্ত নয় যা কেবল আপনাকে ফলাফল দেয় এবং সম্ভাবনাও দেয় না। নীথার নিলাম যদিও এটি আপনাকে বলবে যে আপনি আপনার পূর্বাভাসকে কতটা ভালভাবে স্থান দিয়েছেন। কেবলমাত্র ফলাফলের সাথে আপনি কেবল আরওসি স্পেসে একটি পয়েন্ট পাবেন তাই আপনাকে বক্ররেখার অধীনে অঞ্চলটি দেওয়া ত্রিভুজ হবে। তবে এটি আপনাকে এখনও একটি নম্বর দেবে এবং এটি কমবেশি বায়ারস্কোর হয়ে যাবে যদিও এটি কমবেশি 0-1 এর ক্ষতিতে রূপান্তরিত হবে। যদি আপনার কেবলমাত্র ফলাফল থাকে তবে আমি যথার্থতা, স্মরণ করিয়ে দেওয়ার এবং কোহেনের কপ্পাকে দেখার পরামর্শ দিই যা আপনার ফলাফলগুলি হওয়ার জন্য ডিজাইন করা মেট্রিক।

— যখন