অত্যন্ত ভারসাম্যহীন ডেটার জন্য শ্রেণিবদ্ধকরণ / মূল্যায়ন মেট্রিক্স


22

আমি একটি জালিয়াতি সনাক্তকরণ (ক্রেডিট-স্কোরিং-এর মতো) সমস্যাটি মোকাবিলা করি। যেমন জালিয়াতি এবং জালিয়াতিহীন পর্যবেক্ষণগুলির মধ্যে একটি ভারসাম্যহীন সম্পর্ক রয়েছে।

http://blog.revolutionanalytics.com/2016/03/com_class_eval_metrics_r.html বিভিন্ন শ্রেণিবদ্ধকরণের মেট্রিকের দুর্দান্ত সংক্ষিপ্তসার সরবরাহ করে। Precision and Recallবা kappaউভয়ই ভাল পছন্দ বলে মনে হচ্ছে:

এ জাতীয় শ্রেণিবদ্ধের ফলাফলকে ন্যায়সঙ্গত করার একটি উপায় হ'ল তাদের বেসলাইন শ্রেণিবদ্ধগুলির সাথে তুলনা করা এবং দেখানো যে এগুলি এলোমেলো সুযোগের পূর্বাভাসের চেয়ে সত্যই ভাল।

যতদূর আমি বুঝতে পারি, kappaএখান থেকে সামান্য ভাল পছন্দ হতে পারে, কারণ এলোমেলো সুযোগকে বিবেচনা করা হয়। সরল ইংরেজিতে কোহেনের কপা থেকে আমি বুঝতে পারি যে kappaতথ্য লাভের ধারণার সাথে সম্পর্কিত:

[...] %০% এর প্রত্যাশিত নির্ভুলতা বনাম %৫% এর প্রত্যাশিত নির্ভুলতা অনেক কম চিত্তাকর্ষক [...]

সুতরাং, আমার প্রশ্নগুলি হবে:

  • kappaএই সমস্যার জন্য আরও উপযুক্ত-উপযুক্ত শ্রেণিবিন্যাস মেট্রিক হিসাবে ধরে নেওয়া কি সঠিক ?
  • kappaশ্রেণীবদ্ধকরণ অ্যালগরিদমের উপর ভারসাম্যহীনতার নেতিবাচক প্রভাবগুলি কী কেবল ব্যবহার করে ? পুনরায় (ডাউন / আপ) -স্যাম্পলিং বা ব্যয়-ভিত্তিক শেখার (দেখুন http://www.icmc.usp.br/~mcmonard/public/laptec2002.pdf ) এখনও প্রয়োজনীয়?

প্রশিক্ষণ ডেটা আপনার ডেটা ভারসাম্যহীন হয় এবং কখনও কখনও সংখ্যালঘু শ্রেণি (গুলি) উপেক্ষা করা থেকে শ্রেণিবদ্ধদের রোধ করতে সাহায্য করতে পারে আপনার ডেটা নমুনা আপ বা ডাউন কিছু । আপনার শ্রেণিবদ্ধকারীর মূল্যায়ন করার সময় পুনরায় মডেল করা ডেটা ব্যবহার করার জন্য এটির অনুপযুক্ত (এবং কিছুটা জালিয়াতিপূর্ণ) - আপনি এমন একটি পারফরম্যান্সের কথা বলবেন যা আপনার শ্রেণিবদ্ধীর কাছে নেই যখন এটি আপনার মূল পরীক্ষার ডেটাতে অভিন্নভাবে বিতরণ করা কোনও নমুনায় প্রয়োগ করা হয়।
ব্যবহারকারী 48956

উত্তর:


10

হ্যাঁ, কাপা সম্পর্কে আপনার অনুমানগুলি সঠিক বলে মনে হচ্ছে। একা হিসাবে ক্যাপ্পা, স্কেলার মেট্রিকগুলি বেশিরভাগ ক্ষেত্রে এবং যথাযথতার মতো অন্যান্য একক, স্কেলার মেট্রিকগুলির তুলনায় সুবিধা, যা ছোট শ্রেণির পূর্বাভাসের পারফরম্যান্সকে প্রতিফলিত করে না (যে কোনও বৃহত্তর শ্রেণীর পারফরম্যান্স দ্বারা ছায়া)। কপ্পা আরও উল্লেখযোগ্যভাবে এই সমস্যাটি সমাধান করেছেন, যেমন আপনি উল্লেখ করেছেন।

আপনার পারফরম্যান্স পরিমাপ করতে কাপুর মতো মেট্রিক ব্যবহার করা আপনার মডেলটি কীভাবে ডেটার সাথে ফিট করে তা অগত্যা বাড়বে না। আপনি বেশ কয়েকটি মেট্রিক ব্যবহার করে যে কোনও মডেলের পারফরম্যান্স পরিমাপ করতে পারবেন, তবে অন্যান্য পরামিতিগুলি (যেমন হাইপারপ্যারামিটার) ব্যবহার করে মডেল কীভাবে ডেটা ফিট করে তা নির্ধারণ করা হয়। সুতরাং আপনি উদাহরণস্বরূপ আপনার খুব ভারসাম্যহীন সমস্যার জন্য একাধিক পছন্দের মধ্যে সর্বোত্তম উপযুক্ত মডেল টাইপ এবং হাইপারপ্যারমেট্রাইজেশন চয়ন করার জন্য কাপা ব্যবহার করতে পারেন - তবে কেবল মডেল আপনার ভারসাম্যহীন ডেটা ফিট করে কীভাবে কাপ্পা পরিবর্তন করবেন না।

বিভিন্ন মেট্রিকের জন্য: কাপা এবং যথার্থ / পুনর্বিবেচনার পাশাপাশি সত্য পজিটিভ এবং সত্য নেতিবাচক হারগুলি টিপিআর / টিএনআর এবং আরওসি বক্ররেখা এবং বক্ররেখার এওসি এর আওতাধীন অঞ্চলও একবার দেখুন। এগুলির মধ্যে কোনটি আপনার সমস্যার জন্য দরকারী তা বেশিরভাগই আপনার লক্ষ্যের বিশদের উপর নির্ভর করবে। উদাহরণস্বরূপ, টিপিআর / টিএনআর এবং যথার্থতা / প্রত্যাহারগুলিতে প্রতিবিম্বিত বিভিন্ন তথ্য: আসলে আপনার মতো জালিয়াতির একটি উচ্চ ভাগ চিহ্নিত করা এবং বৈধ লেনদেনের একটি উচ্চ ভাগ যেমন সনাক্ত করা হয়েছে, এবং / বা ভাগকে হ্রাস করা আপনার লক্ষ্য? সমস্ত অ্যালার্মগুলিতে ভুয়া অ্যালার্মের (যা আপনি স্বাভাবিকভাবেই এই জাতীয় সমস্যায় "en ভর" পাবেন)?

আপ / ডাউনস্যাম্পলিংয়ের জন্য: আমি মনে করি "যদি প্রয়োজন হয় তবে" এর কোনও প্রাসঙ্গিক উত্তর নেই। তারা আপনার সমস্যাটিকে মানিয়ে নেওয়ার আরও একটি উপায়। প্রযুক্তিগতভাবে: হ্যাঁ, আপনি এগুলি ব্যবহার করতে পারেন, তবে যত্ন সহকারে ব্যবহার করুন, বিশেষত উত্সবকরণ (আপনি এটি অবহেলা না করে অবাস্তব নমুনা তৈরির সমাপ্তি করতে পারেন) - এবং সচেতন থাকুন যে উভয় শ্রেণির নমুনার ফ্রিকোয়েন্সিটি বন্যের মধ্যে "বাস্তবসম্মত নয়" এমন কিছুতে পরিবর্তন করা "ভবিষ্যদ্বাণী পারফরম্যান্সেও নেতিবাচক প্রভাব ফেলতে পারে। কমপক্ষে চূড়ান্ত, আউট-আউট টেস্ট সেটটি আবার নমুনার বাস্তব জীবনের ফ্রিকোয়েন্সি প্রতিবিম্বিত করা উচিত। নীচের লাইন: আমি উভয় ক্ষেত্রেই দেখেছি যেখানে করা বা না করা - / বা ডাউনসাম্পলিংয়ের ফলে আরও ভাল চূড়ান্ত ফলাফল পাওয়া যায়, সুতরাং এটি এমন একটি বিষয় যা আপনার চেষ্টা করার প্রয়োজন হতে পারে (তবে আপনার পরীক্ষার সেটগুলিতে হেরফের করবেন না!) ।


তবে সামগ্রিক ব্যবসায়ের প্রভাব বিবেচিত হওয়ায় ডিওআই 10.1109 / আইসিএমএলআইএলইলি 4.8 এর মতো ব্যয়ভিত্তিক পদ্ধতিটি কি আরও উপযুক্ত?
জর্জি হিলার

15

টিপিএফপিএফএন

  • এফ 1 স্কোর , যা সমন্বয়পূর্ণ গড় এর স্পষ্টতা এবং রিকল
  • জি-পরিমাপ , যা জ্যামিতিক গড় এর স্পষ্টতা এবং রিকল । এফ 1 এর সাথে তুলনা করে, আমি ভারসাম্যহীন ডেটার জন্য এটি কিছুটা ভাল পেয়েছি।
  • টিপি/(টিপি+ +এফপি+ +এফএন)

দ্রষ্টব্য: ভারসাম্যহীন ডেটাসেটের জন্য আপনার মেট্রিকগুলি ম্যাক্রো-গড় গড়ে নেওয়া ভাল


1
জি-মাপ এবং জ্যাকার্ড সূচকে উল্লেখ করার সময় 'আরও ভাল' বলতে কী বোঝ?
নরফানর

8

ভারসাম্যহীন ডেটাসেটের জন্য, গড়পড়তা যথার্থ মেট্রিক কখনও কখনও এআরওসি-র আরও ভাল বিকল্প হয়। এপি স্কোরটি নির্ভুলতা-পুনর্বিবেচনা বক্ররেখার অধীনে অঞ্চল।

এখানে কিছু কোড (পাইথন) নিয়ে আলোচনা করা হচ্ছে

এখানে একটি কাগজ

পিপি ফ্ল্যাচের যথার্থতা -প্রত্যাহার-প্রাপ্ত বক্ররেখাগুলি এবং এপি বক্ররেখার ঘাটতি সম্পর্কে আলোচনা সহ আরও দেখুন।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.