আরওসি এউসি এবং এফ 1 স্কোরের মধ্যে কীভাবে নির্বাচন করবেন?

Question

আমি সম্প্রতি একটি কাগল প্রতিযোগিতা সম্পন্ন করেছি যাতে প্রতিযোগিতার প্রয়োজনীয়তা অনুসারে রক অউক স্কোর ব্যবহৃত হয়েছিল। এই প্রকল্পের আগে, আমি সাধারণত মডেল কর্মক্ষমতা পরিমাপ করতে মেট্রিক হিসাবে f1 স্কোর ব্যবহার করি। এগিয়ে যাওয়া, আমি ভাবছি যে এই দুটি মেট্রিকের মধ্যে আমার কীভাবে নির্বাচন করা উচিত? কোনটি কখন ব্যবহার করবেন এবং তাদের স্বপক্ষের নীতিগুলি কী?

বিটিডব্লিউ, আমি এখানে নিবন্ধটি পড়েছি এটিউ এবং এফ 1-স্কোরের মধ্যে পার্থক্যগুলি কী? , তবে কখন তা ব্যবহার করতে হবে তা আমাকে জানায় না।

কোনো সাহায্যের জন্য আগাম ধন্যবাদ!

Answer 1

এখানে তালিকাভুক্ত পদক্ষেপগুলির মধ্যে কোনওটি যথাযথ নির্ভুলতার স্কোরিং নিয়ম নয়, অর্থাত সঠিক নিয়ম দ্বারা অনুকূলিত হওয়া নিয়ম। বেরিয়ার স্কোর এবং লগ-সম্ভাবনা-ভিত্তিক পদক্ষেপগুলি যেমন সিউডো । -index (AUROC; নির্ঘণ্ট সম্ভাব্যতা) সঠিক নয় বরং একটি একক মডেল বর্ণনা জন্য ভাল। এটি মডেলগুলি বেছে নেওয়ার জন্য বা দুটি মডেলের তুলনায় কয়েকজনের তুলনায় যথেষ্ট সংবেদনশীল নয়।$R^2$$c$

Comments

আপনার জবাবের জন্য ধন্যবাদ ফ্র্যাঙ্ক! দয়া করে আমার আরও কিছু ব্যাখ্যা দরকার need আমরা যদি কেবল আরওসি এউসি এবং এফ 1 স্কোর থেকে চয়ন করতে পারি তবে আপনি কোনটি বেছে নেবেন এবং কেন? তাদের উভয়ের পক্ষে কি কি?

— জর্জ লিউ

যদি আপনাকে কেবল ইন্ডেক্স এবং এফ 1 এর মধ্যে থেকে বেছে নেওয়ার অনুমতি দেওয়া হয় তবে আপনি যথেষ্ট জোর দিয়ে বিতর্ক করছেন না। সোনার মান হ'ল লগ-সম্ভাবনা, দন্ডযুক্ত লগ-সম্ভাবনা বা বায়েশিয়ান সমতুল্য (যেমন, ডিআইসি)। তার পরেই বেরিয়ার স্কোর। $c$

— ফ্র্যাঙ্ক হ্যারেল 5'16

Citeulike.org/user/harrelfe/article/14321176 দেখুন ; আমি এটি আমার নিজস্ব অনুকরণ দিয়ে দেখিয়েছি। ভারসাম্য রক্ষা / আন্ডার স্যাম্পলিংয়ের কারণে যদি ভারসাম্যহীনতা না হয় তবে ভারসাম্যহীনতা নির্বিশেষে আপনি কোনও উপযুক্ত স্কোরিং নিয়ম ব্যবহার করতে পারেন।

— ফ্র্যাঙ্ক হ্যারেল

@ ফ্র্যাঙ্কহারেল: লিঙ্কটি মারা গেছে, আপনি কি এটি আবার পরীক্ষা করতে পারেন?

— সিক্সলম

Answer 2

গণনার সূত্র ：

• যথার্থ টিপি / (টিপি + এফপি)
• প্রত্যাহার করুন: টিপি / (টিপি + এফএন)
• এফ 1-স্কোর ： 2 / (1 / পি + 1 / আর)
• আরওসি / এউসি ： টিপিআর = টিপি / (টিপি + এফএন), এফপিআর = এফপি / (এফপি + টিএন)

আরওসি / এউসি একই মানদণ্ড এবং পিআর (যথার্থ-রিক্যাল) বক্ররেখা (এফ 1-স্কোর, যথার্থতা, পুনর্বিবেচনা) একই মানদণ্ড।

বাস্তব ডেটাতে ইতিবাচক এবং নেতিবাচক নমুনাগুলির মধ্যে ভারসাম্যহীনতা থাকতে পারে। এই ভারসাম্যহুলি PR তে বড় প্রভাব ফেলেছে তবে আরওসি / এউসি নয়।

সুতরাং আসল বিশ্বে, পিআর বক্ররেখা বেশি ব্যবহৃত হয় কারণ ইতিবাচক এবং নেতিবাচক নমুনাগুলি খুব অসম। আরওসি / এউসি বক্ররেখা শ্রেণিবদ্ধের কার্যকারিতা প্রতিফলিত করে না, তবে পিআর বক্ররেখা পারে।

আপনি যদি গবেষণা গবেষণাপত্রগুলিতে স্রেফ পরীক্ষাটি করেন তবে আপনি আরওসি ব্যবহার করতে পারেন, পরীক্ষামূলক ফলাফল আরও সুন্দর হবে। অন্যদিকে, পিআর বক্ররেখাটি আসল সমস্যায় ব্যবহার করে এবং এর আরও ভাল ব্যাখ্যাযোগ্যতা রয়েছে।

Answer 3

উপরের উত্তর দুটি ভাল।

তবে আমি যে বিষয়টিটি উল্লেখ করতে চাই তা হ'ল এউসি (আরওসি এর আওতাধীন অঞ্চল) সমস্যাযুক্ত বিশেষত ডেটা ভারসাম্যহীন (যার ফলে অত্যন্ত স্কিউড: স্কিউ বড়)। কর্ম সনাক্তকরণ, জালিয়াতি সনাক্তকরণ, দেউলিয়ার পূর্বাভাস Ect এ এই জাতীয় পরিস্থিতি খুব সাধারণ। এটি হ'ল, আপনি যে ইতিবাচক উদাহরণগুলি দেখেন সেগুলির তুলনামূলকভাবে কম হার রয়েছে।$Skew=\frac{negative\;examples}{positive\;examples}$

ভারসাম্যহীন ডেটা সহ, এটিসি এখনও আপনাকে 0.8 এর আশেপাশে বিশিষ্ট মান দেয়। তবে এটি বৃহত টিপি (সত্য ধনাত্মক) এর চেয়ে বড় এফপির কারণে বেশি।

যেমন নীচের উদাহরণ হিসাবে,

TP=155,   FN=182
FP=84049, TN=34088

সুতরাং আপনি যখন ক্লাসিফায়ারের পারফরম্যান্স পরিমাপ করতে AUC ব্যবহার করেন তখন সমস্যা হ'ল এটিউ এর ক্রমবর্ধমানতা আসলে কোনও ভাল শ্রেণিবদ্ধার প্রতিফলন করে না। এটি কেবলমাত্র অনেকগুলি নেতিবাচক উদাহরণের পার্শ্ব-প্রতিক্রিয়া। আপনি কেবল আপনার ডাটাসেট চেষ্টা করতে পারেন।

পারফরম্যান্স মেট্রিক্সের ব্যবহারের জন্য ভারসাম্যহীন ডেটা সুপারিশগুলির মুখোমুখি কাগজটি পাওয়া গেছে "যখন আরওসি স্কিউ দ্বারা প্রভাবিত ছিল না, নির্ভুলতা পুনরুদ্ধার কার্ভগুলি বোঝায় যে কিছু ক্ষেত্রে আরওসি খারাপ কর্মক্ষমতাটি মাস্ক করতে পারে।" ভাল পারফরম্যান্সের মেট্রিকগুলির জন্য অনুসন্ধান করা এখনও একটি মুক্ত প্রশ্ন। একটি সাধারণ এফ 1-স্কোর

$$F_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}}$$

যেখানে মনে করার সাথে তুলনা করার নির্ভুলতার তুলনামূলক গুরুত্ব।$\beta$

তারপরে, ভারসাম্যহীন ডেটার জন্য আমার পরামর্শগুলি এই পোস্টের মতো । আপনি ডেসাইল টেবিলটিও চেষ্টা করতে পারেন, যা "দু-বাই দুই শ্রেণিবদ্ধকরণ এবং ডেসাইল সারণী" অনুসন্ধান করে তৈরি করা যেতে পারে। ইতিমধ্যে, আমি এই সমস্যাটি নিয়েও অধ্যয়ন করছি এবং আরও ভাল পরিমাপ দেব।

Comments

যদি আপনি কোনও পদ্ধতির পারফরম্যান্সের বিষয়ে চিন্তা করেন তবে আপনি আরও ভালভাবে এর শ্রেণিবিন্যাসের পারফরম্যান্সটি দেখানোর জন্য আরওসি ব্যবহার করতে চাইবেন, তবে আপনি যদি সত্য পজিটিভের প্রকৃত ভবিষ্যদ্বাণী সম্পর্কে আরও যত্নশীল হন তবে এফ 1-স্কোরটি শিল্পে স্বাগত।

— জিয়োরুই ঝু

একটি সত্যিকারের ব্যবসায়ের ক্ষেত্রে, মিথ্যা ধনাত্মকগুলির ব্যয় এবং মিথ্যা নেতিবাচক ব্যয়গুলি অনুমান করা যায়। তারপরে চূড়ান্ত শ্রেণিবদ্ধকরণটি একটি সম্ভাব্য মডেল এবং মিথ্যা শ্রেণিবদ্ধার ব্যয়কে হ্রাস করার জন্য বেছে নেওয়া একটি শ্রেণিবদ্ধকরণ চৌম্বককে ভিত্তি করে তৈরি করা উচিত। আমি সত্যিই নির্ভুলতা মনে করি না, বা এফ স্কোরের শৃঙ্খলাবদ্ধ ডেটা বিজ্ঞানীর জন্য অনেকগুলি বাস্তব প্রয়োগ রয়েছে।

— ম্যাথু ড্রুরি

হ্যাঁ, আমি সিদ্ধান্ত পদ্ধতির পদ্ধতির সাথে একমত হই যা ভুয়া শ্রেণিবিন্যাসের রিট কাট-অফ সম্ভাবনা এবং মডেলের ব্যয়কে হ্রাস করে। এবং কিছু ক্ষেত্রে, অসম্পূর্ণ ব্যয় এফপি এবং এফএন-তে প্রয়োগ করা যেতে পারে। তবে নির্ভুলতা এবং এফ স্কোরের বিন্দুটি হল কোনও মডেলের সামগ্রিক কর্মক্ষমতা পরীক্ষা করা বা বেশ কয়েকটি মডেলের মধ্যে পারফরম্যান্সের তুলনা করা। প্রকৃতপক্ষে, ডেটা বিজ্ঞানী হিসাবে ডেটা হাতে রেখে, ব্যয় হ্রাস সর্বদা সম্ভব হতে পারে। তবে আমি বাস্তবিকভাবে ডেটা বিজ্ঞানীকে সিদ্ধান্ত সমস্যার সমাধানের বিতরণ (বা প্রকরণ) প্রয়োজন সম্পর্কে আগ্রহী। আপনি যদি আমার সাথে কিছু ভাগ করে নিতে পারতেন তবে আমি জানতে চাই hএইচএক্স

— জিয়াওরুই ঝু

ব্যক্তিগতভাবে, আমি সর্বদা শর্তসাপেক্ষ সম্ভাবনার ভিত্তিতে কোনও মডেলের ফিটের সদ্ব্যবহারের মূল্যায়ন করব it সুতরাং আমি সর্বদা লগ-ক্ষতির মতো উপযুক্ত স্কোরিং নিয়ম ব্যবহার করে মডেলগুলির তুলনা করব, উন্নতিটি গোলমাল নয় তা নিশ্চিত করার জন্য বুটস্ট্র্যাপিং ব্যবহার করুন, এবং সম্ভবত এটিউসি দিয়ে পরিপূরক হবে।

— ম্যাথু ড্র্যারি

আমি সত্য মনে করি না। ক্লাবের ভারসাম্যহীনতার প্রতি সংবেদনশীল হতে এইউসি বিশেষভাবে নির্মিত, আমি এ সম্পর্কে ব্যাপক সিমুলেশন করেছি এবং এটি সত্য বলেছি found এছাড়াও, মডেলগুলির সাথে তুলনা করার সময়, তাদের একই জনসংখ্যার থেকে নমুনাযুক্ত ডেটা সেটগুলির উপর ভিত্তি করে তৈরি করা উচিত, শ্রেণি ভারসাম্যহীন শূকরের সাথে কোনও সমস্যা তৈরি করে।

— ম্যাথু ড্রুরি

Answer 4

যখন আপনার কাছে ডেটা ভারসাম্যহীন থাকে তখন খুব সহজ কথায় বলতে গেলে, ধনাত্মক এবং নেতিবাচক শ্রেণীর জন্য আপনার উদাহরণের সংখ্যার মধ্যে পার্থক্য বড়, আপনার সর্বদা এফ 1-স্কোর ব্যবহার করা উচিত। অন্যথায় আপনি আরওসি / এউসি বক্ররেখা ব্যবহার করতে পারেন।

Comments

আপনার "ডেটা ভারসাম্যহীন" এর সংজ্ঞাটি এমন যে আপনি সবসময় এফ 1-স্কোর ব্যবহার করতেন, সুতরাং এটি তেমন কোনও সহায়ক নয়। আপনি কি এই একটু প্রসারিত করতে পারে?

— জবোম্যান

আমি সেখানে একটি খুব গুরুত্বপূর্ণ শব্দ মিস করেছি ... দুঃখিত। আমার প্রতিক্রিয়া সম্পাদনা। আপনার আরও স্পষ্টতা প্রয়োজন হলে আমাকে জানান।

— বালবোয়া

Answer 5

কয়েকটি বহু শ্রেণীর শ্রেণিবিন্যাস সমস্যার জন্য, আরওসি / এউসি বিশ্লেষণ এবং ভিজ্যুয়ালাইজিং সহজবোধ্য নয়। আপনি এই প্রশ্নটি দেখতে পারেন, মাল্টিক্লাস শ্রেণিবিন্যাসে আরওসি বক্ররেখা কীভাবে প্লট করবেন? । এই পরিস্থিতিতে, F1 স্কোর ব্যবহার করা আরও ভাল মেট্রিক হতে পারে।

এবং এফ 1 স্কোর তথ্য পুনরুদ্ধার সমস্যার জন্য সাধারণ পছন্দ এবং শিল্প সেটিংসে জনপ্রিয়। এখানে একটি সুস্পষ্টভাবে ব্যাখ্যা করা উদাহরণ, এমএল মডেলগুলি তৈরি করা শক্ত। তাদের বাস্তব ব্যবসায়িক পরিবেশে মোতায়েন করা আরও শক্ত ।

Answer 6

যদি শ্রেণিবিন্যাসের উদ্দেশ্যটি সম্ভাবনা দ্বারা স্কোর করে থাকে তবে এটিউসি ব্যবহার করা ভাল যা সমস্ত সম্ভাব্য প্রান্তিকের চেয়ে গড়। তবে, যদি শ্রেণিবিন্যাসের উদ্দেশ্যটি কেবল দুটি সম্ভাব্য শ্রেণীর মধ্যে শ্রেণিবদ্ধ করা প্রয়োজন এবং মডেল দ্বারা প্রতিটি শ্রেণি কতটা সম্ভাব্য সম্ভাবনা রয়েছে তা প্রয়োজন না হলে নির্দিষ্ট থ্রোসোল্ড ব্যবহার করে এফ-স্কোরের উপর নির্ভর করা আরও উপযুক্ত।