আরওসি বনাম যথার্থ এবং পুনরুদ্ধার বক্ররেখা

159

আমি তাদের মধ্যে আনুষ্ঠানিক পার্থক্য বুঝতে পারি, আমি যেটি জানতে চাই তা হ'ল যখন এটি একটি বনাম অন্যটি ব্যবহারের জন্য আরও প্রাসঙ্গিক।

তারা কি সর্বদা প্রদত্ত শ্রেণিবদ্ধকরণ / সনাক্তকরণ সিস্টেমের কর্মক্ষমতা সম্পর্কে পরিপূরক অন্তর্দৃষ্টি সরবরাহ করে?
কখন কাগজে এই দুটো সরবরাহ করা যুক্তিসঙ্গত? একটার বদলে?
কোনও বিকল্প (সম্ভবত আরও আধুনিক) বর্ণনাকারী রয়েছে যা কোনও শ্রেণিবদ্ধকরণ ব্যবস্থার জন্য আরওসি এবং যথার্থ রেকল উভয়ের প্রাসঙ্গিক দিকগুলি ক্যাপচার করে?

আমি বাইনারি এবং মাল্টি-ক্লাস উভয় ক্ষেত্রে (যেমন ওয়ান-বনাম-সমস্ত ক্ষেত্রে) যুক্তিতে আগ্রহী।

machine-learning roc precision-recall

— আমেলিও ভাজকেজ-রেইনা
সূত্র

এই কাগজটি কেবল একটি প্রসঙ্গে হাজির হতে হবে: biostat.wisc.edu/~page/rocpr.pdf

আমি এখানে নিজের থিসিসটি উল্লেখ করার জন্য একটি "প্লাগ" ব্যবহার করতে পারি ... লেটনার (২০১২) এ আমি এফ- এর সুরেলা গড় হিসাবে একটি "এফ-মাপা অ্যাভারেজ প্রিসিশন" (এফএপি) মেট্রিক (পৃষ্ঠা 65 দেখুন) প্রস্তাব করেছি- পরিমাপ এবং গড় যথার্থতা। অর্থাৎ, একটি নির্ধারিত মূল্যায়ন মেট্রিকের সাথে একটি সেট মূল্যায়ন মেট্রিকের সংমিশ্রণ। থিসিসে, আমি দেখিয়েছি যে প্রশিক্ষণের সেটটিতে FAP স্কোরকে সর্বাধিক করে তোলা অন্যথায় সীমাহীন তথ্য পুনরুদ্ধার টাস্কটি সীমিত করার জন্য সেরা কাটঅফ সনাক্ত করতে ব্যবহার করা যেতে পারে (100 টি বায়োক্রিয়েটিভ রান ব্যবহার করে!)।

— fnl

ভারসাম্যহীন ডেটাসেটের এওসি-আরওসি এবং পিআর বক্ররেখা সম্পর্কে এখানে আরও একটি ভাল আলোচনা । সিমচা যা বলেছিল, তার সমান উপসংহার রয়েছে। আপনি যখন বিরল ক্ষেত্রে সম্পর্কে বেশি যত্নশীল হন, আপনার জনসংযোগ ব্যবহার করা উচিত।

— YC

উত্তর:

207

মূল পার্থক্যটি হ'ল আরওসি বক্ররেখাগুলি একই হ'ল বেসলাইন সম্ভাবনা যাই হোক না কেন, পিআর কার্ভগুলি সুই-ইন-খড়ের ধরণের ধরণের সমস্যা বা সমস্যাগুলির জন্য অনুশীলনে আরও কার্যকর হতে পারে যেখানে "পজিটিভ" শ্রেণি নেতিবাচক থেকে আরও আকর্ষণীয় বর্গ।

এটি দেখানোর জন্য, প্রথমে নির্ভুলতা, প্রত্যাহার এবং নির্দিষ্টকরণের সংজ্ঞা দেওয়ার জন্য খুব সুন্দর উপায় দিয়ে শুরু করা যাক। ধরুন আপনার কাছে একটি "ধনাত্মক" শ্রেণি আছে এবং "negativeণাত্মক" ক্লাস বলা হয়েছে যা 0. আপনার সত্য শ্রেণীর লেবেল অনুমান । তারপরে: note লক্ষণীয় মূল বিষয়টি হ'ল সংবেদনশীলতা / প্রত্যাহার এবং নির্দিষ্টকরণ , যা আরওসি বক্ররেখা তৈরি করে, হ'ল সম্ভাবনাগুলি সত্য শ্রেণীর লেবেলে শর্তযুক্ত । সুতরাং, যা হয় তা নির্বিশেষে তারা একই হবে । যথার্থতা শর্তযুক্ত একটি সম্ভাবনা $\hat{Y}$ $Y$

\begin{aligned} Precision & = P (Y = 1 | \hat{Y} = 1) \\ Recall = Sensitivity & = P (\hat{Y} = 1 | Y = 1) \\ Specificity & = P (\hat{Y} = 0 | Y = 0) \end{aligned}

$\begin{aligned} &\text{Precision} &= P(Y = 1 | \hat{Y} = 1) \\ &\text{Recall} = \text{Sensitivity} &= P(\hat{Y} = 1 | Y = 1) \\ &\text{Specificity} &= P(\hat{Y} = 0 | Y = 0) \end{aligned}$

P (Y = 1)

$P(Y = 1)$ ক্লাস লেবেলের আপনার অনুমান এবং এইভাবে পৃথক হবে যদি আপনি বিভিন্ন বেসলাইন দিয়ে বিভিন্ন জনগোষ্ঠীতে আপনার শ্রেণিবদ্ধকারী চেষ্টা করেন । তবে, অনুশীলনে এটি আরও কার্যকর হতে পারে যদি আপনি কেবল পরিচিত ব্যাকগ্রাউন্ড সম্ভাব্যতার সাথে একটি জনসংখ্যার যত্ন নেন এবং "পজিটিভ" শ্রেণি "নেতিবাচক" শ্রেণীর চেয়ে অনেক বেশি আকর্ষণীয় হয়। (আইআইআরসি যথার্থতা ডকুমেন্ট পুনরুদ্ধারের ক্ষেত্রে জনপ্রিয় যেখানে এই ঘটনাটি রয়েছে)) এটি কারণ এই প্রশ্নের সরাসরি জবাব দেয়, "আমার ক্লাসিফায়ার বলার পরে এটি যে সত্যিকারের হিট তা সম্ভবত কী?"।

P (Y = 1)

$P(Y = 1)$

মজার বিষয় হল, বয়েসের উপপাদ্য দ্বারা আপনি এমন কেসগুলি নিয়ে কাজ করতে পারেন যেখানে নির্দিষ্টতা খুব উচ্চ এবং একই সাথে খুব কম হতে পারে। আপনাকে যা করতে হবে তা হ'ল শূন্যের খুব কাছাকাছি। অনুশীলনে আমি ডিএনএ সিকোয়েন্স খড়ের খড়িগুলিতে সূঁচগুলি অনুসন্ধান করার সময় এই পারফরম্যান্স বৈশিষ্ট্যের সাথে বেশ কয়েকটি শ্রেণিবদ্ধ প্রস্তুত করেছি। $P(Y = 1)$

আইএমএইচও কোনও কাগজ লেখার সময় আপনার যে প্রশ্নটি উত্তর করতে চান তার উত্তর যে কোনও বক্ররেখা প্রদান করা উচিত (বা আপনি যে কৃপণ হন তবে যে কোনও একটিই আপনার পদ্ধতির পক্ষে অনুকূল)। যদি আপনার প্রশ্নটি হয়: " আমার সমস্যাটির বেসলাইন সম্ভাবনাগুলি দেওয়া আমার শ্রেণিবদ্ধের কাছ থেকে একটি ইতিবাচক ফলাফল কতটা অর্থবহ ?", পিআর বক্র ব্যবহার করুন use যদি আপনার প্রশ্নটি হয়, " বিভিন্ন শ্রেণীর বেসলাইন সম্ভাব্যতাগুলিতে এই শ্রেণিবদ্ধটি সাধারণভাবে কতটা পারফর্ম করতে পারে বলে আশা করা যায় ?", একটি আরওসি বক্ররেখা নিয়ে যান।

— dsimcha
সূত্র

এটি ছিল দুর্দান্ত ব্যাখ্যা!

— আমিলিও ওয়াজকেজ-রেইনা

+1, যথার্থতা, প্রত্যাহার এবং নির্দিষ্টকরণের সম্ভাব্য ব্যাখ্যাগুলিতে দুর্দান্ত অন্তর্দৃষ্টি।

— ঝুবার্ব

কি উত্তর! আশা করি আমি দুবারের উপরে ভোট মারতে পারি।

— লন্ডনের লোক

কেবলমাত্র ক্ষেত্রে এটি আমার পূর্ববর্তী মন্তব্য থেকে পরিষ্কার ছিল না: এই উত্তরটি ভুল , যেমন আরওসি বক্ররেখা যা নির্দিষ্টতা ব্যবহার করে। দেখুন, উদাহরণস্বরূপ, আরওসি বিশ্লেষণের একটি পরিচিতি - যা আমার উত্তরে নথিভুক্ত হিসাবে তাদের ত্রুটির দিকে ইঙ্গিত দেয়: "অনেকগুলি বাস্তব বিশ্বের ডোমেনগুলি বিপুল সংখ্যক নেতিবাচক দৃষ্টান্তের দ্বারা প্রভাবিত হয়, তাই আরওসি গ্রাফের ডানদিকে বাম দিকের পারফরম্যান্স হয়ে যায় আরো আকর্ষণীয়."

— fnl

+0.5 @fnl। স্পষ্টত ভুল না হলেও আমি মনে করি যে উত্তরটি প্রশ্নের বিন্দুটি হারিয়েছে; সম্ভাব্য ব্যাখ্যাটি খুব স্বাগত তবে এটি মূল প্রশ্নের সাথে সম্পর্কিত। তদতিরিক্ত, আমি একটি জেনেরিক বাস্তববাদী উদাহরণ সহকারে আসতে পারি না যেখানে প্রশ্নটি: " আমার শ্রেণিবদ্ধের কাছ থেকে আমার সমস্যার বেসলাইন সম্ভাবনাগুলি কীভাবে সার্থক হয় ? " প্রশ্নটি অনুপযুক্ত is " সাধারণভাবে " Roc-AUC দৃষ্টিকোণ খুব ঝাপসা হয়। (এটি চূড়ান্ত মডেলটি নির্মাণের জন্য ফেস ভ্যালুতে

— কোনওটি

ডেভিস অ্যান্ড গ্যাডরিচের একটি কাগজ থেকে এই সিদ্ধান্তে পৌঁছেছে যে আরওসি এবং পিআর স্পেসের মধ্যে সম্পর্কের ব্যাখ্যা দেয়। তারা প্রথম দুটি প্রশ্নের উত্তর দেয়:

প্রথমত, কোনও ডেটাসেটের জন্য, প্রদত্ত অ্যালগরিদমের জন্য আরওসি বক্ররেখা এবং পিআর বক্ররেখায় একই পয়েন্ট থাকে। এই সমতা, অবাক করা উপপাদ্যকে নিয়ে যায় যে একটি বক্ররেখা আরওসি স্পেসে আধিপত্য করে যদি কেবলমাত্র এটি পিআর স্পেসে প্রাধান্য পায়। দ্বিতীয়ত, তাত্ত্বিকের একটি তাত্পর্য হিসাবে আমরা আরওসি স্পেসের উত্তল হলের সাথে পিআর স্পেস অ্যানালগের অস্তিত্ব দেখাই, যাকে আমরা অর্জনযোগ্য পিআর বক্ররেখা বলি। লক্ষণীয়ভাবে, অর্জনযোগ্য পিআর বক্রের নির্মাণের সময় আরওসি স্পেসের উত্তল হাল দ্বারা বাদ দেওয়া ঠিক একই পয়েন্টগুলি বাদ দেয়। ফলস্বরূপ, আমরা দক্ষতার সাথে অর্জনযোগ্য পিআর বক্ররেখা গণনা করতে পারি। [...] পরিশেষে, আমরা দেখাই যে একটি অ্যালগরিদম যা আরওসি বক্ররেখার অধীনে অঞ্চলটিকে অনুকূল করে, পিআর বক্ররেখার অধীনে অঞ্চলটিকে অনুকূল করার গ্যারান্টিযুক্ত নয়।

অন্য কথায়, নীতিগতভাবে, আরওসি এবং পিআর সমানভাবে ফলাফলের তুলনায় উপযুক্ত suited কিন্তু 20 টি হিট এবং 1980 মিসের ফলাফলের উদাহরণের জন্য তারা দেখায় যে পার্থক্যগুলি বরং কঠোর হতে পারে, যেমন চিত্র 11 এবং 12 তে দেখানো হয়েছে।

ডেভিস এবং গৌদ্রিকের 11 এবং 12 চিত্রগুলি

ফলাফল / বক্ররেখা (আই) এমন একটি ফলাফল বর্ণনা করে যেখানে ২০ টি হিটের মধ্যে ১০ টি শীর্ষ দশ র‌্যাঙ্কে এবং বাকি 10 টি হিটগুলি প্রথম 1500 র‌্যাঙ্কে সমানভাবে ছড়িয়ে পড়ে। রিসুট (দ্বিতীয়) এমন একটি ফলাফল বর্ণনা করে যেখানে ২০ টি হিট সমানভাবে প্রথম 500 (2000 এর মধ্যে) স্থানগুলিতে ছড়িয়ে পড়ে। সুতরাং যে ক্ষেত্রে (আই) এর মতো ফলাফল "শেপ" পছন্দনীয়, সেখানে পিআর-স্পেসে এই পছন্দটি স্পষ্টতই পৃথক, যখন দুটি ফলাফলের এওসি আরওসি প্রায় সমান।

— fnl
সূত্র

এই গ্রাফগুলি বর্ণিত পরিস্থিতি প্রতিবিম্বিত করে না (বিচক্ষণ করে), যা প্রতিবার হিট পড়ার সময় আরওসি বক্ররেখায় পদক্ষেপগুলি দেখায় (প্রথম প্রথম 10 এর পরে বক্ররেখার পরে)। রকটি উত্তল হলের সাথে এর মতো দেখতে লাগবে। একইভাবে পিআর-এর জন্য, যখনই হিট পাওয়া গেছে তখন যথার্থতা একটি খাঁজ কাটবে, তবে মিস করার সময় ক্ষয় হবে, পূর্বাভাসিত কোনও কিছুর জন্য (0,0) থেকে শুরু হবে (প্রান্তিকের উপরে) যদি যথার্থতা এই সময়ে 0 হিসাবে সংজ্ঞায়িত করা হত (0 / 0) - কার্ভ দ্বিতীয়টি দেখানো হিসাবে সর্বাধিক যথার্থতা প্রতিটি প্রান্তিক স্তরে (এবং তাই প্রত্যাহার) স্তরে যথার্থ নয়।

— ডেভিড

এটি আমার পাওয়া কাগজের সংস্করণে আসলে চিত্র 7। কাগজটি আরওসি বক্ররেখা ব্যবহার করে পিআর বক্ররেখাকে আসলে বিভক্ত করে। মনে রাখবেন যে আধিপত্যের ফলাফলটি অনুমানের উপর নির্ভর করে যে প্রত্যাহারটি ননজারো, প্রথম আঘাতটি না পাওয়া পর্যন্ত এটি হয় না এবং যথার্থতা (কাগজে বর্ণিত হিসাবে) ততক্ষণ পর্যন্ত আনুষ্ঠানিকভাবে অপরিজ্ঞাত (0/0) হয়।

— ডেভিড

হ্যাঁ, সঠিক বিচক্ষণতার অভাবই এই সমস্যা (যদিও এটির একটি প্লট বিপুল সংখ্যক রানের গড় ধরে গড়ে উঠতে পারে)। তবে অপরিজ্ঞাততার কারণে কাগজের ফলাফলটি আপনি যতটা আশা করতে পারেন তার চেয়ে কম অর্থবহ এবং এটি প্রত্যাশার মতো তাত্পর্যপূর্ণ নয় যখন আপনি যখন উদ্ধার করার ক্ষেত্রে ফলাফলটি কেবল বুঝতে পারবেন। আমি কখনই পিআর ব্যবহার করব না, তবে আমি কখনও কখনও আরওসি তে স্কেল করতাম বা সমানভাবে পিএন ব্যবহার করতাম।

— ডেভিড

প্রথম চিত্র 7 (11 বনাম 12) এর গ্রাফগুলি অপ্রাসঙ্গিক - তারা প্রশিক্ষিত ব্যবস্থার জন্য ধাপে গ্রাফ নয় (যেমন ইতিবাচক উদাহরণগুলি হ্রাসের প্রান্তিকের চেয়ে বেশি) তবে সীমিত গড়ের সাথে সামঞ্জস্য হয় কারণ বিবিধ সিস্টেমের সংখ্যা অসীমতার কাছে পৌঁছায়। দ্বিতীয় সুনির্দিষ্টতা এবং পুনরুদ্ধার ওয়েব অনুসন্ধানের জন্য নির্ধারিত ছিল এবং উভয়ই সম্পূর্ণ আইগনোর (বৃহত্তর ধরে নেওয়া) সত্য )ণাত্মক সংখ্যার (যথার্থ = টিপি / পিপি এবং রেক = টিপি / আরপি)। তৃতীয় যথার্থ এবং পুনরুদ্ধার গ্রাফটি কেবলমাত্র একটি নির্দিষ্ট টিপি স্তরের জন্য পারস্পরিক প্রবণতা (1 / পিপি) বনাম পারস্পরিক ক্রিয়াকলাপ (1 / আরপি) দেখাচ্ছে (যদি আপনি টিপি সঠিক হিটগুলিতে কোনও ওয়েবসার্ক বন্ধ করে থাকেন)।

— ডেভিড

ঠিক আছে, সুতরাং আমার সমস্ত সন্দেহগুলি পরিষ্কার করার পরে, আমি মনে করি পাঠকদের পরামর্শ দেওয়া দরকার যে আমি বিশ্বাস করি যে @ ডেভিড এমডাব্লু পাওয়ারের উত্তরগুলি আমার চেয়ে বেশি পছন্দ করা উচিত।

— fnl

মূল্যায়ন সম্পর্কে অনেক ভুল বোঝাবুঝি রয়েছে। এর অংশটি ডেটাসেটে অ্যালগরিদমগুলি অনুকূল করার চেষ্টা করার মেশিন লার্নিং পদ্ধতির থেকে এসেছে, ডেটাতে কোনও আগ্রহ নেই।

চিকিত্সার প্রসঙ্গে, এটি আসল বিশ্বের ফলাফলগুলি সম্পর্কে - উদাহরণস্বরূপ, আপনি কত লোককে মারা যাওয়া থেকে বাঁচান। চিকিত্সার প্রসঙ্গে সংবেদনশীলতা (টিপিআর) ব্যবহার করা হয় যে কতগুলি ইতিবাচক কেস সঠিকভাবে বাছাই করা হয়েছে (অনুপাতটিকে মিথ্যা নেগেটিভ = এফএনআর হিসাবে হ্রাস করা হয়) যখন নির্দিষ্টকরণ (টিএনআর) ব্যবহার করা হয় ঠিক কতটি নেতিবাচক ক্ষেত্রে রয়েছে তা দেখতে অপসারণ (অনুপাতকে মিথ্যা ধনাত্মক হিসাবে পাওয়া = = এফপিআর হ্রাস করা)। কিছু রোগের মিলিয়নে একের প্রসার ঘটে। সুতরাং আপনি যদি সর্বদা নেতিবাচকভাবে অনুমান করেন তবে আপনার 0.999999 এর যথার্থতা রয়েছে - এটি সাধারণ জিরোআর লার্নার দ্বারা সাধিত হয় যা সর্বাধিক শ্রেণীর পূর্বাভাস দেয়। আপনি যদি রোগমুক্ত, এমন ভবিষ্যদ্বাণী করার জন্য যদি আমরা পুনঃ কল এবং যথার্থতার বিষয়টি বিবেচনা করি তবে আমাদের কাছে জিরোর জন্য রিক্যাল = 1 এবং যথার্থতা = 0.999999 রয়েছে। অবশ্যই, যদি আপনি + ve এবং -টি বিপরীত হন এবং ভবিষ্যদ্বাণী করার চেষ্টা করেন যে কোনও ব্যক্তির জিরোআর রোগ রয়েছে তবে আপনি পুনরায় কল করুন = 0 এবং যথার্থতা = অপরিশোধিত (যেমন আপনি ইতিবাচক পূর্বাভাসও করেননি, তবে প্রায়শই লোকেরা যথার্থতাকে 0 হিসাবে সংজ্ঞায়িত করে কেস)। মনে রাখবেন যে রিক্যাল (+ ভীম রিকাল) এবং বিপরীতমুখী রিকাল (-আর রিকাল), এবং সম্পর্কিত টিপিআর, এফপিআর, টিএনআর এবং এফএনআর সর্বদা সংজ্ঞায়িত হয় কারণ আমরা কেবল সমস্যাটি মোকাবিলা করছি কারণ আমরা জানি যে পার্থক্য করার জন্য দুটি শ্রেণি রয়েছে এবং আমরা ইচ্ছাকৃতভাবে সরবরাহ করি প্রতিটি উদাহরণ।

চিকিত্সা প্রসঙ্গে ক্যান্সার নিখোঁজ করার মধ্যে বিশাল পার্থক্যটি লক্ষ্য করুন (কোনও ব্যক্তি মারা যান এবং আপনার বিরুদ্ধে মামলা করা হবে) বনাম কোনও ওয়েব অনুসন্ধানে একটি কাগজ না পাওয়া (অন্য কোনও একজন যদি এর গুরুত্বপূর্ণ হয় তবে এটি উল্লেখ করবেন)। উভয় ক্ষেত্রেই এই ত্রুটিগুলি মিথ্যা নেতিবাচক হিসাবে চিহ্নিত করা হয়, বিপুল পরিমাণে নেতিবাচক হিসাবে। ওয়েবসার্চের ক্ষেত্রে আমরা স্বয়ংক্রিয়ভাবে প্রকৃত নেতিবাচক সংখ্যার একটি বৃহত জনসংখ্যা পেয়ে যাব কারণ আমরা কেবলমাত্র একটি সংখ্যক ফলাফল দেখি (উদাহরণস্বরূপ 10 বা 100) এবং প্রদর্শিত না হওয়া সত্যই নেতিবাচক ভবিষ্যদ্বাণী হিসাবে গ্রহণ করা উচিত নয় (এটি হতে পারে 101) ), ক্যান্সার পরীক্ষার ক্ষেত্রে আমাদের প্রত্যেকের জন্য ফলাফল রয়েছে এবং ওয়েবসার্কের বিপরীতে আমরা সক্রিয়ভাবে মিথ্যা নেতিবাচক স্তর (হার) নিয়ন্ত্রণ করি।

সুতরাং আরওসি সত্যিকারের ধনাত্মক (বাস্তব ধনাত্মক অনুপাত হিসাবে মিথ্যা নেতিবাচক বনাম) এবং মিথ্যা ধনাত্মক (সত্য versণাত্মকগুলির অনুপাত হিসাবে সত্য negativeণাত্মক) এর মধ্যে ট্রেড অফকে অন্বেষণ করছে। এটি সংবেদনশীলতা (+ ve পুনরুদ্ধার) এবং বিশিষ্টতা (- পুনরুদ্ধার) তুলনা করার সমান equivalent একটি পিএন গ্রাফও রয়েছে যা দেখতে দেখতে একই দেখাচ্ছে যেখানে আমরা টিপিআর বনাম এফপি তুলনায় টিপিআর বনাম এফপিআর তৈরি করি - তবে যেহেতু আমরা প্লটটিকে বর্গক্ষেত্র তৈরি করি ততই পার্থক্যটি আমরা আঁশিতে যে সংখ্যাগুলি রেখেছি is এগুলি ধ্রুবক দ্বারা টিপিআর = টিপি / আরপি, এফপিআর = টিপি / আরএন সম্পর্কিত যেখানে আরপি = টিপি + এফএন এবং আরএন = এফএন + এফপি ডেটাসেটে রিয়েল পজিটিভ এবং রিয়েল নেতিবাচক সংখ্যা এবং বিপরীত পক্ষপাতমূলক পিপি = টিপি + এফপি এবং পিএন = টিএন + এফএন হ'ল আমরা ইতিবাচক বা নেতিবাচক ভবিষ্যদ্বাণী করা বারের সংখ্যা। নোট করুন যে আমরা আরপি = আরপি / এন এবং আরএন = আরএন / এনকে ধনাত্মক সম্মানের প্রসারকে বলি। নেতিবাচক এবং পিপি = পিপি / এন এবং আরপি = আরপি / এন ইতিবাচক দিক থেকে পক্ষপাতিত্ব।

আমরা যদি গড় সংবেদনশীলতা এবং নির্দিষ্টতা যোগ করি বা ট্রেড অফ কার্ভের আওতাধীন অঞ্চলটি দেখি (আরওসি কেবল এক্স-অক্ষকে বিপরীত করে তুলি) তবে আমরা একই ফলাফলটি পাই যদি আমরা কোন শ্রেণিটি + Ve এবং + ve হয় আদান-প্রদান করি। যথার্থতা এবং পুনর্বিবেচনার ক্ষেত্রে এটি সত্য নয় (উপরে জিরোর দ্বারা রোগের পূর্বাভাস সহ চিত্রিত)। এই স্বেচ্ছাচারিতা যথার্থতা, পুনর্বিবেচনা এবং তাদের গড় (পাটিগণিত, জ্যামিতিক বা সুরেলা) এবং ট্রেড অফ গ্রাফের একটি বড় ঘাটতি।

সিস্টেমের পরামিতিগুলি পরিবর্তিত হওয়ার সাথে সাথে PR, PN, ROC, LIFT এবং অন্যান্য চার্টগুলি প্লট করা হয়েছে। প্রশিক্ষিত প্রতিটি পৃথক ব্যবস্থার জন্য এই ক্লাসিক্যালি প্লট পয়েন্টগুলি প্রায়শই একটি প্রান্তিক বৃদ্ধি বা হ্রাস হওয়ায় বিন্দুটি ইতিবাচক বনাম নেতিবাচক হিসাবে সংঘটিত হয় এমন বিন্দুটি পরিবর্তন করে।

কখনও কখনও প্লট করা পয়েন্টগুলি একইভাবে প্রশিক্ষিত সিস্টেমগুলির সেট (তবে বিভিন্ন এলোমেলো সংখ্যা বা স্যাম্পলিং বা অর্ডারিং ব্যবহার করে) প্যারামিটার / থ্রেশহোল্ডস / অ্যালগোরিদমগুলি পরিবর্তিত করতে পারে over এগুলি তাত্ত্বিক গঠন যা কোনও বিশেষ সমস্যার ক্ষেত্রে পারফরম্যান্সের পরিবর্তে সিস্টেমগুলির গড় আচরণ সম্পর্কে আমাদের জানায়। ট্রেড অফ চার্টগুলি নির্দিষ্ট অ্যাপ্লিকেশনটির জন্য সঠিক অপারেটিং পয়েন্ট বাছাই করতে আমাদের সহায়তা করার উদ্দেশ্যে করা হয়েছে (ডেটাসেট এবং অ্যাপ্রোচ) এবং এই জায়গা থেকেই আরওসি এর নাম পেয়েছে (রিসিভার অপারেটিং বৈশিষ্ট্যগুলি প্রাপ্ত তথ্যের সর্বাধিকীকরণের উদ্দেশ্যে, তথ্যের অর্থে)।

আসুন বিবেচনা করা যাক রিকাল বা টিপিআর বা টিপি এর বিরুদ্ধে কী ষড়যন্ত্র করা যেতে পারে।

টিপি বনাম এফপি (পিএন) - হুবহু বিভিন্ন সংখ্যার সাথে আরওসি প্লটের মতো দেখাচ্ছে

টিপিআর বনাম এফপিআর (আরওসি) - এফসির সাথে এফপিআরের বিপরীতে টিপিআর অপরিবর্তিত থাকলে +/- বিপরীত হয়।

টিপিআর বনাম টিএনআর (এলটি আরওসি) - আরএনসির মিরর ইমেজ টিএনআর = 1-এফপিআর (টিএন + এফপি = আরএন) হিসাবে

টিপি বনাম পিপি (লিফট) - ধনাত্মক এবং নেতিবাচক উদাহরণগুলির জন্য এক্স Incs (ননলাইনার প্রসারিত)

টিপিআর বনাম পিপি (Alt লিফট) - কেবল বিভিন্ন সংখ্যার সাথে লিফ্টের মতো দেখতে লাগে

টিপি বনাম 1 / পিপি - লিফ্টের সাথে খুব সমান (তবে ননলাইনার প্রসারিতের সাথে বিপরীত)

টিপিআর বনাম 1 / পিপি - টিপি বনাম 1 / পিপি এর সমান দেখাচ্ছে (y- অক্ষের বিভিন্ন সংখ্যা)

টিপি বনাম টিপি / পিপি - অনুরূপ তবে এক্স-অক্ষের প্রসারের সাথে (টিপি = এক্স -> টিপি = এক্স * টিপি)

টিপিআর বনাম টিপি / পিপি - অক্ষতে বিভিন্ন সংখ্যা সহ একই দেখায় looks

শেষটি রিকাল বনাম যথার্থতা!

এই গ্রাফগুলির জন্য নোট করুন যে কোনও বক্ররেখা যা অন্যান্য বক্ররেখাকে প্রাধান্য দেয় (উন্নত বা কমপক্ষে সমস্ত পয়েন্টে উচ্চতর) এখনও এই রূপান্তরগুলির পরে প্রভাব ফেলবে। যেহেতু আধিপত্যের অর্থ প্রতিটি বিন্দুতে "কমপক্ষে উচ্চতর", উচ্চ বক্ররেখাটি বক্ররেখার (এওসি) এর অধীন একটি অঞ্চলও "কমপক্ষে উচ্চ" থাকে কারণ এটিতে বক্ররেখার মধ্যবর্তী অঞ্চলও অন্তর্ভুক্ত থাকে। বিপরীতটি সত্য নয় : যদি কার্ভগুলি ছেদ করে, স্পর্শের বিপরীতে, কোনও আধিপত্য থাকে না তবে একটি এওসি এখনও অন্যটির চেয়ে বড় হতে পারে।

সমস্ত রূপান্তরগুলি হ'ল আরওসি বা পিএন গ্রাফের একটি বিশেষ অংশে প্রতিবিম্বিত এবং / অথবা বিভিন্ন (লিনিয়ার নয়) উপায়ে জুম করা। তবে, শুধুমাত্র আরওসি-র বক্ররেখার অধীনে অঞ্চলটির সুন্দর ব্যাখ্যা রয়েছে (সম্ভাবনাটি যে একটি ধনাত্মকটিকে নেতিবাচক - মান-হুইটনি ইউ স্ট্যাটিস্টিকের চেয়ে উচ্চতর স্থান দেওয়া হয়) এবং বক্ররেখার উপরে দূরত্ব (সম্ভাবনা যা অনুমানের পরিবর্তে কোনও জ্ঞাত সিদ্ধান্ত নেওয়া হয় - ইউডেন জে তথ্যের দ্বিধাত্বিক রূপ হিসাবে পরিসংখ্যান)।

সাধারণত, পিআর ট্রেড অফ বাঁক ব্যবহার করার প্রয়োজন নেই এবং বিশদ প্রয়োজন হলে আপনি কেবল আরওসি বক্ররেখাতে জুম করতে পারেন। আরওসি বক্ররেখার এক অনন্য সম্পত্তি রয়েছে যা তির্যক (টিপিআর = এফপিআর) সুযোগকে প্রতিনিধিত্ব করে, যে চান্স লাইনের (ডিএসি) উপরের দূরত্বটি জ্ঞাততা বা কোনও সিদ্ধান্তের সম্ভাবনার প্রতিনিধিত্ব করে, এবং বক্ররেখার (এওসি) এর আওতাধীন অঞ্চলটি র‌্যাঙ্কডনেস বা প্রতিনিধিত্ব করে সঠিক জোড়ায় র‌্যাঙ্কিংয়ের সম্ভাবনা। এই ফলাফলগুলি পিআর বক্ররেখাকে ধরে রাখে না , এবং উপরে বর্ণিত হিসাবে উচ্চতর পুনর্বিবেচনা বা টিপিআর এর জন্য এটিউ বিকৃত হয়। পিআর এউসি বড় হচ্ছে না বোঝাবেন আরওসি এউসি আরও বড় এবং এর ফলে র‌্যাঙ্কডনেস (র‌্যাঙ্কড +/- জোড়া সঠিকভাবে পূর্বাভাস দেওয়ার সম্ভাবনা - যেমন এটি কত ঘন ঘন পূর্বে ভবিষ্যদ্বাণী করে + শীর্ষের উপরে-উপরে থাকে) বোঝায় না এবং ইনফরমেশন (সংজ্ঞায়িত পূর্বাভাসের পরিবর্তে কোনও সম্ভাব্য ভবিষ্যদ্বাণী হওয়ার সম্ভাবনা) বোঝায় না এলোমেলো অনুমান - যেমন ভবিষ্যদ্বাণী করা হয় তখন এটি কী করে তা প্রায়শই এটি জানে)।

দুঃখিত - কোন গ্রাফ নেই! যদি কেউ উপরের রূপান্তরগুলি চিত্রিত করার জন্য গ্রাফ যোগ করতে চায় তবে তা দুর্দান্ত হবে! আরওসি, লিফট, বিআইআরডি, কাপা, এফ-পরিমাপ, অবহিতকরণ ইত্যাদি সম্পর্কে আমার কাগজপত্রগুলিতে বেশ কয়েকটি আছে তবে https এ আরওসি বনাম লিফট বনাম বিআইআরডি বনাম আরপি সম্পর্কিত চিত্র রয়েছে তবে এগুলি বেশ উপস্থাপিত হয়নি they : //arxiv.org/pdf/1505.00401.pdf

আপডেট: অত্যধিক দীর্ঘ উত্তর বা মন্তব্যে পুরো ব্যাখ্যা দেওয়ার চেষ্টা না করার জন্য, আমার কিছু কাগজপত্র যথার্থ বনাম রিক্যাল ট্রেডঅফস ইনক এর সাথে সমস্যাটি "আবিষ্কার" করছে। এফ 1, অবগতকরণের তথ্য এবং তারপরে আরওসি, কাপা, তাৎপর্য, ডেল্টাপ, এউসি ইত্যাদির সাথে সম্পর্কের "অন্বেষণ" ইত্যাদি "20 বছর আগে (এনটওয়িসল) আমার এই শিক্ষার্থীদের মধ্যে যে সমস্যা ছিল তা হ'ল এবং আরও অনেক লোক সত্যিকারের বাস্তবের উদাহরণ খুঁজে পেয়েছে since তাদের নিজস্ব যেখানে সেখানে গবেষণামূলক প্রমাণ ছিল যে আর / পি / এফ / এ পদ্ধতির মাধ্যমে শিক্ষানবিশকে র্রং পথ প্রেরণ করা হয়েছিল, যখন ইনফর্মেশন (বা উপযুক্ত ক্ষেত্রে কাপা বা সমঝোতা) তাদের সঠিক পথে পাঠিয়েছিল - এখন কয়েক ডজন ক্ষেত্র জুড়ে। কাপা এবং আরওসি-তে অন্যান্য লেখকের অনেকগুলি ভাল এবং প্রাসঙ্গিক কাগজপত্র রয়েছে তবে আপনি যখন কাপ্পাস বনাম আরওসি এউসি বনাম আরওসি উচ্চতা (অবহিততা বা ইয়ডেন 'ব্যবহার করেন) s জে) ২০১২ এর কাগজপত্রের তালিকায় স্পষ্ট করে দেওয়া হয়েছে (অন্যদের গুরুত্বপূর্ণ অনেকগুলি কাগজপত্র সেগুলিতে উদ্ধৃত করা হয়)। 2003 এর বুকমেকার পেপারটি প্রথমবারের জন্য মাল্টিক্লাস কেসের জন্য ইনফর্মডনেসের একটি সূত্র নিয়েছে। 2013 এর কাগজটি ইনফোর্ডনেসকে অনুকূলকরণ করার জন্য অ্যাডাবুস্টের মাল্টিক্লাস সংস্করণ পেয়েছে (এটি পরিবর্তিত ওয়েকার লিঙ্ক সহ যা এটি হোস্ট করে এবং এটি চালায়)।

তথ্যসূত্র

1998 এনএলপি পার্সারদের মূল্যায়নে পরিসংখ্যানের বর্তমান ব্যবহার। জে এনটওয়িসল, ডিএমডাব্লু শক্তি - ভাষা প্রক্রিয়াকরণে নতুন পদ্ধতি সম্পর্কে যৌথ সম্মেলনের কার্যক্রম: 215-224 https://dl.acm.org/citation.cfm?id=1603935 15 দ্বারা উদ্ধৃত

2003 স্মরণ এবং যথার্থ বনাম বুকমেকার। ডিএমডাব্লু পাওয়ারস - জ্ঞান বিজ্ঞানের উপর আন্তর্জাতিক সম্মেলন: 529-534 http://dspace2.flinders.edu.au/xmlui/handle/2328/27159 46 দ্বারা উদ্ধৃত

২০১১ মূল্যায়ন: নির্ভুলতা, প্রত্যাহার এবং এফ-পরিমাপ থেকে আরওসি, তথ্য, চিহ্ন এবং পারস্পরিক সম্পর্ক। ডিএমডাব্লু পাওয়ারস - মেশিন লার্নিং প্রযুক্তি জার্নাল 2 (1): 37-63। http://dspace2.flinders.edu.au/xmlui/handle/2328/27165 1749 দ্বারা উদ্ধৃত

2012 কপা নিয়ে সমস্যা। ডিএমডাব্লু পাওয়ারস - ইউরোপীয় এসিএলের 13 তম সম্মেলনের কার্যক্রম: 345-355 https://dl.acm.org/citation.cfm?id=2380859 63 দ্বারা উদ্ধৃত

2012 আরওসি-কনসার্ট: ধারাবাহিকতা এবং নিশ্চিতকরণের আরওসি-ভিত্তিক পরিমাপ। ডিএমডাব্লু পাওয়ারস - স্প্রিং কংগ্রেস অন ইঞ্জিনিয়ারিং অ্যান্ড টেকনোলজি (এস-সিইটি) 2: 238-241 http://www.academia.edu/download/31939951/201203-SCET30795-ROC-ConCert-PID1124774.pdf 5 দ্বারা উদ্ধৃত

2013 অ্যাডাবুক এবং মাল্টিবুক:: সম্ভাবনা সংশোধন সহ অভিযোজিত বুস্টিং। DMW Powers- ICINCO আন্তর্জাতিক নিয়ন্ত্রণ, অটোমেশন ও রোবোটিক্স উপর ইনফরমেটিক্স সম্মেলন http://www.academia.edu/download/31947210/201309-AdaBook-ICINCO-SCITE-Harvard-2upcor_poster.pdf

https://www.dropbox.com/s/artzz1l3vozb6c4/weka.jar (goes into Java Class Path)
https://www.dropbox.com/s/dqws9ixew3egraj/wekagui   (GUI start script for Unix)
https://www.dropbox.com/s/4j3fwx997kq2xcq/wekagui.bat  (GUI shortcut on Windows)

4 দ্বারা উদ্ধৃত

— ডেভিড এমডাব্লু শক্তি
সূত্র

> "" বক্ররেখার ক্ষেত্রটি র‌্যাঙ্কডনেস বা সঠিক জোড়ায় র‌্যাঙ্কিংয়ের সম্ভাব্যতা উপস্থাপন করে "আমার ধারণা, ঠিক সেখানেই আমরা একমত নই - আরওসি কেবল প্লটে র‌্যাঙ্কিংয়ের মানটি দেখায় । তবে, এউসি পিআর সহ একটি একক সংখ্যা যা অবিলম্বে আমাকে জানিয়ে দেয় যে কোন র‌্যাঙ্কিং পছন্দনীয় (যেমন, ফলাফলটি আমি ফলাফল II এর চেয়ে বেশি ভাল)। এটিসি আরওসি-র এই সম্পত্তি নেই।

— fnl

আধিপত্য ফলাফল fnl এর উদ্ধৃত অর্থ হ'ল যখন সংজ্ঞায়িত করা হয়, যদি কোনও বক্ররেখায় আরওসিতে আধিপত্য থাকে তবে এটি PR এবং তদ্বিপরীত হয় এবং এর অর্থ এটির উভয় ক্ষেত্রেও উচ্চতর অঞ্চল রয়েছে এবং সুতরাং আরওসি এবং পিআর এউসির মধ্যে কোনও গুণগত পার্থক্য নেই। র‌্যাঙ্কডনেস (মান-হুইটনি ইউ) সম্পর্কে উদ্ধৃতিটি একটি সুপ্রতিষ্ঠিত পরিমাণগত ফলাফল পুনরায় সম্ভাবনা (একটি তাত্পর্য পরীক্ষার অংশ) যা আরওসি থেকে স্বতন্ত্রভাবে সুপারিশ করা হয়েছিল, তবে পরে এটি আরওসি এউসি হিসাবে দেখা গেছে। একইভাবে অবহিততা মূলত স্বতন্ত্রভাবে সংজ্ঞায়িত করা হয়েছিল এবং পরে আরওসি এর অপারেটিং পয়েন্টের উচ্চতার সাথে মিলে প্রমাণিত হয়েছিল। PR এর মতো কোনও ফলাফল নেই।

— ডেভিড

যেমন আমি এর আগে বলেছি আধিপত্যের অবস্থার অধীনে স্কেলিংয়ের বিষয়টি ("অনেক বড়" কারণ আমি বিশদভাবে ব্যাখ্যা করার সাথে একটি বৃহত সংখ্যার দ্বারা গুণিত), তবে আধিপত্য বিহীন অবস্থার অধীনে এউসি পিআর বিভ্রান্তিকর এবং এউসি আরওসি হ'ল গিনির সাথে একক অপারেটিং পয়েন্ট কেস (বা সমানভাবে ইয়ডেনের জে বা ইনফরমেশন, স্কেলিংয়ের পরে) এর সাথে এর যথাযথ সম্ভাব্য ব্যাখ্যা (মান-হুইটনি ইউ বা র‌্যাঙ্কনেস) রয়েছে।

— ডেভিড

যদি আমরা সরলতার জন্য একক অপারেটিং পয়েন্ট (এসওসি) এউসি বিবেচনা করি, তবে গিনি কোফিশিটি = এউসি = (টিপি / আরপি + টিএন / আরএন) / 2 এবং অবহিততা = ইউডেন জে = টিপি / আরপি + টিএন / আরএন - 1 = সংবেদনশীলতা + নির্দিষ্টতা -1 = টিপিআর + টিএনএফ -1 = পুনরুদ্ধার + বিপরীতমুখী পুনর্বিবেচনা - 1 ইত্যাদি উভয়ই সর্বাধিক সমান, তবে পরেরটি একটি অবগত সিদ্ধান্তের সম্ভাবনা (ইচ্ছাকৃতভাবে ভুল যদি-তবে হয়)। আরএন এবং টিএন উভয়ই যদি টিএন >> এফপি এর সাথে অনন্ত হয়ে যান তবে টিএন / আরএন -> 1 টি বাতিল হয়ে যায় এবং যাতে আপনি যেসব ক্ষেত্রে উল্লেখ করেছেন সে ক্ষেত্রে ইনফর্মডনেস = পুনরায় স্মরণ করুন। পরিবর্তে বিশাল শ্রেণিটি যদি আরপি এবং টিপি >> এফএন হয় তবে টিপি / আরপি -> 1 এবং ইনফর্মডনেস = বিপরীত রিকাল all রেফারেস দেখুন।

— ডেভিড

এটি ডেভিড পাওয়ারস একটি খুব সহায়ক উত্তর। তবে আমার অজ্ঞতা ক্ষমা করুন, যখন আপনি বলেন, 'সাধারণত, পিআর ট্রেড অফের বক্রতা ব্যবহার করার দরকার নেই এবং বিশদ প্রয়োজন হলে আপনি কেবল আরওসি বক্ররেখাটি জুম করতে পারেন' ', আমি ঠিক কীভাবে এটি করতে পারি এবং আপনি আরও কিছু দিতে পারেন আপনি কি বলতে চান তা সম্পর্কে বিশদ? এর অর্থ কি আমি কোনওভাবে গুরুতর ভারসাম্যহীন ক্ষেত্রে একটি আরওসি বক্ররেখা ব্যবহার করতে পারি? 'এফপিআর বা টিপিআরকে উচ্চতর ওজন দেওয়া বড় ফলাফলের পার্থক্য সহ চমৎকার পয়েন্ট সহ একটি এউসি আরওসি স্কোর তৈরি করে!' আমি আমার আরওসি দিয়ে কীভাবে এটি করব?

— ক্রিস্টোফার জন