107

এটি একটি সাধারণ প্রশ্ন যা এখানে পরোক্ষভাবে একাধিকবার জিজ্ঞাসা করা হয়েছিল, তবে এর একক অনুমোদিত উত্তর নেই। রেফারেন্সটির জন্য এটির বিশদ উত্তরটি পাওয়া ভাল হবে।

যথার্থতা , সমস্ত শ্রেণিবদ্ধের মধ্যে সঠিক শ্রেণিবিন্যাসের অনুপাত খুব সহজ এবং খুব "স্বজ্ঞাত" পরিমাপ, তবুও এটি ভারসাম্যহীন ডেটার জন্য একটি দরিদ্র পরিমাপ হতে পারে । আমাদের অন্তর্নিহিত কেন আমাদের এখানে বিভ্রান্ত করে এবং এই পরিমাপে অন্য কোনও সমস্যা আছে?

— টিম
সূত্র

112

অন্যান্য উত্তরগুলির বেশিরভাগই ভারসাম্যহীন শ্রেণির উদাহরণকে কেন্দ্র করে। হ্যাঁ, এটি গুরুত্বপূর্ণ। যাইহোক, আমি যুক্তি দিচ্ছি যে সুষমতা এমনকি ভারসাম্যযুক্ত বর্গের ক্ষেত্রেও সমস্যাযুক্ত।

ফ্র্যাঙ্ক হ্যারেল তার ব্লগে এই সম্পর্কে লিখেছেন: শ্রেণিবদ্ধকরণ বনাম প্রডিকশন এবং ক্ষতির কারণ শ্রেণিবদ্ধকরণ নির্ভুলতা এবং অন্যান্য অনর্থক যথাযথ স্কোরিং বিধিগুলি ।

মূলত, তার যুক্তিটি হ'ল আপনার অনুশীলনের পরিসংখ্যানগত উপাদানটি শেষ হয় যখন আপনি আপনার নতুন নমুনার প্রতিটি শ্রেণির জন্য সম্ভাব্যতা আউটপুট করেন। এইসব পূর্বাভাস সম্ভাব্যতা ম্যাপিং একটি 0-1 শ্রেণীবিন্যাস, একটি প্রারম্ভিক মান যার ওপারে আপনি 1 বনাম 0 হিসাবে একটি নতুন পর্যবেক্ষণ শ্রেণীভুক্ত চয়ন করে অংশ নয় পরিসংখ্যান আর । এটি সিদ্ধান্তের অংশ। এবং এখানে, আপনার আপনার মডেলের সম্ভাব্য আউটপুট প্রয়োজন - তবে বিবেচনাগুলি যেমন: $(\hat{p}, 1-\hat{p})$

নতুন পর্যবেক্ষণকে ক্লাস 1 বনাম 0 হিসাবে বিবেচনা করার সিদ্ধান্ত নেওয়ার পরিণতিগুলি কী? তারপরে আমি কি সব 1 এস-তে কোনও সস্তা বিপণন মেল পাঠাচ্ছি? বা আমি বড় ধরনের পার্শ্ব প্রতিক্রিয়া সহ আক্রমণাত্মক ক্যান্সার চিকিত্সা প্রয়োগ করব?
"সত্য" 0 হিসাবে 1 হিসাবে বিবেচনা করার পরিণতিগুলি এবং তার বিপরীতে কী কী? আমি কি কোনও গ্রাহককে টিক চিহ্ন দেব? কাউকে অহেতুক চিকিত্সার জন্য সাব্যস্ত করা?
আমার "ক্লাস" কি সত্যই বিযুক্ত? বা আসলে কি কোনও ধারাবাহিকতা রয়েছে (যেমন, রক্তচাপ), যেখানে ক্লিনিকাল থ্রেশহোল্ডগুলি বাস্তবে কেবল জ্ঞানীয় শর্টকাট হয়? যদি তা হয়, তবে আমি এখন "শ্রেণিবদ্ধ" করছি তার দোরগোড়ায় কতটা দূরে ?
বা ক্লাস 1 হওয়ার স্বল্প-ইতিবাচক সম্ভাবনা বলতে আসলে "আরও ডেটা পাওয়া", "অন্য পরীক্ষা চালানো" বোঝায়?

আপনার সিদ্ধান্তের পরিণতিগুলির উপর নির্ভর করে আপনি সিদ্ধান্ত নিতে একটি পৃথক প্রান্তিক ব্যবহার করবেন use যদি ক্রিয়াটি আক্রমণাত্মক শল্যচিকিত্সা হয়, তবে ক্রিয়াটি দুটি এ্যাসপিরিনের পরামর্শ দেওয়ার চেয়ে আপনার রোগীর শ্রেণিবিন্যাসের জন্য কোনও কিছুতে ভুগছেন বলে আপনার অনেক বেশি সম্ভাবনা প্রয়োজন। অথবা আপনার এমনকি তিনটি পৃথক সিদ্ধান্ত থাকতে পারে যদিও কেবল দুটি শ্রেণি রয়েছে (অসুস্থ বনাম স্বাস্থ্যকর): "বাড়িতে যান এবং চিন্তা করবেন না" বনাম "আরেকটি পরীক্ষা চালান কারণ আমাদের যেটি রয়েছে তা অসম্পূর্ণ" বনাম "অবিলম্বে পরিচালনা করুন" ।

পূর্বাভাসপ্রাপ্ত সম্ভাব্যতাগুলি নির্ধারণের সঠিক উপায় তাদের একটি প্রান্তিকের সাথে তুলনা করা নয় , তাদের প্রান্তিকের উপর ভিত্তি করে ম্যাপ করুন এবং তারপরে রূপান্তরিত মূল্যায়ন শ্রেণিবিন্যাস। পরিবর্তে, একটি সঠিক স্কোরিং-বিধি ব্যবহার করা উচিত । এগুলি হ'ল ফাংশন যা মানচিত্রের পূর্বাভাস এবং সম্ভাব্য পর্যবেক্ষণের ফলাফলগুলি ক্ষতির মানগুলির সাথে সম্পর্কিত করে, যা সত্য সম্ভাবনার দ্বারা প্রত্যাশাকে হ্রাস করা হয় । ধারণাটি হ'ল স্কোরিং রুলের প্রত্যাশার অনুমান হিসাবে আমরা একাধিক (সেরা: অনেক) পর্যবেক্ষণের ফলাফল এবং সংশ্লিষ্ট পূর্বাভাসিত শ্রেণীর সদস্যপদ সম্ভাব্যতার উপর মূল্যায়ন করা স্কোরিং রুলের উপরে গড় নিয়েছি। $(\hat{p}, 1-\hat{p})$ $(0,1)$ $(0,1)$ $(p,1-p)$

নোট করুন যে এখানে "যথাযথ" এর একটি সুনির্দিষ্টভাবে সংজ্ঞায়িত অর্থ রয়েছে - এখানে স্কোরিংকে নিয়ম করার পাশাপাশি যথাযথ স্কোরিংয়ের নিয়ম রয়েছে এবং পরিশেষে কঠোরভাবে সঠিক স্কোরিংয়ের নিয়ম রয়েছে । স্কোরিং বিধি যেমন ভবিষ্যদ্বাণীপূর্ণ ঘনত্ব এবং ফলাফলগুলির ক্ষতির কাজ। সঠিক স্কোরিং নিয়মগুলি এমন স্কোরিং নিয়ম যা প্রত্যাশাবাদী ঘনত্ব সত্য ঘনত্ব হলে প্রত্যাশায় হ্রাস করা হয়। কঠোরভাবে যথাযথ স্কোরিং নিয়মগুলি এমন স্কোরিং নিয়ম যা ভবিষ্যদ্বাণীমূলক ঘনত্ব সত্য ঘনত্ব হলে কেবল প্রত্যাশায় হ্রাস করা হয়।

ফ্র্যাঙ্ক হ্যারেল নোট হিসাবে , নির্ভুলতা একটি ভুল স্কোরিং নিয়ম। (আরো স্পষ্ট করে, সঠিকতা না এমনকি একটি স্কোরিং নিয়ম এ সব হয় : দেখুন আমার উত্তর করতে নির্ভুলতার একটি বাইনারি শ্রেণীবিন্যাস সেটিং একটি অপ্রকৃত স্কোরিং নিয়ম? ) এই দেখা যায়, যেমন, আমরা যদি এ সব কোন ভবিষ্যতবক্তা এবং মাত্র একটি উল্টানো আছে সম্ভাব্যতাগুলির সাথে একটি অন্যায় মুদ্রা । যথার্থতা সর্বাধিক হয় যদি আমরা সবকিছুকে প্রথম শ্রেণি হিসাবে শ্রেণিবদ্ধ করি এবং 40% সম্ভাবনাটিকে সম্পূর্ণভাবে উপেক্ষা করি যে কোনও ফলাফল দ্বিতীয় শ্রেণিতে হতে পারে। (এখানে আমরা দেখতে পাই যে এমনকি ভারসাম্যযুক্ত শ্রেণীর ক্ষেত্রেও সমস্যাযুক্ত)) সঠিক স্কোরিং-বিধিগুলি একটি পূর্বাভাসকে পছন্দ করবে $(0.6,0.4)$ $(0.6,0.4)$ $(1,0)$ এক প্রত্যাশা বিশেষত, প্রান্তিকের মধ্যে নির্ভুলতা বিচ্ছিন্ন: প্রান্তিকর প্রান্তকে সামান্য সামান্য সরানো একটি (বা একাধিক) পূর্বাভাসকে ক্লাস পরিবর্তন করতে এবং একটি সম্পূর্ণ পরিমাণে সম্পূর্ণ যথার্থতা পরিবর্তন করতে পারে। এটি সামান্য জ্ঞান করে তোলে।

উপরের সাথে লিঙ্কযুক্ত ফ্র্যাঙ্কের দুটি ব্লগ পোস্টে পাশাপাশি ফ্র্যাঙ্ক হেরেলের রেগ্রেশন মডেলিং কৌশলগুলির দশম অধ্যায়ে আরও তথ্য পাওয়া যাবে ।

(এটি আমার পূর্বের উত্তর থেকে নির্লজ্জভাবে আঁকড়ে ধরা হয়েছে ))

সম্পাদনা করুন। ফলাফলের পরিমাপ হিসাবে নির্ভুলতা ব্যবহার করার সময় আমার উদাহরণের উত্তরটি একটি ভুল উপসংহারে নিয়ে যাবে এমন এক আশাবাদী উদাহরণস্বরূপ উদাহরণ দেয় যেখানে সর্বাধিকতর পরিমাণে সঠিকতা সুষম শ্রেণীর ক্ষেত্রেও ভুল সিদ্ধান্ত নিতে পারে ।

— স্টিফান কোলাসা
সূত্র

6

@ টিম ফ্র্যাঙ্কের বক্তব্য (যে তিনি আমাদের সাইটে এবং অন্য কোথাও অসংখ্য উত্তরে আলোচনা করেছেন), যেমনটি আমি বুঝতে পেরেছি যে, যদি কোনও শ্রেণিবদ্ধকরণ অ্যালগরিদম সম্ভাব্যতা ফিরিয়ে না দেয় তবে এটি আবর্জনা এবং ব্যবহার করা উচিত নয়। সত্যি কথা বলতে, বেশিরভাগ ব্যবহৃত অ্যালগরিদমগুলি সম্ভাব্যতা ফেরত দেয়।

— অ্যামিবা

6

আমি বলব যে একটি অ্যালগরিদম যা পূর্ববর্তী পর্যবেক্ষণগুলি গ্রহণ করে এবং উপরের পয়েন্টগুলি বিবেচনায় না নিয়েই কেবল শ্রেণিবিন্যাসকে আউটপুট করে (যেমন, ভুল-সিদ্ধান্তের ব্যয়) পরিসংখ্যান এবং সিদ্ধান্তের দিকটি পূরণ করে। এটি এমন যে কেউ আপনাকে প্রথমে কিছুটা বেস বেসবল দল, একগুচ্ছ বিল্ডিং উপকরণ বা কেবল নিজেরাই পরিবহন করতে চান কিনা তা জিজ্ঞাসা না করেই আপনাকে নির্দিষ্ট ধরণের গাড়ি দেওয়ার পরামর্শ দিচ্ছে। সুতরাং আমি এও বলব যে এ জাতীয় অ্যালগরিদম আবর্জনা হবে।

— স্টিফান কোলাসা

8

আমি একটি উত্তর লিখতে যাচ্ছিলাম, কিন্তু তখন দরকার নেই। সাবাস। আমি এটি আমার ছাত্রদের সাথে পরিসংখ্যানের মডেলিং এবং সিদ্ধান্ত নেওয়ার মধ্যে "উদ্বেগের বিচ্ছেদ" হিসাবে আলোচনা করি। এই ধরণের ধারণাটি প্রকৌশল সংস্কৃতিতে খুব গভীরভাবে বদ্ধমূল।

— ম্যাথু ড্রুরি

8

@ চেইনডি: যদি আপনার ক্লাসিফায়ার (মনে রাখবেন যে এটি সর্বোচ্চ নির্ভুলতার সাথে রয়েছে ) বলে যে "এই নমুনার প্রত্যেকটি স্বাস্থ্যকর", তবে কোন ডাক্তার বা বিশ্লেষক বিশ্বাস করবেন যে গল্পটির আরও কিছু আছে? আমি সম্মত হই যে শেষ পর্যন্ত, এটি বিশ্লেষককে করার আহ্বান, তবে 95% / 5% পূর্বাভাসের মতো অবশিষ্টাংশের অনিশ্চয়তার দিকে দৃষ্টি আকর্ষণ করার মতো কিছু বিশ্লেষকের কাছে "সবাই সুস্থ আছেন" অনেক কম সহায়ক।

— স্টিফান কোলাসা

11

@ স্টেফানকোলাসার উত্তর এবং মন্তব্যগুলি দুর্দান্ত। অন্য কেউ মন্তব্য ইঙ্গিত দিয়েছিল যে আপনি কোন সংস্কৃতির অংশ, তার উপর নির্ভর করে এটি কীভাবে দেখা হবে তার মধ্যে পার্থক্য রয়েছে। এটি আসলে ঘটনা নয়; এটি কেবলমাত্র কিছু ক্ষেত্রগুলি সাহিত্য বোঝার জন্য বিরক্ত করেছিল এবং অন্যরা তা বোঝেনি। আবহাওয়ার পূর্বাভাস, উদাহরণস্বরূপ, সামনের সারিতেই হয়েছে এবং অন্তত 1951 সাল থেকে সভাপতি সঠিকতা নির্ধারণে সঠিক সংগ্রহের নিয়মাবলী ব্যবহার করেছেন

— ফ্রাঙ্ক Harrell

78

যখন আমরা নির্ভুলতা ব্যবহার করি, আমরা মিথ্যা ধনাত্মক এবং মিথ্যা নেতিবাচককে সমান মূল্য নির্ধারণ করি। যখন ডেটা সেটটি ভারসাম্যহীন হয় - বলুন এটির একটি শ্রেণিতে 99% উদাহরণ রয়েছে এবং অন্যটিতে কেবল 1% - ব্যয়টি হ্রাস করার দুর্দান্ত উপায় রয়েছে। ভবিষ্যদ্বাণী করুন যে প্রতিটি উদাহরণ সংখ্যাগরিষ্ঠ শ্রেণীর অন্তর্ভুক্ত, 99% এর যথার্থতা পান এবং তাড়াতাড়ি বাড়ি যাই।

সমস্যাটি তখনই শুরু হয় যখন আমরা প্রতিটি ত্রুটির জন্য নিযুক্ত প্রকৃত ব্যয় সমান হয় না। যদি আমরা একটি বিরল তবে মারাত্মক রোগের সাথে মোকাবিলা করি তবে একজন অসুস্থ ব্যক্তির রোগ নির্ণয় করতে ব্যর্থ হওয়ার ব্যয় একজন সুস্থ ব্যক্তিকে আরও পরীক্ষায় প্রেরণের ব্যয়ের চেয়ে অনেক বেশি।

সাধারণভাবে, কোনও সাধারণ সেরা পরিমাপ নেই। সেরা পরিমাপ আপনার প্রয়োজন থেকে প্রাপ্ত। এক অর্থে, এটি কোনও মেশিন লার্নিং প্রশ্ন নয়, তবে একটি ব্যবসায়িক প্রশ্ন। এটি সাধারণ যে দু'জন লোক একই ডেটা সেট ব্যবহার করবে তবে বিভিন্ন লক্ষ্যের কারণে বিভিন্ন মেট্রিক চয়ন করবে।

নির্ভুলতা একটি দুর্দান্ত মেট্রিক। আসলে, বেশিরভাগ মেট্রিকগুলি দুর্দান্ত এবং আমি অনেকগুলি মেট্রিক মূল্যায়ন করতে পছন্দ করি। যাইহোক, এক পর্যায়ে আপনাকে মডেল এ বা বি ব্যবহারের মধ্যে সিদ্ধান্ত নিতে হবে সেখানে আপনার একক মেট্রিক ব্যবহার করা উচিত যা আপনার প্রয়োজনের সাথে সবচেয়ে উপযুক্ত।

অতিরিক্ত creditণের জন্য, বিশ্লেষণের আগে এই মেট্রিকটি চয়ন করুন, যাতে সিদ্ধান্ত নেওয়ার সময় আপনি বিভ্রান্ত হবেন না।

— ডাল
সূত্র

3

দুর্দান্ত উত্তর - আমি মেশিন লার্নিংয়ের নতুনদের (যার দিকে এই প্রশ্নটি লক্ষ্য করা হয়েছে) কাছে পয়েন্টটি আরও পরিষ্কার করার চেষ্টা করার জন্য কয়েকটি সম্পাদনা প্রস্তাব করেছি।

— nekomatic

1

আমি একমত যে এটি কোনও মেশিন শেখার সমস্যা নয়। তবে এটিকে মোকাবেলায় মেটা সমস্যার বিষয়ে মেশিন লার্নিং করা এবং মেশিনকে কেবলমাত্র মৌলিক শ্রেণিবিন্যাসের তথ্য ছাড়াই কোনও ধরণের ডেটা অ্যাক্সেসের প্রয়োজন হবে।

— শফলেপ্যান্টস

3

আমি এটি কেবলমাত্র ডেটা ফাংশন হিসাবে দেখছি না যেহেতু বিভিন্ন লক্ষ্যগুলি বিভিন্ন ব্যয় / মডেল / পারফরম্যান্স / মেট্রিকের তুলনায় বিভিন্ন লক্ষ্য অর্জন করতে পারে। আমি একমত যে সাধারণভাবে, ব্যয়ের প্রশ্নটি গাণিতিকভাবে পরিচালনা করা যায়। তবে রোগীদের চিকিত্সার ব্যয়ের মতো প্রশ্নগুলি সম্পূর্ণ ভিন্ন তথ্যের উপর নির্ভর করে। মেটা ডেটার জন্য প্রয়োজনীয় এই তথ্যটি সাধারণত মেশিন লার্নিং পদ্ধতির জন্য উপযুক্ত নয় তাই বেশিরভাগ সময় এটি বিভিন্ন পদ্ধতিতে পরিচালিত হয়।

— ডএল

2

"রোগ সঙ্গে একজন ব্যক্তির misdiagnosing" করার মাধ্যমে, আপনি "যদি কোনো ব্যক্তি misdiagnosing মানে কার আছে রোগ (রোগ হচ্ছে না যেমন)", ঠিক আছে? কারণ সেই বাক্যাংশটি যে কোনও উপায়ে ব্যাখ্যা করা যেতে পারে।

— ট্যানার সোয়েট

আপনি ঠিক ট্যানার। পরীক্ষাটি আরও পরিষ্কার করার জন্য আমি পরিবর্তন করেছি।

— ডএল

20

নির্ভুলতার সাথে সমস্যা

মানক নির্ভুলতা সম্পন্ন শ্রেণিবিন্যাসের সংখ্যার সাথে সঠিক শ্রেণিবদ্ধের অনুপাত হিসাবে সংজ্ঞায়িত করা হয়।

\begin{aligned} a c c u r a c y := \frac{correct classifications}{number of classifications} \end{aligned}

$\begin{align*} accuracy := \frac{\text{correct classifications}}{\text{number of classifications}} \end{align*}$

এটি সমস্ত শ্রেণীর উপর সামগ্রিক পরিমাপের উপর এটি এবং আমরা শীঘ্রই দেখতে পাব এটি একটি আসল দরকারী পরীক্ষা বাদে কোনও ওরাকলকে বলা ভাল ব্যবস্থা নয়। একটি ওরাকল একটি শ্রেণিবদ্ধকরণ ফাংশন যা প্রতিটি নমুনার জন্য এলোমেলো অনুমান দেয়। তেমনি, আমরা আমাদের শ্রেণিবদ্ধকরণ ফাংশনের শ্রেণিবিন্যাসের পারফরম্যান্সকে রেট দিতে সক্ষম হতে চাই। যথার্থতা \ টেক্সটাইট} একটি কার্যকর পরিমাপ হতে পারে যদি আমাদের প্রতি ক্লাসে একই পরিমাণের নমুনা থাকে তবে আমাদের যদি নমুনার নির্ভুলতার ভারসাম্যহীন সেটটি মোটেই কার্যকর হয় না। আরও বেশি, টেস্টের উচ্চতর নির্ভুলতা থাকতে পারে তবে একটি কম যথার্থতার সাথে পরীক্ষার চেয়ে খারাপ কাজ করা যায়।

আমাদের যদি নমুনাগুলির বিতরণ থাকে যে 90% নমুনাগুলি $\mathcal{A}$ ক্লাসের অন্তর্গত , 5% $\mathcal{B}$ এবং অন্য 5%% এর $\mathcal{C}$ তবে নীচের শ্রেণিবদ্ধকরণ $0.9$ যথাযথতা :

\begin{aligned} c l a s s i f y (s a m p l e) := {\begin{cases} A & if ⊤ \end{cases} \end{aligned}

$\begin{align*} classify(sample) := \begin{cases} \mathcal{A} & \text{if }\top \\ \end{cases} \end{align*}$

তবুও, তা দেওয়া আমরা জানি যে কিভাবে সুস্পষ্ট $classify$ কাজ করে এই এটা শ্রেণীর পৃথক্ এ সব বলতে পারে না। তেমনি, আমরা একটি শ্রেণিবদ্ধকরণ ফাংশন তৈরি করতে পারি

\begin{aligned} c l a s s i f y (s a m p l e) := guess {\begin{cases} A & with p = 0.96 \\ B & with p = 0.02 \\ C & with p = 0.02 \end{cases} \end{aligned}

$\begin{align*} classify(sample) := \text{guess} \begin{cases} \mathcal{A} & \text{with p } = 0.96 \\ \mathcal{B} & \text{with p } = 0.02 \\ \mathcal{C} & \text{with p } = 0.02 \\ \end{cases} \end{align*}$

একটি সঠিকতা যা $0.96 \cdot 0.9 + 0.02 \cdot 0.05 \cdot 2 = 0.866$ এবং সবসময় ভবিষ্যদ্বাণী করা হবে না $\mathcal{A}$ কিন্তু এখনও দেওয়া আমরা জানি যে কিভাবে $classify$ কাজ করে এটা সুস্পষ্ট যে শ্রেণীর আলাদা করে বলতে পারি না। এক্ষেত্রে নির্ভুলতা কেবল আমাদের শ্রেণিবিন্যাসের কাজটি অনুমান করার ক্ষেত্রে কতটা দুর্দান্ত তা বলে। এর অর্থ হ'ল সঠিক পরীক্ষাটি কোনও দরকারী পরীক্ষা বাদে কোনও ওরাকলকে বলা ভাল ব্যবস্থা নয়।

ক্লাস প্রতি নির্ভুলতা

আমরা একই ক্লাস থেকে আমাদের শ্রেণীবিন্যাস ফাংশন শুধুমাত্র নমুনার দিয়ে স্বতন্ত্রভাবে প্রতি ক্লাসে সঠিকতা গনা করতে পারেন এবং মনে রাখবেন এবং সঠিক শ্রেণীবিভাগেরও এবং ভুল শ্রেণীবিভাগেরও সংখ্যা গণনা তারপর গনা $accuracy := \text{correct}/(\text{correct} + \text{incorrect})$ । আমরা প্রতিটি শ্রেণীর জন্য এটি পুনরাবৃত্তি। আমরা একটি শ্রেণীবিন্যাস ফাংশন সঠিকভাবে বর্গ চিনতে পারে যদি $\mathcal{A}$ কিন্তু আউটপুট অন্য ক্লাসের জন্য একটি র্যান্ডম অনুমান তারপর এই একটি সঠিকতা ফলাফল হবে $1.00$ জন্য $\mathcal{A}$ এবং একটি সঠিকতা $0.33$ অন্যান্য ক্লাসের জন্য। এটি ইতিমধ্যে আমাদের শ্রেণিবদ্ধকরণ ফাংশনটির কার্যকারিতা বিচার করার জন্য আরও একটি ভাল উপায় সরবরাহ করে। সর্বদা একই শ্রেণীর অনুমান করা একটি ওরাকল সেই শ্রেণীর জন্য প্রতি শ্রেণীর যথার্থতা $1.00$ , তবে অন্যান্য শ্রেণীর জন্য $0.00$ উত্পাদন করবে । যদি আমাদের পরীক্ষা দরকারী সব প্রতি ক্লাসে accuracies হওয়া উচিত $>0.5$ । অন্যথায়, আমাদের পরীক্ষা সুযোগের চেয়ে ভাল নয়। তবে, ক্লাস প্রতি যথার্থতা মিথ্যা ইতিবাচক বিবেচনায় নেয় না। যদিও আমাদের শ্রেণীবিন্যাস ফাংশন বর্গ জন্য 100 \% সঠিকতা হয়েছে $\mathcal{A}$ সেখানে জন্য মিথ্যা পজিটিভ হতে হবে $\mathcal{A}$ (যেমন একটি হিসাবে $\mathcal{B}$ ভুলভাবে একটি হিসাবে শ্রেণীবদ্ধ করা $\mathcal{A}$ )।

সংবেদনশীলতা এবং নির্দিষ্টতা

চিকিত্সা পরীক্ষায় সংবেদনশীলতা সংজ্ঞায়িত করা হয় যে রোগটি সঠিকভাবে চিহ্নিত হওয়া এবং প্রকৃতপক্ষে এই রোগে আক্রান্ত মানুষের পরিমাণ হিসাবে চিহ্নিত করা হয় between নির্দিষ্টভাবে স্বাস্থ্যকর হিসাবে চিহ্নিত ব্যক্তি এবং প্রকৃতপক্ষে সুস্থ মানুষের পরিমাণের মধ্যে অনুপাত হিসাবে নির্দিষ্টকরণটিকে সংজ্ঞায়িত করা হয়। প্রকৃতপক্ষে এই রোগে আক্রান্ত ব্যক্তিদের পরিমাণ হ'ল সত্য পজিটিভ পরীক্ষার ফলাফলের পরিমাণ এবং মিথ্যা নেতিবাচক পরীক্ষার ফলাফলের পরিমাণ। প্রকৃত স্বাস্থ্যকর মানুষের পরিমাণ হ'ল সত্য নেতিবাচক পরীক্ষার ফলাফলের পরিমাণ এবং মিথ্যা ইতিবাচক পরীক্ষার ফলাফলের পরিমাণ।

বাইনারি শ্রেণিবদ্ধকরণ

বাইনারি শ্রেণিবদ্ধকরণের সমস্যাগুলিতে $\mathcal{P}$ এবং $\mathcal{N}$ দুটি শ্রেণি রয়েছে । $T_{n}$ বলতে বোঝায় যে নমুনাগুলি সঠিকভাবে চিহ্নিত হয়েছিল যা ক্লাস $n$ এবং $F_{n}$ অন্তর্গত হিসাবে সঠিকভাবে চিহ্নিত হয়েছিল যেগুলি নমুনাগুলির সংখ্যাটিকে মিথ্যাভাবে চিহ্নিত করা হয়েছে যা ক্লাস $n$ অন্তর্গত হিসাবে চিহ্নিত হয়েছিল । এই ক্ষেত্রে সংবেদনশীলতা এবং নির্দিষ্টতা নিম্নলিখিত হিসাবে সংজ্ঞায়িত করা হয়:

\begin{aligned} s e n s i t i v i t y := \frac{T_{P}}{T_{P} + F_{N}} \\ s p e c i f i c i t y := \frac{T_{N}}{T_{N} + F_{P}} \end{aligned}

$\begin{align*} sensitivity := \frac{T_{\mathcal{P}}}{T_{\mathcal{P}}+F_{\mathcal{N}}} \\ specificity := \frac{T_{\mathcal{N}}}{T_{\mathcal{N}}+F_{\mathcal{P}}} \end{align*}$

$T_{\mathcal{P}}$ সত্যিকারের ধনাত্মকহওয়া $F_{\mathcal{N}}$ মিথ্যা s হওয়া, $T_{\mathcal{N}}$ সত্য negativeণাত্মক এবং $F_{\mathcal{P}}$ মিথ্যা ধনাত্মক হওয়া। যাইহোক, নেগেটিভ এবং পজিটিভ দিক থেকে চিন্তা শিক্ষক পরীক্ষার জন্য কিন্তু একটা ভাল অনুভূতি আমরা নেগেটিভ এবং পজিটিভ পরিপ্রেক্ষিতে মনে করা উচিত নয় পেতে কিন্তু জেনেরিক ক্লাসের জরিমানা $\alpha$ এবং $\beta$ । তারপর, আমরা বলতে পারি যে নমুনা সঠিকভাবে অন্তর্গত হিসাবে চিহ্নিত পরিমাণ $\alpha$ হয় $T_{\alpha}$ এবং নমুনার পরিমাণ যে আসলে অন্তর্গত $\alpha$ হয় $T_{\alpha} + F_{\beta}$ । নমুনা সঠিকভাবে একাত্মতার না হিসেবে চিহ্নিত পরিমাণ $\alpha$ হয় $T_{\beta}$ এবং নমুনার আসলে একাত্মতার না পরিমাণ $\alpha$ হয় $T_{\beta} + F_{\alpha}$ । এটা আমাদের জন্য সংবেদনশীলতা এবং বিশেষত্বের দেয় $\alpha$ কিন্তু আমরা ক্লাসে একই জিনিস আবেদন করতে পারেন $\beta$ । নমুনা সঠিকভাবে অন্তর্গত হিসাবে চিহ্নিত পরিমাণ $\beta$ হয় $T_{\beta}$ এবং আসলে একাত্মতার নমুনা পরিমাণ $\beta$ হয় $T_{\beta} + F_{\alpha}$ । নমুনার পরিমাণটি সঠিকভাবে নয় বলে চিহ্নিত করা হয়েছে $\beta$ হয় $T_{\alpha}$ এবং নমুনার আসলে একাত্মতার না পরিমাণ $\beta$ হয় $T_{\alpha} + F_{\beta}$ । আমরা এইভাবে প্রতি ক্লাসে সংবেদনশীলতা এবং নির্দিষ্টতা পাই:

\begin{aligned} s e n s i t i v i t y_{α} := \frac{T_{α}}{T_{α} + F_{β}} \\ s p e c i f i c i t y_{α} := \frac{T_{β}}{T_{β} + F_{α}} \\ s e n s i t i v i t y_{β} := \frac{T_{β}}{T_{β} + F_{α}} \\ s p e c i f i c i t y_{β} := \frac{T_{α}}{T_{α} + F_{β}} \end{aligned}

$\begin{align*} sensitivity_{\alpha} := \frac{T_{\alpha}}{T_{\alpha}+F_{\beta}} \\ specificity_{\alpha} := \frac{T_{\beta}}{T_{\beta} + F_{\alpha}} \\ sensitivity_{\beta} := \frac{T_{\beta}}{T_{\beta}+F_{\alpha}} \\ specificity_{\beta} := \frac{T_{\alpha}}{T_{\alpha} + F_{\beta}} \\ \end{align*}$

আমরা অবশ্য মান্য যে $sensitivity_{\alpha} = specificity_{\beta}$ এবং $specificity_{\alpha} = sensitivity_{\beta}$ । এর অর্থ হ'ল আমাদের যদি কেবল দুটি ক্লাস থাকে তবে আমাদের প্রতি ক্লাসে সংবেদনশীলতা এবং নির্দিষ্টতার প্রয়োজন নেই।

এন-আরি শ্রেণিবিন্যাস

প্রতি শ্রেণি প্রতি সংবেদনশীলতা এবং নির্দিষ্টতা কার্যকর নয় যদি আমাদের কেবল দুটি ক্লাস থাকে তবে আমরা এটি একাধিক ক্লাসে প্রসারিত করতে পারি। সংবেদনশীলতা এবং নির্দিষ্টতা হিসাবে সংজ্ঞায়িত করা হয়:

\begin{aligned} sensitivity := \frac{true positives}{true positives + false negatives} \\ specificity := \frac{true negatives}{true negatives + false-positives} \end{aligned}

$\begin{align*} \text{sensitivity} := \frac{\text{true positives}}{\text{true positives} + \text{false negatives}} \\ \text{specificity} := \frac{\text{true negatives}}{\text{true negatives} + \text{false-positives}} \\ \end{align*}$

সত্য ইতিবাচক সহজভাবে হয় $T_{n}$ , মিথ্যা নেগেটিভ সহজভাবে হয় $\sum_{i}(F_{n,i})$ এবং মিথ্যা পজিটিভ সহজভাবে হয় $\sum_{i}(F_{i,n})$ । সত্য negativeণাত্মক সন্ধান করা আরও শক্ত কিন্তু আমরা বলতে পারি যে আমরা যদি $n$ আলাদা কোনও শ্রেণীর অন্তর্ভুক্ত হিসাবে কিছুকে সঠিকভাবে শ্রেণিবদ্ধ করি তবে এটি সত্য negativeণাত্মক হিসাবে গণ্য হয়। এর অর্থ আমাদের কমপক্ষে $\sum_{i}(T_{i}) - T(n)$ সত্য নেতিবাচক। তবে, এটি সমস্ত সত্য নেতিবাচক নয়। একটি বর্গ চেয়ে ভিন্ন এর জন্য সকল ভুল শ্রেণীবিভাগেরও $n$ সত্য নেগেটিভ কারণ তারা সঠিকভাবে একাত্মতার হিসেবে চিহ্নিত করা হয় নি হয় $n$ । $\sum_{i}(\sum_{k}(F_{i,k}))$ সমস্ত ভুল শ্রেণিবদ্ধকরণ উপস্থাপন করে। এর থেকে আমাদের কেসগুলি বিয়োগ করতে হবে যেখানে ইনপুট শ্রেণি ছিল $n$ অর্থ আমরা $n$ জন্য মিথ্যা $\sum_{i}(F_{n,i})$ বিয়োগ করতে হবে যা তবে আমরা এর জন্য মিথ্যা ধনাত্মককেও বিয়োগ করতে হবে $n$ কারণ তারা মিথ্যা positives এবং না সত্য নেগেটিভ তাই আমরা বিয়োগ করতে আছে $\sum_{i}(F_{i,n})$ পরিশেষে পেয়ে $\sum_{i}(T_{i}) - T(n) + \sum_{i}(\sum_{k}(F_{n,i})) - \sum_{i}(F_{n,i}) - \sum_{i}(F_{i,n})$ । সংক্ষিপ্তসার হিসাবে আমাদের রয়েছে:

\begin{aligned} true positives := T_{n} \\ true negatives := \sum_{i} (T_{i}) - T (n) + \sum_{i} (\sum_{k} (F_{n, i})) - \sum_{i} (F_{n, i}) - \sum_{i} (F_{i, n}) \\ false positives := \sum_{i} (F_{i, n}) \\ false negatives := \sum_{i} (F_{n, i}) \end{aligned}

$\begin{align*} \text{true positives} := T_{n} \\ \text{true negatives} := \sum_{i}(T_{i}) - T(n) + \sum_{i}(\sum_{k}(F_{n,i})) - \sum_{i}(F_{n,i}) - \sum_{i}(F_{i,n}) \\ \text{false positives} := \sum_{i}(F_{i,n}) \\ \text{false negatives} := \sum_{i}(F_{n,i}) \end{align*}$

\begin{aligned} s e n s i t i v i t y (n) := \frac{T_{n}}{T_{n} + \sum_{i} (F_{n, i})} \\ s p e c i f i c i t y (n) := \frac{\sum_{i} (T_{i}) - T_{n} + \sum_{i} (\sum_{k} (F_{i, k})) - \sum_{i} (F_{n, i}) - \sum_{i} (F_{i, n})}{\sum_{i} (T_{i}) - T_{n} + \sum_{i} (\sum_{k} (F_{i, k})) - \sum_{i} (F_{n, i})} \end{aligned}

$\begin{align*} sensitivity(n) := \frac{T_{n}}{T_{n} + \sum_{i}(F_{n,i})} \\ specificity(n) := \frac{\sum_{i}(T_{i}) - T_{n} + \sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{n,i}) - \sum_{i}(F_{i,n})}{\sum_{i}(T_{i}) - T_{n} + \sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{n,i})} \end{align*}$

আত্মবিশ্বাসের পরিচয়

$confidence^{\top}$ $T_{n} + \sum_{i}(F_{i,n})$ $n$ $T_{n}$

\begin{aligned} c o n f i d e n c e^{⊤} (n) := \frac{T_{n}}{T_{n} + \sum_{i} (F_{i, n})} \end{aligned}

$\begin{align*} confidence^{\top}(n) := \frac{T_{n}}{T_{n}+\sum_{i}(F_{i,n})} \end{align*}$

$confidence^{\bot}$ $n$ $n$

$\sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{i,n}) + \sum_{i}(T_{i}) - T_{n}$ $\sum_{i}(F_{n,i})$

\begin{aligned} c o n f i d e n c e^{⊥} (n) = \frac{\sum_{i} (\sum_{k} (F_{i, k})) - \sum_{i} (F_{i, n}) + \sum_{i} (T_{i}) - T_{n} - \sum_{i} (F_{n, i})}{\sum_{i} (\sum_{k} (F_{i, k})) - \sum_{i} (F_{i, n}) + \sum_{i} (T_{i}) - T_{n}} \end{aligned}

$\begin{align*} confidence^{\bot}(n) = \frac{\sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{i,n}) + \sum_{i}(T_{i}) - T_{n}-\sum_{i}(F_{n,i})}{\sum_{i}(\sum_{k}(F_{i,k})) - \sum_{i}(F_{i,n}) + \sum_{i}(T_{i}) - T_{n}} \end{align*}$

— mroman
সূত্র

আপনি দয়া করে কনফিউশন ম্যাট্রিক্স ব্যবহার করে গড় নির্ভুলতার গণনার কোনও উদাহরণ সরবরাহ করতে পারেন।

— আদনান ফারুক এ 1

আপনি উদাহরণ সহ আরও বিশদ বিবরণ এখানে পেতে পারেন: mroman.ch/guides/sensspec.html

— mroman

আবার এটি পড়ার পরে আত্মবিশ্বাস_ফালসের সংজ্ঞায় একটি ত্রুটি আছে। আমি অবাক হয়েছি যে কেউ তা স্পষ্ট করে নি। আমি আগামী কয়েক দিনের মধ্যে এটি ঠিক করব।

— ম্রোমান

8

আপনার ডেটাসেটে ভারসাম্যহীন ক্লাস

সংক্ষেপে: কল্পনা করুন, এক শ্রেণির 99% (আপেল বলুন) এবং অন্য শ্রেণীর 1% আপনার ডেটা সেটে রয়েছে (কলা বলুন)) আমার সুপার ডুপার অ্যালগরিদম এই ডেটা সেটটির জন্য অবাক করা 99% যথার্থতা পেয়েছে, এটি দেখুন:

return "it's an apple"

তিনি সময়টির সঠিক 99% থাকবেন এবং তাই 99% যথার্থতা পান। আমি কি আপনাকে আমার অ্যালগরিদম বিক্রি করতে পারি?

সমাধান: একটি নিখুঁত পরিমাপ (নির্ভুলতা) ব্যবহার করবেন না তবে প্রতিটি-শ্রেণীর পরিমাপের তুলনামূলক (সেখানে অনেক কিছুই রয়েছে, আরওসি এউসির মতো)

— Mayou36
সূত্র

নাহ, এউসি ভারসাম্যহীন ডেটাসেটের জন্যও উপযুক্ত নয়।

— সিক্সলম

@ সিক্সলম, আপনি কি এ বিষয়ে বিস্তারিত বলতে পারবেন?

— মেউইউ 36

P (D) / P (D^{C})

$P(D)/P(D^C)$

P (T | D)

$P(T \vert D)$

P (F | D^{C})

$P(F \vert D^C)$

একটি পরিষ্কার চিত্র এখানে পাওয়া যাবে: quora.com/… । জেরি মা এর উত্তর দেখুন।

— সিক্সলম

আমি এখনও আপনার বক্তব্য বুঝতে পারি না। সমাধানটিতে আমি যা বলছি এবং ঠিক আমার উত্তরকে সমর্থন করছি তা (কোওরা সহ) নয়? মুল বক্তব্যটি হল প্রিয়াররা এমন কোনও মেট্রিককে প্রভাবিত করবেন না যা নেটওয়ার্কের কর্মক্ষমতা পরিমাপ করে। কি হল উপযুক্ত সম্পূর্ণরূপে আপনার সমস্যা উপর নির্ভর করে, সেরা উদাঃ জন্য অপ্টিমাইজ করা হয় প্রতি সম্ভব কাটা । তাই আমাকে জানাতে: ক) যেহেতু এটি কার্য-সম্পাদনায় গতকাল দেশের সর্বোচ্চ তাপমাত্রা থেকে পরিবর্তিত কিন্তু সংবেদনশীল, কেন হয় যে বেঠিক মনে করে? খ) আপনি অন্য কোনটি উপযুক্ত বলে মনে করেন বা কোন বৈশিষ্ট্যগুলির প্রয়োজন?

— মায়ু 36

2

ডএল উত্তর ঠিক এই। আমি ডিম বিক্রি সম্পর্কে খুব সাধারণ উদাহরণ দিয়ে এটি বর্ণনা করব।

$2$ $1$

যদি আপনার শ্রেণিবদ্ধকারী কোনও ভুল না করে তবে আপনি সর্বাধিক রাজস্ব আশা করতে পারেন। যদি এটি নিখুঁত না হয় তবে:

$1$
$1$

তারপরে আপনার শ্রেণিবদ্ধের যথার্থতা হ'ল আপনি সর্বাধিক আয়ের নিকটবর্তী হন। এটি নিখুঁত পরিমাপ।

$a$

$a$
$2-a$

$a=0.001$ $2$ $0.001$

শ্রেণীবদ্ধকারী উদাহরণস্বরূপ কোনও ডাটাবেসে প্রাসঙ্গিক দলিলগুলি সন্ধান করার বিষয়ে থাকে, তবে আপনি কোনও অপ্রাসঙ্গিক ডকুমেন্টটি পড়তে সময় নষ্ট করার সাথে "কতটা" প্রাসঙ্গিক নথি সন্ধানের সাথে তুলনা করতে পারেন।

— বেনোইট সানচেজ
সূত্র

1

শ্রেণিবিন্যাস নির্ভুলতা হ'ল পূর্বাভাসের মোট সংখ্যার দ্বারা বিভক্ত সঠিক ভবিষ্যদ্বাণীগুলির সংখ্যা।

নির্ভুলতা বিভ্রান্তিকর হতে পারে। উদাহরণস্বরূপ, একটি সমস্যা যেখানে একটি বৃহত শ্রেণীর ভারসাম্যহীনতা রয়েছে সেখানে একটি মডেল সমস্ত পূর্বাভাসের জন্য সংখ্যাগরিষ্ঠ শ্রেণীর মান পূর্বাভাস দিতে পারে এবং একটি উচ্চ শ্রেণিবিন্যাসের নির্ভুলতা অর্জন করতে পারে। সুতরাং, আরও পারফরম্যান্স ব্যবস্থা প্রয়োজন যেমন এফ 1 স্কোর এবং বেরিয়ার স্কোর।

— jeza
সূত্র

-3

$R^2$

অন্যরা যেমন উল্লেখ করেছে, নির্ভুলতার সাথে আরেকটি সমস্যা হ'ল ব্যর্থতার দামের প্রতি নিখুঁত উদাসীনতা - অর্থাৎ একটি ভুল ধারণা যে সমস্ত ভুল শ্রেণিবদ্ধকরণ সমান। বাস্তবে এগুলি হয় না, এবং ভুল শ্রেণিবদ্ধকরণ পাওয়ার জন্য ব্যয়টি অত্যন্ত বিষয় নির্ভর করে এবং আপনি যথাযথতা সর্বাধিক করার চেয়ে নির্দিষ্ট ধরণের অন্যায়কে হ্রাস করতে পছন্দ করতে পারেন।

— জেমস
সূত্র

2

হাম। (1) আমি ধরে নিয়েছি যে নির্ভুলতার মূল্যায়ন বা স্যাম্পল-এর বাইরে অন্য কোনও মেট্রিক বোঝা যাবে, তাই আমি সত্যতা দেখতে পাচ্ছি না যে নির্দিষ্ট ওভারফিটিং সমস্যাটির আরও কতটা সঠিকতা রয়েছে । (২) আপনি যদি জনসংখ্যার A সম্পর্কে প্রশিক্ষিত কোনও মডেলকে বিভিন্ন জনসংখ্যার বিতে প্রয়োগ করেন তবে আপনি আপেলকে কমলার সাথে তুলনা করছেন, এবং আমি আবার সত্যি দেখতে পাচ্ছি না এটি কীভাবে নির্ভুলতার জন্য একটি নির্দিষ্ট সমস্যা ।

— স্টিফান কোলাছা

(1) তবুও এটি নির্ভুলতার জন্য একটি সমস্যা এবং প্রশ্নটি নির্ভুলতার সোনার মান হিসাবে ব্যবহার করার বিষয়ে। (২) শ্রেণিবদ্ধ গঠনের বিষয়টি হ'ল এটি কেবল কমলাগুলিতে কমলাতে ব্যবহার করা। আপনার প্রশিক্ষণ ডেটার জন্য ক্যাচিজম না হয়ে ডেটাতে প্রয়োজনীয় সংকেতগুলি (যেমন তারা বিদ্যমান) ক্যাপচার করার পক্ষে এটি যথেষ্ট সাধারণ হওয়া উচিত।

— জেমস

শ্রেণিবদ্ধকরণের মডেলগুলি মূল্যায়নের জন্য নির্ভুলতা কেন সেরা মাপকাঠি নয়?