সংবেদনশীলতা এবং নির্দিষ্টতা একত্রিত করে শ্রেণিবদ্ধ কর্মক্ষমতা পরিমাপ?


9

আমার কাছে 2-শ্রেণীর লেবেলযুক্ত ডেটা রয়েছে যার উপর আমি একাধিক শ্রেণিবদ্ধ ব্যবহার করে শ্রেণিবিন্যাস করছি। এবং ডেটাসেটগুলি ভাল ভারসাম্যযুক্ত। ক্লাসিফায়ারদের পারফরম্যান্সটি মূল্যায়ন করার সময়, শ্রেণিবদ্ধকারী কেবল সঠিক ধনাত্মকগুলিই নয়, সত্য negativeণাত্মকগুলিও নির্ধারণ করতে কতটা সঠিক তা বিবেচনা করা দরকার। অতএব, যদি আমি নির্ভুলতা ব্যবহার করি এবং শ্রেণিবদ্ধকারী যদি ধনাত্মক দিকে পক্ষপাতদুষ্ট থাকে এবং সবকিছুকে ইতিবাচক হিসাবে শ্রেণিবদ্ধ করে তবে আমি প্রায় 50% নির্ভুলতা পাব, যদিও এটি কোনও সত্য নেতিবাচক শ্রেণিবদ্ধকরণে ব্যর্থ হয়েছে। কেবলমাত্র একটি শ্রেণিতে ফোকাস করা এবং এফ 1-স্কোরের পরিবর্তে এই সম্পত্তিটি যথাযথভাবে প্রসারিত এবং পুনরায় স্মরণ করা হবে। (এই বিষয়টি আমি এই কাগজ থেকে বুঝতে পেরেছি উদাহরণস্বরূপ " নির্ভুলতার বাইরে, এফ-স্কোর এবং আরওসি: পারফরম্যান্স মূল্যায়নের জন্য পারিবারিক বৈষম্য ব্যবস্থা ")।

অতএব, প্রতিটি শ্রেণীর জন্য শ্রেণিবদ্ধকারী কীভাবে সম্পাদন করেছিলেন, যেখানে আমি এই মানগুলি সর্বাধিক করে তোলার লক্ষ্য রেখেছি তা দেখতে আমি সংবেদনশীলতা এবং নির্দিষ্টতা (টিপিআর এবং টিএনআর) ব্যবহার করতে পারি।

আমার প্রশ্ন হ'ল আমি এমন একটি পরিমাপের সন্ধান করছি যা এই উভয় মানকে একটি অর্থবহ পরিমাপের সাথে সংযুক্ত করে । আমি সেই কাগজে প্রদত্ত ব্যবস্থাগুলি দেখেছি, তবে আমি এটি অ-তুচ্ছ বলে মনে করেছি। এবং আমার বোঝার ভিত্তিতে আমি ভাবছিলাম যে কেন আমরা এফ-স্কোরের মতো কিছু প্রয়োগ করতে পারি না, তবে নির্ভুলতা ব্যবহার করার পরিবর্তে এবং পুনরায় স্মরণ করার পরিবর্তে আমি সংবেদনশীলতা এবং নির্দিষ্টতা ব্যবহার করব? সুতরাং সূত্রটি হ'ল এবং আমার লক্ষ্যটি হবে সর্বোচ্চ এই পরিমাপ। আমি এটি খুব প্রতিনিধি বলে মনে করি। ইতিমধ্যে কি একই ধরণের সূত্র আছে? এবং এটি কি অর্থবহ হবে বা এটি এমনকি গাণিতিকভাবে শব্দ?

আমার পারফরম্যান্স পরিমাপ=2*সংবেদনশীলতা*নির্দিষ্টতাসংবেদনশীলতা+ +নির্দিষ্টতা

উত্তর:


1

আমি বলব যে কোনও বিশেষ বা শুধুমাত্র একটি মাপ নাও থাকতে পারে যা আপনার বিবেচনায় নেওয়া উচিত।

গতবার যখন আমি সম্ভাব্য শ্রেণিবদ্ধকরণ করেছি তখন আমার কাছে একটি আর প্যাকেজ আরআরসিআর এবং ফলস পজিটিভ এবং মিথ্যা নেতিবাচকদের জন্য সুস্পষ্ট ব্যয়ের মান ছিল।

আমি 0 থেকে 1 পর্যন্ত সমস্ত কাট অফ-পয়েন্ট বিবেচনা করেছি এবং এই কাট অফ - পয়েন্টটি নির্বাচন করার সময় প্রত্যাশিত ব্যয়ের মতো অনেকগুলি পদক্ষেপ ব্যবহার করেছি। শ্রেণিবদ্ধকরণ নির্ভুলতার সাধারণ পরিমাপের জন্য অবশ্যই আমার ইতিমধ্যে এউসি পরিমাপ ছিল। তবে আমার পক্ষে এটিই একমাত্র সম্ভাবনা ছিল না।

এফপি এবং এফএন মামলার মান অবশ্যই আপনার নির্দিষ্ট মডেলের বাইরে আসতে হবে, সম্ভবত এগুলি কোনও বিষয় বিশেষজ্ঞের দ্বারা সরবরাহ করা হয়েছে?

উদাহরণস্বরূপ গ্রাহক মন্থ বিশ্লেষণে ভুলভাবে এটি নির্ধারণ করা আরও ব্যয়বহুল হতে পারে যে গ্রাহক মন্থন করছেন না বরং এগুলি সঠিক গোষ্ঠীগুলিতে টার্গেট না করে পরিষেবাগুলির জন্য দামগুলিতে সাধারণ হ্রাস দেওয়া ব্যয়বহুল হবে।

-Analyst


আসলে আমার ক্ষেত্রে এটি একই রকম। কারণ আমার মডেল এফপি এবং এফএন কেসগুলি ব্যয়বহুল হতে পারে। অবশেষে আপনি "একাধিক পদক্ষেপের ব্যবহার" পরামর্শ দিয়েছিলেন এমন কিছু করেই শেষ করেছি। আমি প্রতিটি শ্রেণীর লেবেলের জন্য এফ-স্কোর গণনা করেছি, এবং মডেলগুলি মূল্যায়নের জন্য আমি কিছু মূল্য ফাংশন সহ এই মূল্যগুলি ব্যবহার করি যা লাভ (এবং উভয় শ্রেণির জন্য) গণনা করে এফপি এবং এফএন কেস থেকে প্রাপ্ত ক্ষতির পরিমাণ বিয়োগ করে।
কালাজি

3

শ্রেণিবদ্ধকরণ নির্ভুলতা, সংবেদনশীলতা, নির্দিষ্টতা এবং এগুলির যে কোনও সাধারণ সংমিশ্রণ হ'ল এগুলি যথাযথ স্কোরিংয়ের নিয়ম। যে, তারা একটি বগাস মডেল দ্বারা অনুকূলিত হয়। এগুলি ব্যবহার করা আপনাকে ভুল বৈশিষ্ট্যগুলি চয়ন করতে, ভুল ওজন দিতে এবং সাব-অবৈধ সিদ্ধান্ত নেবে। সিদ্ধান্তগুলি সাবঅপটিমাল হওয়ার অনেকগুলি উপায়গুলির মধ্যে একটি হ'ল পূর্বাভাসের সম্ভাবনাগুলি এই ব্যবস্থাগুলি ব্যবহারের দ্বারা প্রবর্তিত প্রান্তিকের কাছাকাছি হওয়ার সময় আপনি যে মিথ্যা আস্থা অর্জন করেন। সংক্ষেপে, যা কিছু ভুল হতে পারে সেগুলি এই ব্যবস্থাগুলিতে ভুল হয়। এমনকি দুটি ভাল-ফিটিত মডেলের তুলনা করতে তাদের ব্যবহার আপনাকে বিভ্রান্ত করবে।


1
আমি সম্মত হই যে যে কোনও উত্পন্ন মডেলটি আপনি যেমন উল্লেখ করেছেন তেমন একটি "বোগাস মডেল"। তবে তবুও এর গুনাগুণ মূল্যায়নের জন্য, পরিশেষে একটি মডেল বেছে নিতে আমার একটি ব্যবস্থা প্রয়োজন। ধরে নিই যে আমার বৈশিষ্ট্যগুলি ইতিমধ্যে নির্বাচিত হয়েছে (বিভিন্ন বৈশিষ্ট্যের বিভিন্ন সেট সহ একাধিক ডেটাসেট চেষ্টা করছি), এবং আমার শ্রেণিবদ্ধরা ডেটাটিকে বেশি উপস্থাপন করছে কিনা তা নির্ধারণের জন্য আমি এই পাঁচটি "স্কোরিং নিয়ম" সবচেয়ে বেশি সাহিত্যে ব্যাপকভাবে ব্যবহৃত। আপনি আর কি কি পদক্ষেপের পরামর্শ দেবেন? বেশিরভাগ পদক্ষেপগুলি এলআর +/-, আরওসি এবং এওসি সহ এই মানগুলির সংমিশ্রণের উপর নির্ভর করে।
কালাজি

প্রথমত আপনি 5-ভাড়ার সিভিতে ব্যবহৃত 5 টি মডেলের ফিটগুলির জন্য স্ক্র্যাচ থেকে সমস্ত অনুসন্ধান / মডেলিং পদক্ষেপগুলি পুনরাবৃত্তি করতে সাবধান? স্বর্ণের মান মানের পরিমাপ হ'ল ল'ব সম্ভাবনা এবং পরিমাণগুলি যেমন এর থেকে প্রাপ্ত এবং বিচ্যুতি। বাইনারি জন্য এটি লোগারিদমিক সম্ভাব্যতা স্কোরিং নিয়মের দিকে নিয়ে যায়। সেক্ষেত্রে আপনি আরেকটি যথাযথ স্কোরও ব্যবহার করতে পারেন, বারিয়ার স্কোর (পূর্বাভাসের সম্ভাব্যতায় স্কোয়ার ত্রুটি)। আর2ওয়াই
ফ্র্যাঙ্ক হ্যারেল

আমার পড়ার উপর ভিত্তি করে এটি প্রযোজ্য ক্ষেত্রে ক্ষেত্রে যখন আমার মডেলগুলি বিচ্ছিন্ন মানগুলির পরিবর্তে সম্ভাবনা তৈরি করে (যেমন একটি সম্ভাবনা যা কোনও উদাহরণ 0 বা 1 আউটপুট না করে 0 বা 1 শ্রেণীর অন্তর্গত)। এবং পরিবর্তে, এটি শ্রেণিবদ্ধকরণ বাস্তবায়নের সাথে সম্পর্কযুক্ত ছিল, উদাহরণস্বরূপ এটি একটি নাইভ বেইস শ্রেণিবদ্ধের ক্ষেত্রে প্রযোজ্য তবে 1-এনএন শ্রেণিবদ্ধের জন্য নয়। লক্ষ্য করুন যে আমি শ্রেণিবদ্ধ প্রয়োগ করছি না, আমি আমার মডেলগুলি তৈরি করতে ওয়েকার কিছু শ্রেণিবদ্ধ ব্যবহার করছি। আমি এখানে কিছুটা বিভ্রান্ত হয়ে পড়েছি। ধন্যবাদ।
কালাজি

1
আপনি যে পদ্ধতিটি ব্যবহার করছেন তা যদি সম্ভাব্যতা না দেয় তবে আমি অন্য একটি পদ্ধতি সন্ধানের পরামর্শ দিচ্ছি।
ফ্র্যাঙ্ক হ্যারেল

যথার্থতা এবং সংবেদনশীলতার আসল ব্যয়ের মধ্যে যদি ভালভাবে বোঝা যায় না (মূল পোস্টে প্রযোজ্য না) তবে আপনি কেন সেগুলি ব্যবহার এড়াবেন? পক্ষপাতদুষ্ট ক্রস-এন্ট্রপি-ত্রুটিটি কি অগ্রাধিকারযোগ্য (যেমন, (1-সি) * লগের (1-পি) পদটির দ্বিগুণ হবে)?
ম্যাক্স ক্যান্ডোসিয়া
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.