আমি সম্প্রতি সম্ভাব্য শ্রেণিবদ্ধদের জন্য সঠিক স্কোরিং নিয়ম সম্পর্কে শিখছি। এই ওয়েবসাইটটিতে বেশ কয়েকটি থ্রেড জোর দিয়েছিল যে নির্ভুলতা একটি অকার্যকর স্কোরিং নিয়ম এবং লজিস্টিক রিগ্রেশন যেমন একটি সম্ভাব্য মডেল দ্বারা উত্পাদিত ভবিষ্যদ্বাণীগুলির গুণমান মূল্যায়নের জন্য ব্যবহার করা উচিত নয়।

তবে, আমি যে বেশ কয়েকটি শিক্ষামূলক পত্র পড়েছি সেগুলি বাইনারি শ্রেণিবদ্ধকরণ সেটিংয়ের (অ-কঠোর) যথাযথ স্কোরিং নিয়মের উদাহরণ হিসাবে ভুল শ্রেণিবিন্যাস ক্ষতি দিয়েছে। স্পষ্ট ব্যাখ্যা আমি খুঁজে পাইনি ছিল এই কাগজ , পৃষ্ঠা 7. নীচে আমার বোঝার শ্রেষ্ঠ এ, misclassification ক্ষতি কমানোর সঠিকতা পূর্ণবিস্তার সমতূল্য, ও কাগজের জানার সমীকরণ, intuitively।

উদাহরণস্বরূপ: কাগজের স্বরলিপি ব্যবহার করে, যদি শ্রেণীর আগ্রহের সত্যিকার শর্তসাপেক্ষ সম্ভাবনা (কিছু বৈশিষ্ট্য ভেক্টর x দেওয়া থাকে ) any = 0.7 হয়, তবে যে কোনও পূর্বাভাসের Q > 0.5 এর একটি প্রত্যাশিত লোকসান হবে R ( q | q ) = 0.7 (0) + 0.3 (1) = 0.3, এবং যে কোনও কিউ 0.5 এর প্রত্যাশিত ক্ষতির পরিমাণ 0.7 হবে have ক্ষতির ক্রিয়াটি তাই q = η = 0.7 এ হ্রাস করা হবে এবং ফলস্বরূপ যথাযথ হবে; সাধারণ শর্তসাপেক্ষ সম্ভাবনা এবং পূর্বাভাসের পুরো পরিসরে সাধারণীকরণটি সেখান থেকে যথেষ্ট সোজা বলে মনে হয়। $\leq$

উপরের গণনা এবং বিবৃতিগুলি সঠিক বলে ধরে নিচ্ছি, অ-অনন্য ন্যূনতম ন্যূনতমের অপূর্ণতা এবং একই ন্যূনতম প্রত্যাশিত ক্ষতির ভাগ করে নেওয়া 0.5 ভাগের উপরে সমস্ত ভবিষ্যদ্বাণী সুস্পষ্ট। আমি এখনও লগ স্কোর, বেরিয়ার স্কোর ইত্যাদির মতো traditionalতিহ্যবাহী বিকল্পগুলির মধ্যে নির্ভুলতা ব্যবহার করার কোনও কারণ দেখতে পাচ্ছি না তবে, বাইনারি সেটিংয়ে সম্ভাব্য মডেলগুলি মূল্যায়ন করার সময় যথার্থতা একটি সঠিক স্কোরিং নিয়ম হিসাবে বলা উচিত, বা আমি একটি তৈরি করছি ভুল - হয় ভুল সংশোধন ক্ষতি সম্পর্কে আমার বোঝার মধ্যে, বা এটি সঠিকতার সাথে সমান?

probability accuracy scoring-rules

— Zyzzva
সূত্র

টি এল; ডিআর

যথার্থতা একটি অযৌক্তিক স্কোরিং নিয়ম। এটি ব্যবহার করবেন না।

সামান্য দীর্ঘ সংস্করণ

আসলে, নির্ভুলতা এমনকি একটি স্কোরিং নিয়ম নয়। সুতরাং এটি (কঠোরভাবে) যথাযথ কিনা তা জিজ্ঞাসা করা বিভাগের ত্রুটি। সর্বাধিক আমরা বলতে পারি অতিরিক্ত অনুমানের অধীনে নির্ভুলতা একটি স্কোরিং নিয়মের সাথে সামঞ্জস্যপূর্ণ যা অনুচিত, বিচ্ছিন্ন এবং বিভ্রান্তিকর। (এটি ব্যবহার করবেন না।)

আপনার বিভ্রান্তি

আপনার বিভ্রান্তিটি এই সত্যটি থেকে উদ্ভূত হয়েছে যে আপনি যে কাগজটি উদ্ধৃত করেছেন তার অনুসারে ভুল শংসাপত্রের ক্ষতি কোনও স্কোরিং নিয়ম নয়।

বিশদ: স্কোরিং বিধি বনাম শ্রেণিবদ্ধকরণ মূল্যায়ন

আসুন পরিভাষা ঠিক করি। আমরা বাইনারি ফলাফলের জন্য interested তে আগ্রহী , এবং আমাদের একটি সম্ভাব্য ভবিষ্যদ্বাণী রয়েছে । আমরা জানি যে , তবে আমাদের মডেল তা জানতে পারে বা নাও পারে। $y\in\{0,1\}$ $\widehat{q} = \widehat{P}(Y=1)\in(0,1)$ $P(Y=1)=\eta>0.5$ $\widehat{q}$

একটি স্কোরিং নিয়ম এমন একটি ম্যাপিং যা একটি সম্ভাব্য ভবিষ্যদ্বাণী an এবং ক্ষতি পরিণতি গ্রহণ করে, $\widehat{q}$ $y$

s : (\hat{q}, y) \mapsto s (\hat{q}, y) .

$s\colon (\widehat{q},y) \mapsto s(\widehat{q},y).$

$s$ নয় সঠিক যদি এটি দ্বারা মনে মনে আশা অপ্টিমাইজ করা হয় । ( "অনুকূল" সাধারণত এর অর্থ "মিনিমাইজ", কিন্তু কিছু লেখক উল্টানো আমার নিদর্শনাবলী ও স্কোরিং নিয়ম বাড়ানোর লক্ষ্যে চেষ্টা করুন।) হল কঠোরভাবে সঠিক যদি এটা মনে আশা অপ্টিমাইজ করা হয় শুধুমাত্র দ্বারা । $\widehat{q}=\eta$ $s$ $\widehat{q}=\eta$

আমরা সাধারণত মূল্যায়ন করবে অনেক ভবিষ্যৎবাণী উপর এবং সংশ্লিষ্ট ফলাফল এবং গড় এই প্রত্যাশা অনুমান করার জন্য। $s$ $\widehat{q}_i$ $y_i$

এখন, সঠিকতা কি ? যথার্থতা একটি যুক্তি হিসাবে কোনও সম্ভাব্য ভবিষ্যদ্বাণী গ্রহণ করে না। এটি $\widehat{y}\in\{0,1\}$ এবং একটি ফলাফলের একটি শ্রেণিবদ্ধকরণ takes নেয় :

a : (\hat{y}, y) \mapsto a (\hat{y}, y) = {\begin{cases} 1, & \hat{y} = y \\ 0, & \hat{y} \neq y . \end{cases}

$a\colon (\widehat{y},y)\mapsto a(\widehat{y},y) = \begin{cases} 1, & \widehat{y}=y \\ 0, & \widehat{y} \neq y. \end{cases}$

অতএব, নির্ভুলতা কোনও স্কোরিং নিয়ম নয় । এটি একটি শ্রেণিবিন্যাস মূল্যায়ন। (এটি একটি শব্দ যা আমি সবেমাত্র উদ্ভাবন করেছি; সাহিত্যে এটি সন্ধান করবেন না))

এখন, অবশ্যই আমরা আমাদের মত একটি সম্ভাব্য ভবিষ্যদ্বাণী নিতে পারেন এবং এটি একটি শ্রেণীবিন্যাস পরিণত । তবে এটি করার জন্য আমাদের উপরে অতিরিক্ত অনুমানের প্রয়োজন হবে। উদাহরণস্বরূপ, একটি থ্রেশহোল্ড এবং শ্রেণিবদ্ধকরণ ব্যবহার করা খুব সাধারণ : $\widehat{q}$ $\widehat{y}$ $\theta$

\hat{y} (\hat{q}, θ) := {\begin{cases} 1, & \hat{q} \geq θ \\ 0, & \hat{q} < θ . \end{cases}

$\widehat{y}(\widehat{q},\theta) := \begin{cases} 1, & \widehat{q}\geq \theta \\ 0, & \widehat{q}<\theta. \end{cases}$

একটি খুব সাধারণ প্রান্তিক মান । মনে রাখবেন যে আমরা যদি এই প্রান্তিকতাটি ব্যবহার করি এবং তারপরে অনেকগুলি পূর্বাভাস (উপরে হিসাবে) এবং এর সাথে সম্পর্কিত ফলাফলগুলি সাথে মূল্যায়ন করি, তবে আমরা বুজা এট আল অনুসারে ভুল সংশোধন ক্ষতির কাছে এসে পৌঁছেছি। সুতরাং, ভুল শ্রেণিবদ্ধকরণ ক্ষতি এছাড়াও একটি স্কোরিং নিয়ম নয়, তবে একটি শ্রেণিবিন্যাস মূল্যায়ন। $\theta=0.5$ $\widehat{q}_i$ $y_i$

যদি আমরা উপরের মতো একটি শ্রেণিবিন্যাস অ্যালগরিদম গ্রহণ করি, তবে আমরা একটি শ্রেণিবিন্যাস মূল্যায়নকে স্কোরিং নিয়মে পরিণত করতে পারি। বিষয়টি হ'ল আমাদের শ্রেণিবদ্ধের অতিরিক্ত অনুমানের প্রয়োজন। এবং সেই নির্ভুলতা বা ভুল শ্রেণিবদ্ধকরণ ক্ষতি বা অন্য যে কোনও শ্রেণিবিন্যাসের মূল্যায়ন আমরা বেছে নিই তারপরে সম্ভাব্যতা পূর্বাভাস on এর উপর নির্ভর করে এবং কে আমরা একটি শ্রেণিবদ্ধকরণে পরিণত করি । সুতরাং শ্রেণীবিন্যাস মূল্যায়ন নিখুঁত একটি লাল হেরিং পর পশ্চাদ্ধাবন হতে পারে যদি আমরা সত্যিই মূল্যায়নের আগ্রহী । $\widehat{q}$ $\widehat{q}$ $\widehat{y}=\widehat{y}(\widehat{q},\theta)$ $\widehat{q}$

এখন, এই স্কোরিং-বিধিগুলি-অধীনে-অতিরিক্ত-অনুমানগুলি সম্পর্কে কী অনুচিত? কিছুই নেই, বর্তমান ক্ষেত্রে। , অন্তর্নিহিত অধীনে , যথাসম্ভবকে সর্বাধিকীকরণ করবে এবং সমস্ত সম্ভাব্য উপরে ভুল গতিবিধি ক্ষতি হ্রাস করবে । সুতরাং এই ক্ষেত্রে, আমাদের স্কোরিং-নিয়ম-অতিরিক্ত-অতিরিক্ত অনুমানগুলি যথাযথ। $\widehat{q}=\eta$ $\theta =0.5$ $\widehat{q}\in(0,1)$

দ্রষ্টব্য যে নির্ভুলতা বা ভুল শ্রেণিবদ্ধের $\widehat{y}$ ক্ষতির জন্য যা গুরুত্বপূর্ণ তা কেবল একটি প্রশ্ন: আমরা কি ( ) সবকিছুকে সংখ্যাগরিষ্ঠ শ্রেণি হিসাবে শ্রেণিবদ্ধ করি বা করি না? যদি আমরা এটি করি, নির্ভুলতা বা ভুল শংসাপত্র ক্ষতি খুশি। যদি না হয়, তারা না। কি এই প্রশ্নের সম্পর্কে গুরুত্বপূর্ণ এটা মান একমাত্র একটি খুব স্থায়ী সংযোগ রয়েছে । $\widehat{q}$

ফলস্বরূপ, আমাদের স্কোরিং-বিধিগুলি-অতিরিক্ত-অতিরিক্ত অনুমানগুলি কঠোরভাবে যথাযথ নয়, কারণ কোনও একই শ্রেণিবিন্যাসের মূল্যায়নের দিকে পরিচালিত করবে। আমরা স্ট্যান্ডার্ড ব্যবহার করতে পারি , বিশ্বাস করি যে সংখ্যাগরিষ্ঠ শ্রেণি এবং সমস্ত কিছুকে সংখ্যাগরিষ্ঠ শ্রেণি হিসাবে শ্রেণিবদ্ধকরণ করে কারণ । যথার্থতা উচ্চ, কিন্তু আমরা আমাদের উন্নত করতে কোন উদ্দীপক আছে সঠিক মান । $\widehat{q}\geq\theta$ $\theta=0.5$ $\widehat{q}=0.99$ $\widehat{q}\geq\theta$ $\widehat{q}$ $\eta$

অথবা আমরা ভুল বিভাজন সম্পর্কিত অসামান্য ব্যয়ের একটি বিস্তৃত বিশ্লেষণ করেছি এবং সিদ্ধান্ত নিয়েছি যে সর্বোত্তম শ্রেণিবিন্যাসের সম্ভাবনার প্রান্তটি আসলে হওয়া উচিত । উদাহরণস্বরূপ, যদি অর্থ আপনি কোনও রোগে ভুগছেন তবে এটি ঘটতে পারে । আপনার চিকিত্সা করা আরও ভাল হতে পারে যদি আপনি এই রোগের ( ) এর আশেপাশে অন্য উপায়ের চেয়ে না তবে এটি কম অনুমানিত সম্ভাবনা (ছোট থাকলেও লোকদের চিকিত্সা করা বুদ্ধিমান হতে পারে ) তারা এতে ভোগে। আমাদের তখন ভয়াবহরূপে ভুল মডেল থাকতে পারে যা বিশ্বাস করে যে প্রকৃত সংখ্যাগরিষ্ঠ শ্রেণি কেবলমাত্র দিয়ে ঘটে $\theta =0.2$ $y=1$ $y=0$ $\widehat{q}$ $\widehat{q}=0.25$ - তবে ভুল শ্রেণিবদ্ধকরণের ব্যয়ের কারণে আমরা এখনও সবকিছুকে এটিকে (ধরে নেওয়া) সংখ্যালঘু শ্রেণি হিসাবে শ্রেণিবদ্ধ করি, কারণ আবার । যদি আমরা এটি করি, নির্ভুলতা বা ভুল শ্রেণিবিন্যাস ক্ষতি আমাদের বিশ্বাস করে যে আমরা সবকিছু ঠিকঠাক করছি, এমনকি আমাদের ভবিষ্যদ্বাণীমূলক মডেলটি যদি আমাদের দুটি শ্রেণির মধ্যে কোনটি সংখ্যাগরিষ্ঠ এক, তা নাও পায়। $\widehat{q}\geq\theta$

অতএব, নির্ভুলতা বা ভুল শ্রেণিবদ্ধকরণ ক্ষতি বিভ্রান্তিকর হতে পারে।

উপরন্তু, সঠিকতা এবং misclassification ক্ষতি হয় আরো জটিল পরিস্থিতিতে অতিরিক্ত অনুমানের যেখানে ফলাফল IID নেই অধীনে অনুপযুক্ত। ফ্র্যাঙ্ক হ্যারেল, তার ব্লগ পোস্টে শ্রেণিবদ্ধতার যথাযথতা এবং অন্যান্য অনিচ্ছাকৃত যথাযথ স্কোরিং বিধি দ্বারা ক্ষয়ক্ষতির ফলে তার কোনও একটি বইয়ের উদাহরণ তুলে ধরে যেখানে সঠিকতা বা ভুল শংসাপত্র ক্ষতি হ'ল একটি ভুল বর্ণিত মডেলের দিকে পরিচালিত করবে, যেহেতু তারা সঠিক শর্তাধীন ভবিষ্যদ্বাণীকে অনুকূল নয় সম্ভাবনা.

সঠিকতা এবং misclassification ক্ষতি সঙ্গে আরেকটি সমস্যা হল তারা থ্রেশহোল্ড এর কার্যকারিতা হিসেবে সান্তার হয় । ফ্র্যাঙ্ক হ্যারেলও এর মধ্যে চলে যায়। $\theta$

আরও তথ্যের সন্ধান করা যেতে পারে কেন শ্রেণিবদ্ধকরণের মডেলগুলি মূল্যায়নের জন্য নির্ভুলতা সেরা মাপকাঠি নয় কেন? ।

তলদেশের সরুরেখা

নির্ভুলতা ব্যবহার করবেন না। না ভুল শৃঙ্খলা ক্ষতি।

নীটপিক: "কঠোর" বনাম "কঠোরভাবে"

আমাদের কি "কঠোর" যথাযথ স্কোরিং বিধি সম্পর্কে কথা বলা উচিত, বা "কঠোরভাবে" সঠিক স্কোরিং আইন সম্পর্কে? "কঠোর" "যথাযথ" সংশোধন করে, "স্কোরিং নিয়ম" নয়। (এখানে "সঠিক স্কোরিং নিয়ম" এবং "কঠোরভাবে সঠিক স্কোরিংয়ের নিয়ম আছে" তবে কোনও "কঠোর স্কোরিং বিধি" নেই।) এর মতো, "কঠোরভাবে" একটি বিশেষণ নয়, বিশেষণ হওয়া উচিত এবং "কঠোরভাবে" ব্যবহার করা উচিত। যেমনটি সাহিত্যে প্রচলিত রয়েছে যেমন, তিলমান গ্নাইটিংয়ের কাগজপত্র।

— স্টিফান কোলাসা
সূত্র

আপনার পোস্টের অনেকগুলি দিক রয়েছে যা আমি অনুসরণ করি না (বা আমি জিজ্ঞাসা করা প্রশ্নের সাথে প্রাসঙ্গিক নয়) তবে আসুন শুরু করা যাক "আপনি যে কাগজটি উল্লেখ করেছেন তার অনুসারে ভুল বিবরণ ক্ষতি কোনও স্কোরিং নিয়ম নয়"। সূত্রটি কাগজে খুব স্পষ্টভাবে দেওয়া হয়েছে: এল 1 (1-কিউ) = 1 [কি <= 0.5] (খারাপ বিন্যাস ক্ষমা করে দেওয়া)। এটি, সমস্ত ব্যবহারিক উদ্দেশ্যে, একটি পদক্ষেপ ফাংশন যা কোনও সম্ভাব্য ভবিষ্যদ্বাণী এবং তার সম্পর্কিত ফলাফলকে 0 বা 1 এর ক্ষতির জন্য সরাসরি মানচিত্র করে Furthermore এছাড়াও, 0.5 কেবল একটি পরামিতি যা পদক্ষেপটি ঘটে সেখানে নিয়ন্ত্রণ করে; আমি "অনুমান" জড়িত দেখতে ব্যর্থ। এটি কীভাবে স্কোরিংয়ের নিয়ম নয়?

— জাইজ্জভা

0.5 চৌকাঠ হয় ধৃষ্টতা। প্রব্যাবিলিস্টিক প্রেডিকশন থ্রোসোল্ড ব্যবহার করে একটি শ্রেণিবিন্যাসে ম্যাপ করা হয় এবং ভুল শ্রেণিবদ্ধকরণ হ্রাস তখন এই শ্রেণিবিন্যাসের কেবলমাত্র একটি ফাংশন। আপনি অন্য কোনও শ্রেণিবিন্যাসের জন্যও ভুলভাবে শ্রেণিবিন্যাসের ক্ষতি সমানভাবে গণনা করতে পারেন, উদাহরণস্বরূপ, যেটি একটি ডাই রোল করে এবং ক্লাস A তে একটি উদাহরণ দেয় যদি আমরা 1 বা 2 রোল করি তবে আমি কী জটিল এবং প্রায়শই ভুল বোঝাবুঝি বিষয় তা ব্যাখ্যা করার জন্য যথাসাধ্য চেষ্টা করেছি (এবং আমি মনে করি যে আমি যা লিখি তা প্রাসঙ্গিক); আমি সফল না হলে আমি দুঃখিত। আমি বাকী যে কোনও বিষয় নিয়ে আলোচনা করে খুশি হব।

q

$q$

— স্টিফান কোলাসা

প্রাসঙ্গিকতার মতামত হিসাবে, যদি এটি ভুল উপায়ে আসে তবে আমি ক্ষমাপ্রার্থী। আমি যথাযথ বনাম অনুপযুক্ত, বিচ্ছিন্ন / বিভ্রান্তিকর / ইত্যাদির বিষয়ে বিশেষ করে প্রশ্নের ক্ষেত্রকে কেন্দ্রীভূত করার চেষ্টা করেছি। আপনার দেওয়া লিঙ্কগুলির সাথে আমি ভালভাবে পরিচিত এবং ভুল মন্তব্য সম্পর্কিত ব্যয় বা নীচের লাইনে আপনার মন্তব্য নিয়ে কোনও সমস্যা নেই। আমি কেবল "সঠিকতাটি অনুচিত" এই বিবৃতিটির আরও কঠোর ব্যাখ্যা চাইছি, বিশেষত এই বাইনারি ফলাফলগুলির সাধারণ ব্যবহারের ক্ষেত্রে এই কাগজটি অন্যথায় প্রস্তাব দিয়েছে given আমার সাথে এটি আলোচনা করতে এবং আপনার বিস্তারিত চিন্তাভাবনাগুলি ভাগ করে নেওয়ার জন্য আমি আপনাকে সময় দেওয়ার জন্য আমি প্রশংসা করি।

— জাইজ্জভা

আরও প্রতিবিম্বিত হওয়ার পরে, আমি মনে করি আপনি যে পয়েন্টটি করছেন সে সম্পর্কে আমার আরও স্পষ্ট উপলব্ধি আছে। আমরা যদি 0.6 পদক্ষেপের সাথে একই পদক্ষেপের ফাংশনটি বিবেচনা করি (0.6 এর একদিকের শ্রেণিবিন্যাসের সাথে সঙ্গতিপূর্ণ), তবে স্কোরিং নিয়মটি অনুচিত, কারণ প্রত্যাশিত ক্ষতি আর পরিসরে n এর জন্য পূর্বাভাস q = n দ্বারা হ্রাস করা যাবে না [ 0.5, 0.6]। আরও সাধারণভাবে, এটি 0.5 টি ব্যতীত প্রতিটি প্রান্তরে অনুপযুক্ত হবে এবং প্রায়শই অনুশীলনে আমরা ভুল দণ্ডের অসম্পূর্ণ ব্যয়ের কারণে অন্যান্য থ্রেশহোল্ডগুলি ব্যবহার করতে চাই, যেমন আপনি উল্লেখ করেছেন।

— জাইজ্জভা

আমি সম্মতি জানাই যে যথার্থতা স্পষ্টতই সম্ভাবনাগুলি মূল্যায়নের জন্য একটি খারাপ মেট্রিক, এমনকি যখন 0.5 এর প্রান্তিক সমর্থনযোগ্য হয়। আমার তৈরি মূল পোস্টের শেষে আমি যতটা বলেছিলাম, তবে এটি যে নির্দিষ্ট সমস্যাগুলির সাথে আমার সমস্যা ছিল তা পরিষ্কার করতে সহায়তা করেছে - যথা, আমার ভুল বোঝাবুঝির সাথে মিলিত হওয়া যে বাইনারি ফলাফলের জন্য যথার্থতা সঠিক তা দেখানো (যখন এটি কেবল বাস্তবে বাস্তব ০.০ প্রান্তিকের খুব নির্দিষ্ট ক্ষেত্রে প্রযোজ্য) আপাতদৃষ্টিতে কালো-সাদা বর্ণনার সাথে "যথাযথতাটি অনুপযুক্ত" যা আমি অনেক কিছু দেখছি। আপনার সাহায্য ও ধৈর্যের জন্য ধন্যবাদ।

— জাইজ্জভা

বাইনারি শ্রেণিবদ্ধকরণ সেটিংয়ে নির্ভুলতা কি একটি ভুল স্কোরিং নিয়ম?

টি এল; ডিআর

সামান্য দীর্ঘ সংস্করণ

আপনার বিভ্রান্তি

বিশদ: স্কোরিং বিধি বনাম শ্রেণিবদ্ধকরণ মূল্যায়ন

তলদেশের সরুরেখা

নীটপিক: "কঠোর" বনাম "কঠোরভাবে"