কোহেনের কপ্পা সরল ইংরেজিতে

Question

আমি একটি ডেটা মাইনিং বই পড়ছি এবং এটি ক্লাসিফায়ারদের পূর্বাভাসের পারফরম্যান্সকে মূল্যায়নের উপায় হিসাবে কাপা পরিসংখ্যানের উল্লেখ করেছে। যাইহোক, আমি কেবল এটি বুঝতে পারি না। আমি উইকিপিডিয়াও পরীক্ষা করেছিলাম তবে এটি খুব একটা কাজে দেয় নি: https://en.wikedia.org/wiki/Cohen's_kappa ।

শ্রেণিবদ্ধদের পূর্বাভাস কর্মক্ষমতা মূল্যায়নে কোহেনের কপা কীভাবে সহায়তা করে? এটা কি বলে?

আমি বুঝতে পেরেছি যে ১০০% কাপা মানে ক্লাসিফায়ারটি একটি এলোমেলো শ্রেণিবদ্ধের সাথে সম্পূর্ণ চুক্তিতে আছে তবে আমি বুঝতে পারি না যে এটি শ্রেণিবদ্ধের পারফরম্যান্স মূল্যায়নে কীভাবে সহায়তা করে?

40% কাপা মানে কি? এর অর্থ কি 40% সময়, শ্রেণিবদ্ধার এলোমেলো শ্রেণিবদ্ধের সাথে একমত হয়? যদি তা হয়, তবে তা শ্রেণিবদ্ধের মূল্যায়নে আমাকে কী বলবে বা সহায়তা করবে?

Answer 1

ভূমিকা

কাপ্পা পরিসংখ্যাত (অথবা মান) একটি মেট্রিক যে তুলনা হয় পর্যবেক্ষিত যথার্থতা একটি সঙ্গে এক্সপেকটেড যথার্থতা (র্যান্ডম সুযোগ)। কাপা পরিসংখ্যান শুধুমাত্র একটি একক শ্রেণিবদ্ধকারীকে মূল্যায়ন করতে নয়, তবে নিজেদের মধ্যে শ্রেণিবদ্ধদের মূল্যায়ন করতে ব্যবহৃত হয়। উপরন্তু, এটা র্যান্ডম সুযোগ (একটি র্যান্ডম ক্লাসিফায়ার সঙ্গে চুক্তি), যা সাধারণত এটি সহজভাবে (ক মেট্রিক যেমন সঠিকতা ব্যবহার করে একটি কম বিভ্রান্তিকর অর্থ একাউন্টে লাগে পর্যবেক্ষিত যথার্থতা 80% অনেক কম একটি সঙ্গে চিত্তাকর্ষক এক্সপেকটেড যথার্থতা 75% 50% এর প্রত্যাশিত নির্ভুলতা বনাম )। পর্যবেক্ষিত নির্ভুলতা এবং প্রত্যাশিত নির্ভুলতার গণনাকাপা পরিসংখ্যান বোঝার জন্য অবিচ্ছেদ্য এবং একটি বিভ্রান্তির ম্যাট্রিক্স ব্যবহারের মাধ্যমে খুব সহজেই চিত্রিত করা হয়েছে। বিড়াল এবং কুকুরের একটি সাধারণ বাইনারি শ্রেণিবদ্ধকরণ থেকে একটি সাধারণ বিভ্রান্তির ম্যাট্রিক্স দিয়ে শুরু করুন :

গুনতি

     Cats Dogs
Cats| 10 | 7  |
Dogs| 5  | 8  |

ধরুন যে লেবেলযুক্ত ডেটাতে তদারকি করা মেশিন লার্নিং ব্যবহার করে একটি মডেল তৈরি করা হয়েছিল। এটি সর্বদা ক্ষেত্রে হতে হবে না; কাপা পরিসংখ্যান প্রায়শই দুটি মানব রেটারের মধ্যে নির্ভরযোগ্যতার পরিমাপ হিসাবে ব্যবহৃত হয়। নির্বিশেষে, কলামগুলি একটি "রাটার" এর সাথে মিলছে যখন সারিগুলি অন্য "রাটার" এর সাথে মিলবে। তদারকি করা মেশিন লার্নিংয়ে একটি "রেটার" স্থল সত্যকে প্রতিবিম্বিত করে (শ্রেণিবদ্ধ করার জন্য প্রতিটি উদাহরণের প্রকৃত মান), লেবেলযুক্ত ডেটা থেকে প্রাপ্ত এবং অন্য "রেটার" শ্রেণিবিন্যাস সম্পাদন করতে ব্যবহৃত মেশিন লার্নিং শ্রেণিবদ্ধকারী। চূড়ান্তভাবে এটি কোন বিষয় নয় যা কোনটি কাপা পরিসংখ্যান গণনা করতে হবে, তবে স্পষ্টতার জন্য ' শ্রেণীবিভাগেরও।

বিভ্রান্তির ম্যাট্রিক্স থেকে আমরা দেখতে পাই মোট 30 টি দৃষ্টান্ত রয়েছে (10 + 7 + 5 + 8 = 30)। প্রথম কলাম অনুসারে 15 কে বিড়াল (10 + 5 = 15) হিসাবে লেবেল করা হয়েছিল এবং দ্বিতীয় কলাম অনুসারে 15 কুকুর (7 + 8 = 15) হিসাবে লেবেল করা হয়েছিল । আমরা আরও দেখতে পাচ্ছি যে মডেলটি 17 টি উদাহরণকে বিড়াল হিসাবে শ্রেণীবদ্ধ করেছে (10 + 7 = 17) এবং 13 টি উদাহরণ কুকুর হিসাবে (5 + 8 = 13)।

পর্যবেক্ষিত যথার্থতা কেবল দৃষ্টান্ত যে সমগ্র বিভ্রান্তির ম্যাট্রিক্স সর্বত্র সঠিকভাবে শ্রেণীবদ্ধ করা হয় সংখ্যা, দৃষ্টান্ত যে হিসাবে লেবেল করা হয়েছে সংখ্যা অর্থাৎ বিড়াল মাধ্যমে স্থল সত্য এবং তারপর শ্রেণীবদ্ধ যেমন বিড়াল দ্বারা মেশিন লার্নিং ক্লাসিফায়ার , অথবা লেবেল হিসাবে কুকুর মাধ্যমে স্থল সত্য এবং তারপরে মেশিন লার্নিং শ্রেণিবদ্ধ দ্বারা কুকুর হিসাবে শ্রেণিবদ্ধ করা । পর্যবেক্ষিত যথার্থতা গণনা করতে , আমরা কেবল মেশিন লার্নিং শ্রেণিবদ্ধকারী স্থল সত্যের সাথে একমত হয়ে সংখ্যার উদাহরণ সংযোজন করিলেবেল এবং উদাহরণগুলির মোট সংখ্যা দ্বারা বিভক্ত। এই বিভ্রান্তির ম্যাট্রিক্সের জন্য এটি 0.6 ((10 + 8) / 30 = 0.6) হবে।

কাপা স্ট্যাটিস্টিক্সের সমীকরণে পৌঁছানোর আগে আমাদের আরও একটি মান প্রয়োজন: প্রত্যাশিত নির্ভুলতা । এই মানটি নির্ভুলতা হিসাবে সংজ্ঞায়িত করা হয় যে কোনও র্যান্ডম শ্রেণিবদ্ধকারী বিভ্রান্তির ম্যাট্রিক্সের উপর ভিত্তি করে অর্জন করবে বলে আশা করা হচ্ছে। এক্সপেকটেড যথার্থতা সরাসরি প্রতিটি শ্রেণী (দৃষ্টান্ত সংখ্যা সঙ্গে সম্পর্কযুক্ত বিড়াল এবং কুকুর ), দৃষ্টান্ত সংখ্যা সহ মেশিন লার্নিং ক্লাসিফায়ার সঙ্গে একমত স্থল সত্য লেবেল। নিরূপণ করার জন্য এক্সপেকটেড যথার্থতা আমাদের বিভ্রান্তির ম্যাট্রিক্স জন্য, প্রথম গুন প্রান্তিক ফ্রিকোয়েন্সি এর বিড়াল দ্বারা একটি "রেট প্রদানকারী" জন্য প্রান্তিক ফ্রিকোয়েন্সি এরদ্বিতীয় "রেটার" এর জন্য বিড়াল , এবং দৃষ্টান্তগুলির মোট সংখ্যার দ্বারা ভাগ করা। প্রান্তিক ফ্রিকোয়েন্সি একটি নির্দিষ্ট "রেট প্রদানকারী" দ্বারা একটি নির্দিষ্ট বর্গ জন্য শুধু সমস্ত উদাহরণ "রেট প্রদানকারী" উল্লেখ করেছিলেন যে বর্গ ছিল এর সমষ্টি। আমাদের ক্ষেত্রে, 15 (10 + + 5 = 15) দৃষ্টান্ত হিসাবে লেবেল করা হয়েছে বিড়াল অনুযায়ী স্থল সত্য , এবং 17 (10 + + 7 = 17) দৃষ্টান্ত হিসাবে শ্রেণীবদ্ধ করা হয় বিড়াল দ্বারা মেশিন লার্নিং ক্লাসিফায়ার । এটির ফলাফল 8.5 (15 * 17/30 = 8.5) এর মান । এরপরে এটি দ্বিতীয় শ্রেণির জন্যও করা হয় (এবং 2 টির বেশি হলে প্রতিটি অতিরিক্ত শ্রেণির জন্য পুনরাবৃত্তি করা যেতে পারে)। 15(7 + 8 = 15) উদাহরণগুলিতে কুকুর হিসাবে লেবেল ছিলস্থল সত্য অনুসারে , এবং 13 (8 + 5 = 13) উদাহরণগুলি মেশিন লার্নিং শ্রেণিবদ্ধ দ্বারা কুকুর হিসাবে শ্রেণিবদ্ধ করা হয়েছিল । এটির ফলাফল 6.5 (15 * 13/30 = 6.5) এর মান । চূড়ান্ত পদক্ষেপ এই সব মান একসঙ্গে যোগ করার জন্য, এবং পরিশেষে, দৃষ্টান্ত মোট সংখ্যা দ্বারা আবার বিভক্ত একটি ফলে নেই এক্সপেকটেড যথার্থতা এর 0.5 ((8.5 + + 6.5) / 30 = 0.5)। আমাদের উদাহরণে, প্রত্যাশিত যথার্থতা নিষ্কাশিত 50% হতে, হিসাবে সবসময় ক্ষেত্রে হতে হবে যখন হয় "রেট প্রদানকারী" একই ফ্রিকোয়েন্সি সঙ্গে প্রতিটি বর্গ একটি বাইনারি ক্লাসিফিকেশন শ্রেণী (উভয় বিড়ালএবং কুকুরগুলিতে আমাদের কনফিউশন ম্যাট্রিক্সের গ্রাউন্ড ট্রুথ লেবেল অনুসারে 15 টি দৃষ্টান্ত রয়েছে )।

কাপ্তার পরিসংখ্যানগুলি তখন পর্যবেক্ষণ যথাযথতা ( 0.60 ) এবং প্রত্যাশিত নির্ভুলতা ( 0.50 ) এবং সূত্র দুটি ব্যবহার করে গণনা করা যেতে পারে :

Kappa = (observed accuracy - expected accuracy)/(1 - expected accuracy)

সুতরাং, আমাদের ক্ষেত্রে, কাপা পরিসংখ্যান সমান: (0.60 - 0.50) / (1 - 0.50) = 0.20।

অন্য উদাহরণ হিসাবে, এখানে একটি কম ভারসাম্য বিভ্রান্তির ম্যাট্রিক্স এবং সম্পর্কিত গণনা:

     Cats Dogs
Cats| 22 | 9  |
Dogs| 7  | 13 |

স্থল সত্য: বিড়াল (29), কুকুর (22)
মেশিন লার্নিং ক্লাসিফায়ার: বিড়াল (31), কুকুর (20)
মোট: (51)
পর্যবেক্ষণ যথাযথতা: ((22 + 13) / 51) = 0.69
প্রত্যাশিত নির্ভুলতা: ((29) * 31/51) + (22 * 20/51)) / 51 = 0.51
কাপা: (0.69 - 0.51) / (1 - 0.51) = 0.37

সংক্ষেপে, ক্যাপ স্ট্যাটিস্টিক এমন একটি পরিমাপ যা মেশিন লার্নিং ক্লাসিফায়ার দ্বারা শ্রেণিবদ্ধ করা দৃষ্টান্তগুলি প্রত্যাশিত নির্ভুলতার দ্বারা পরিমাপিত একটি এলোমেলো শ্রেণিবদ্ধের যথার্থতার জন্য নিয়ন্ত্রণ করে গ্রাউন্ড সত্য হিসাবে লেবেলযুক্ত ডেটার সাথে কতটা ঘনিষ্ঠভাবে মিলিত হয়েছিল । এই কাপা পরিসংখ্যানগুলি কেবল শ্রেণিবদ্ধ নিজেই কীভাবে সম্পাদন করেছিল সে সম্পর্কে আলোকপাত করতে পারে না, একই মডেলটির জন্য কাপা পরিসংখ্যানগুলি একই শ্রেণিবিন্যাস কার্যের জন্য ব্যবহৃত অন্য কোনও মডেলের জন্য কপা পরিসংখ্যানের সাথে সরাসরি তুলনাযোগ্য।

ব্যাখ্যা

কাপা পরিসংখ্যানের কোনও মানক ব্যাখ্যা নেই। উইকিপিডিয়া অনুসারে (তাদের কাগজ উদ্ধৃত করে), ল্যান্ডিস এবং কোচ 0-0.20 কে সামান্য হিসাবে, 0.21-0.40 ন্যায্য হিসাবে, 0.41-0.60কে মাঝারি হিসাবে, 0.61-0.80কে যথেষ্ট হিসাবে এবং 0.81-1 প্রায় নিখুঁত হিসাবে বিবেচনা করে। ফ্লাইস কাপ্পাস> ০.75৫ কে দুর্দান্ত, 0.40-0.75 কে ভাল হিসাবে ভাল এবং <0.40 দরিদ্র হিসাবে বিবেচনা করে। এটি লক্ষ্য করা গুরুত্বপূর্ণ যে উভয় স্কেলগুলি কিছুটা স্বেচ্ছাচারী। কাপা পরিসংখ্যান ব্যাখ্যার সময় কমপক্ষে আরও দুটি বিবেচনার বিষয়টি বিবেচনায় নেওয়া উচিত। প্রথমত, সর্বাধিক নির্ভুল ব্যাখ্যাটি পাওয়া সম্ভব হলে কাপা পরিসংখ্যানকে সর্বদা সাথে থাকা বিভ্রান্তির ম্যাট্রিক্সের সাথে তুলনা করা উচিত। নিম্নলিখিত বিভ্রান্তির ম্যাট্রিক্স বিবেচনা করুন:

     Cats Dogs
Cats| 60 | 125 |
Dogs| 5  | 5000|

কাপা পরিসংখ্যান 0.47, ল্যান্ডিস এবং কোচ অনুসারে মাঝারি জন্য প্রান্তিকের উপরে এবং ফ্লাইসের পক্ষে ফর্সা ভাল। তবে বিড়ালদের শ্রেণিবদ্ধ করার জন্য হিট রেটটি লক্ষ্য করুন । সমস্ত বিড়ালের এক তৃতীয়াংশেরও কম প্রকৃতপক্ষে বিড়াল হিসাবে শ্রেণিবদ্ধ ছিল ; বাকী সবাই কুকুর হিসাবে শ্রেণিবদ্ধ হয়েছিল । যদি আমরা বিড়ালদের সঠিকভাবে শ্রেণিবদ্ধকরণ সম্পর্কে আরও যত্নশীল (বলুন, আমরা ক্যাটসের প্রতি অ্যালার্জিযুক্ত তবে কুকুরের কাছে নয় , এবং আমরা যে সমস্ত প্রাণীর যত্ন নিয়েছি সেগুলি আমাদের যত প্রাণীর সংখ্যায় গ্রহণ করা যায় সর্বাধিক করার বিপরীতে নয়), তারপরে একটি নিম্ন শ্রেণীর কাপা তবে শ্রেণিবদ্ধ বিড়ালগুলির চেয়ে আরও ভাল হার আরও আদর্শ হতে পারে।

দ্বিতীয়ত, গ্রহণযোগ্য কাপা পরিসংখ্যানের মান প্রসঙ্গে ভিন্ন vary উদাহরণস্বরূপ, সহজেই পর্যবেক্ষণযোগ্য আচরণগুলির সাথে অনেক আন্ত-রাটার নির্ভরযোগ্যতা অধ্যয়নগুলিতে, 0.70 এর নীচে কাপা স্ট্যাটিস্টিক মানগুলি কম বলে বিবেচিত হতে পারে। যাইহোক, মেশিন লার্নিং ব্যবহার করে অজ্ঞাতনামা ঘটনা যেমন দিবস স্বপ্ন দেখার মতো জ্ঞানীয় রাজ্যের অন্বেষণ করতে ব্যবহার করেছেন, কেপ্পা পরিসংখ্যানের মানগুলি 0.40 এর উপরে।

সুতরাং, 0.40 কাপ্পা সম্পর্কে আপনার প্রশ্নের উত্তরে এটি নির্ভর করে। যদি অন্য কিছু না হয় তবে এর অর্থ হ'ল শ্রেণিবদ্ধকারী প্রত্যাশিত যথার্থতা এবং 100% যথার্থতার মধ্যবর্তী স্তরের শ্রেণিবিন্যাসের 2/5 হার অর্জন করেছিল। যদি প্রত্যাশিত নির্ভুলতা 80% ছিল, তার অর্থ শ্রেণীবদ্ধকারী 20% এর 40% (কারণ কাপা 0.4) করেছেন (কারণ এটি 80% এবং 100% এর মধ্যে দূরত্ব) 80% এর উপরে (কারণ এটি 0 এর একটি কাপা, বা এলোমেলো সুযোগ) বা 88%। সুতরাং, সেই ক্ষেত্রে, 0.10 এর কাপা প্রতিটি বৃদ্ধি শ্রেণিবদ্ধকরণের নির্ভুলতায় 2% বৃদ্ধি নির্দেশ করে। নির্ভুলতার পরিবর্তে যদি 50% হয়, তবে 0.4 এর একটি কাপ্পার অর্থ হল শ্রেণিবদ্ধকারী 50% (50% থেকে 100% এর মধ্যে দূরত্ব) 50% (40% এর মধ্যে দূরত্ব) এর 40% (0.4 এর কপা) এর যথার্থতার সাথে সম্পাদন করেছিলেন (কারণ এটি একটি 0 এর কাপা, বা এলোমেলো সুযোগ), বা 70%। আবার, এক্ষেত্রে তার মানে হ'ল কাপা বাড়ছে।

প্রত্যাশিত নির্ভুলতার ক্ষেত্রে এই স্কেলিংয়ের কারণে বিভিন্ন শ্রেণীর বিতরণের ডেটা সেটগুলিতে নির্মিত এবং মূল্যায়ন করা শ্রেণিবদ্ধদের কাপা পরিসংখ্যানের মাধ্যমে আরও নির্ভরযোগ্যভাবে তুলনা করা যেতে পারে (কেবল নিখুঁতভাবে ব্যবহারের বিরোধিতা হিসাবে)। এটি ক্লাসিফায়ার কীভাবে সমস্ত দৃষ্টান্তে পারফর্ম করে তার একটি আরও ভাল সূচক দেয় কারণ শ্রেণি বিতরণ একইভাবে স্কিউড করা থাকলে একটি সাধারণ নির্ভুলতা স্কিউ করা যায়। পূর্বে উল্লিখিত হিসাবে, 80% এর নির্ভুলতা প্রত্যাশিত নির্ভুলতা বনাম 75% এর প্রত্যাশিত নির্ভুলতার সাথে অনেক বেশি চিত্তাকর্ষক। উপরে বর্ণিত হিসাবে প্রত্যাশিত নির্ভুলতা স্কিউড বর্গ বিতরণগুলির পক্ষে সংবেদনশীল, সুতরাং কাপা পরিসংখ্যানের মাধ্যমে প্রত্যাশিত নির্ভুলতার জন্য নিয়ন্ত্রণ করে আমরা বিভিন্ন শ্রেণির বিতরণের মডেলগুলিকে আরও সহজে তুলনা করার অনুমতি দিই।

আমার যা কিছু আছে তা। যদি কেউ বাদ পড়ে থাকা কিছু, কোনও ভুল, বা কিছু এখনও অস্পষ্ট লক্ষ্য করে তবে দয়া করে আমাকে জানিয়ে দিন যাতে আমি উত্তরটি উন্নত করতে পারি।

উল্লেখগুলি আমি সহায়ক বলে মনে করেছি:

কাপ্পার একটি সংক্ষিপ্ত বিবরণ অন্তর্ভুক্ত: http://standardwisdom.com/softwarej Journal/2011/12/confusion-matrix-another-single-value-metric-kappa-statistic/

প্রত্যাশিত নির্ভুলতার গণনা করার বিবরণ অন্তর্ভুক্ত: http://epivle.ccnmtl.columbia.edu/popup/how_to_calculate_kappa.html

Comments

কেন কোনও ঘরের প্রত্যাশিত ফ্রিকোয়েন্সি রোউসাম * কোলসাম / এন এর সমান, সে সম্পর্কে কিছুটা পটভূমি যুক্ত করা কারণ এটি হ্রাস করা সংস্করণ এবং কেন সমীকরণটি ধরেছে তা প্রাথমিকভাবে স্পষ্ট নয়। এই চি-স্কোয়ার পরীক্ষার মধ্যে পাশাপাশি ব্যবহার করা হয় en.wikipedia.org/wiki/...

— Zhubarb

এটি একটি দুর্দান্ত উত্তর তবে আমি ভাবছি যে খুব প্রভাবশালী শ্রেণীর কীভাবে কাপা ব্যাখ্যাকে প্রভাবিত করতে পারে সে সম্পর্কে আপনি যদি আরও হালকা (বা লিঙ্কগুলি!) ছড়িয়ে দিতে পারেন। উদাহরণস্বরূপ, আমার কাছে 7 টি ল্যান্ড কভার ক্লাসের একটি কনফার্ট ম্যাট্রিক্স রয়েছে এবং এর মধ্যে একটি প্রভাবশালী (সমস্ত ডেটার ~ 70%)। আমার ধারণা এই 'জল দিয়ে' সামগ্রিক ত্রুটি?

— স্যাম

কেবল একটি এলোমেলো মন্তব্য: আপনার বিবরণ উইকিপিডিয়া পৃষ্ঠার চেয়ে অনেক পরিষ্কার :) :)

— আর.ফালক

প্রত্যাশিত নির্ভুলতার জন্য, মনে রাখবেন যে নীচের হিসাবে এটি ভাবতে সহজ হতে পারে: (15/30) "স্থল সত্য" কোনও বিড়ালকে শ্রেণিবদ্ধ করে এমন সময়ের প্রত্যাশিত অনুপাত এবং (15/30) সময়ের প্রত্যাশিত অনুপাত "স্থল সত্য" কোনও কুকুরকে শ্রেণিবদ্ধ করে। তেমনি, এমএল শ্রেণিবদ্ধের জন্য (17/30) প্রত্যাশিত অনুপাত বিড়াল, (13/30) প্রত্যাশিত অনুপাত কুকুর। অনুমানবিহীন শ্রেণিবদ্ধকারীদের ধরে নিন, তারপরে আমাদের শতকরা সময়ের শ্রেণিবদ্ধ রয়েছে (15/30) * (17/30) + (15/30) * (13/30) = .5 (হয় তারা সম্মত এবং কুকুর হিসাবে শ্রেণিবদ্ধ বা বিড়াল হিসাবে)। অতএব, সময় চুক্তি .5 সুযোগ দ্বারা হয়।

— ক্লাউনইনমুন

ঠিক আছে, এ্যানোটেটরগুলির তুলনা হ'ল আসল উদ্দেশ্য, অবশ্যই। যাইহোক, বৈজ্ঞানিক ইতিহাস এমন ক্ষেত্রে ছড়িয়ে আছে যেখানে কোনও ফর্মুলা বা অন্য একটি তার স্প্যানিং পুল থেকে অন্য কোথাও চলে গেছে এবং বিশ্বকে আরও ভাল জায়গা করে তুলেছে। বলা হচ্ছে, আপনার কেসের উপর নির্ভর করে সম্ভবত আরও ভাল মেট্রিক ব্যবহার করতে হবে। চূড়ান্ত সিদ্ধান্ত নেওয়ার আগে আপনার প্রার্থী মেট্রিকগুলির শক্তি এবং দুর্বলতাগুলি বোঝা উচিত। উদাহরণস্বরূপ, AUPRC কিছু ক্ষেত্রে আরও ভাল পদ্ধতি হতে পারে।

— আরবিএক্স

Answer 2

rbx একটি দুর্দান্ত উত্তর আছে। তবে এটি কিছুটা ভার্বোস। এখানে কাপা মেট্রিকের পিছনে আমার সংক্ষিপ্তসার এবং অন্তর্নিহিত is

---

শ্রেণীবদ্ধের পারফরম্যান্সে বিশেষত ভারসাম্যহীন ডেটা সেট সম্পর্কিত কাপা একটি গুরুত্বপূর্ণ পরিমাপ ।

উদাহরণস্বরূপ, ক্রেডিট কার্ড জালিয়াতি সনাক্তকরণে, প্রতিক্রিয়া ভেরিয়েবলের প্রান্তিক বিতরণ উচ্চতর স্কিউড, যে পরিমাপ হিসাবে নির্ভুলতা ব্যবহার করা কার্যকর হবে না। অন্য কথায়, প্রদত্ত জালিয়াতি সনাক্তকরণ উদাহরণের জন্য, লেনদেনের 99.9% অ-জালিয়াতি লেনদেন হবে। আমাদের কাছে একটি তুচ্ছ শ্রেণিবদ্ধ থাকতে পারে যা সর্বদা প্রতিটি লেনদেনের জন্য অ-জালিয়াতি বলে এবং আমাদের এখনও যথাযথতার 99.9% থাকবে।

অন্যদিকে, কপ্পা প্রতিক্রিয়ার ভেরিয়েবলের প্রান্তিক বিতরণ বিবেচনা করে এই সমস্যাটি "সমাধান" করবে । কাপা ব্যবহার করে, পূর্বোক্ত তুচ্ছ শ্রেণিবদ্ধের খুব ছোট কাপা থাকবে।

সরল ইংরেজিতে, লক্ষ্য বন্টনের সাথে অনুমান করার তুলনায় শ্রেণিবদ্ধ কতটা উন্নত তা এটি পরিমাপ করে।

Comments

আমার শেষ অনুচ্ছেদে পড়ার অনুভূতি রয়েছে "সরল ইংরেজিতে, লক্ষ্যমাত্রার বন্টনের সাথে অনুমান করার সাথে শ্রেণিবদ্ধের তুলনা কতটা ভাল তা করা যায়।"

— সিলভারফিশ

Answer 3

$^1$ এবং প্রতিটি কোড হওয়ার সম্ভাবনাও রয়েছে।

"উদাহরণস্বরূপ, 85% সঠিক হ'ল সম্যকযোগ্য কোড এবং পর্যবেক্ষক প্রদত্ত:

value of kappa   number of codes
0.49             2
0.60             3 
0.66             5 
0.69             10"

এখন, যদি আমাদের কাছে বৈষম্যযোগ্য কোড না থাকে তবে আলাদা আলাদা "বেস রেট" থাকে?

দুটি কোডের জন্য ব্রাঙ্কনার এট আল থেকে কাপা প্লট । দেখতে হবে

... তবুও (... অবিরত উইকিপিডিয়া উক্তি) , সাহিত্যে বিশালতার নির্দেশিকা প্রকাশিত হয়েছে। সম্ভবত প্রথমটি ছিল ল্যান্ডিস এবং কোচ, যারা মূল্যবোধগুলির বৈশিষ্ট্যযুক্ত

 <0 as indicating no agreement
 0.00–0.20 as slight, 
 0.21–0.40 as fair, 
 0.41–0.60 as moderate, 
 0.61–0.80 as substantial, and 
 0.81–1 as almost perfect agreement. 

গাইডলাইনগুলির এই সেটটি কোনও উপায়ে সর্বজনস্বীকৃত নয়; ল্যান্ডিস এবং কোচ এটিকে সমর্থন করার জন্য কোনও প্রমাণ সরবরাহ করেনি, পরিবর্তে ব্যক্তিগত মতামতকে ভিত্তি করে। এটি লক্ষ্য করা গেছে যে এই নির্দেশিকাগুলি সহায়তার চেয়ে বেশি ক্ষতিকারক হতে পারে। ফ্লাইসের সমানভাবে স্বেচ্ছাচারিত নির্দেশিকা কাপ্পাসের বৈশিষ্ট্যযুক্ত

>0.75 as excellent, 
 0.40 to 0.75 as fair to good, and 
<0.40 as poor."

(উইকিপিডিয়া উদ্ধৃতি শেষ)

$^1$$^2$

অনুরূপ প্রশ্নের জন্য বাইনারি শ্রেণিবদ্ধকারী মূল্যায়নের জন্য কোহেনের কাপা পরিসংখ্যান ব্যবহার করে দেখুন ।

1 বেকম্যান, আর; কুইরা, ভি .; ম্যাকআর্থার, ডি ;; রবিনসন, বিএফ (1997)। "অনুক্রমিক নিদর্শনগুলি সনাক্ত করা এবং ফলস্বরূপ পর্যবেক্ষকদের সাথে তাদের নির্ভরযোগ্যতা নির্ধারণ করা"। মনস্তাত্ত্বিক পদ্ধতি। 2: 357–370। ডোই: 10,1037 / 1082-989X.2.4.357

২ রবিনসন বিএফ, বেকম্যান আর কমকাপ্পা: উইন্ডোজ '৯৫ প্রোগ্রাম যা কাপা এবং সম্পর্কিত পরিসংখ্যান গণনা করার জন্য। আচরণ গবেষণা পদ্ধতি। 1998; 30: 731-2।

Answer 4

আপনার প্রশ্নের উত্তর দিতে (সরল ইংরাজীতে :-)):

শ্রেণিবদ্ধদের ভবিষ্যদ্বাণীমূলক পারফরম্যান্স মূল্যায়নে কাপা কীভাবে সহায়তা করে? কী বলে? !!

আপনারা কাপ্পাকে 2 ব্যক্তির মধ্যে চুক্তির একটি পরিমাপ হিসাবে বিবেচনা করুন যাতে ফলাফলটি ব্যাখ্যা করা যায়:

Poor agreement = 0.20 or less
Fair agreement = 0.20 to 0.40
Moderate agreement = 0.40 to 0.60
Good agreement = 0.60 to 0.80
Very good agreement = 0.80 to 1.00

Comments

এই স্কেলটি অন্ধভাবে প্রয়োগ করবেন না, আরবিএক্স থেকে উত্তরটি পড়ুন: "কাপা পরিসংখ্যানের কোনও মানকৃত ব্যাখ্যা নেই। ... ল্যান্ডিস এবং কোচ 0-0.20 কে সামান্য, 0.21-0.40 ন্যায্য হিসাবে, 0.41-0.60কে মাঝারি হিসাবে বিবেচনা করে , 0.61-0.80 যথেষ্ট হিসাবে এবং 0.81-1 প্রায় নিখুঁত। ফ্লাইস কাপ্পস> 0.75 কে দুর্দান্ত, 0.40-0.75 কে ন্যায্য থেকে ভাল এবং <0.40 দরিদ্র মনে করে। উভয় স্কেলটি কিছুটা নির্বিচারে রয়েছে তা লক্ষ করা গুরুত্বপূর্ণ At কাপা পরিসংখ্যান ব্যাখ্যার সময় আরও দুটি বিবেচনার বিষয়টি বিবেচনায় নেওয়া উচিত। " এই বিবেচনাগুলি rbx এর উত্তরে ব্যাখ্যা করা হয়েছে

— joelostblom