এফ 1 / ডাইস-স্কোর বনাম আইওইউ


24

আমি এফ 1 স্কোর, ডাইস স্কোর এবং আইওইউ (সংযোগ ওভার ইউনিয়ন) এর মধ্যে পার্থক্য সম্পর্কে বিভ্রান্ত হয়ে পড়েছিলাম। এতক্ষণে আমি জানতে পেরেছি যে এফ 1 এবং ডাইস মানে একই জিনিস (ডান?) এবং আইওইউর সাথে অন্য দুটির সাথে খুব অনুরূপ সূত্র রয়েছে।

  • এফ 1 / ডাইস:
    2TP2TP+FP+FN
  • আইওইউ / জ্যাকার্ড: rac P
    TPTP+FP+FN

এফ 1 এর সত্যিকারের ধনাত্মকতা বেশি হওয়া ছাড়া কি কোনও ব্যবহারিক পার্থক্য বা অন্যান্য বিষয় লক্ষণীয়? এমন কোনও পরিস্থিতি আছে যেখানে আমি একটি ব্যবহার করব তবে অন্যটি না?


স্পষ্টতই জ্যাকার্ড
সহগও

আমি বিশেষত আগ্রহী যদি এইগুলির কয়েকটি (এখন 4) পরিমাপ কেবল বাইনারি ডেটার জন্য বোঝানো হয়।
পিটজ

উত্তর:


38

আপনি সঠিক পথে আছেন

তাই ব্যাট থেকে কিছু জিনিস। দুটি মেট্রিকের সংজ্ঞা থেকে, আমাদের কাছে আছে যে আইওইউ এবং এফ স্কোর সর্বদা একে অপরের 2 এর একটি ফ্যাক্টরের মধ্যে থাকে: এবং এও যে তারা শর্তে এক এবং শূন্যের চূড়ায় মিলিত হয় যা আপনি প্রত্যাশা করবেন (নিখুঁত ম্যাচ এবং সম্পূর্ণরূপে বিচ্ছিন্ন)।

F/2IoUF

এও নোট করুন যে তাদের মধ্যে অনুপাতটি আইওইউয়ের সাথে স্পষ্টভাবে সম্পর্কিত হতে পারে: যাতে অনুপাত পন্থা 1/2 উভয় বৈশিষ্ট্যের মান শূন্য কাছে।

IoU/F=1/2+IoU/2

তবে আরও একটি শক্তিশালী বক্তব্য রয়েছে যা একটি লা মেশিন শেখার শ্রেণিবিন্যাসের সাধারণ প্রয়োগের জন্য তৈরি করা যেতে পারে। কোনও স্থির "স্থল সত্য" এর জন্য দুটি মেট্রিক সবসময় ইতিবাচকভাবে সম্পর্কিত হয়। এর অর্থ হ'ল শ্রেণীবদ্ধী A যদি একটি মেট্রিকের অধীনে বি এর চেয়ে ভাল হয় তবে এটি অন্য মেট্রিকের অধীনে শ্রেণিবদ্ধ বিয়ের চেয়েও ভাল।

তখন এই সিদ্ধান্তে উজ্জীবিত হয় যে দুটি মেট্রিকগুলি কার্যত সমতুল্য তাই তাদের মধ্যে পছন্দটি নির্বিচারে, তবে এত দ্রুত নয়! ইনফারেন্সের সেটগুলিতে গড় স্কোর নেওয়ার সময় সমস্যাটি উপস্থিত হয় । তারপর পার্থক্য emerges যখন পরিমাণে কিভাবে অনেক খারাপ ক্লাসিফায়ার বি কোনো ক্ষেত্রে এর জন্য একটি চেয়ে।

সাধারণভাবে, আইওইউ মেট্রিক এফ স্কোরের চেয়ে খারাপ শ্রেণিবদ্ধার একক উদাহরণকে পরিমাণগতভাবে দণ্ডিত করে, এমনকি যখন তারা উভয়ই একমত হতে পারে যে এই একটি উদাহরণটি খারাপ is L2 L1 এর চেয়ে বড় ভুলকে কীভাবে শাস্তি দিতে পারে তার একইভাবে, আইওইউ মেট্রিক এফ স্কোরের সাথে সম্পর্কিত ত্রুটির উপর "স্কোয়ারিং" প্রভাব রাখে। সুতরাং এফ স্কোর গড় পারফরম্যান্সের কাছাকাছি কিছু পরিমাপ করতে ঝোঁক, যখন আইওইউ স্কোর সবচেয়ে খারাপ ক্ষেত্রে পারফরম্যান্সের কাছাকাছি কিছু পরিমাপ করে।

উদাহরণস্বরূপ ধরুন যে বিস্তর সংখ্যাটি বি এর তুলনায় শ্রেণিবদ্ধ A এর সাথে মাঝারিভাবে আরও ভাল, তবে তাদের মধ্যে কয়েকটি শ্রেণিবদ্ধের এ ব্যবহার করে উল্লেখযোগ্যভাবে খারাপ এটি আই ম ইউ আর মেট্রিকের পক্ষে যখন এফ মেট্রিক শ্রেণিবদ্ধ A এর পক্ষে থাকে তবে এটি হতে পারে case শ্রেণিবদ্ধ বি।

নিশ্চিত হওয়া যায় যে এই দুটি মেট্রিকই তার চেয়ে আলাদা ike তবে উভয়ই অনেকগুলি অনুমানের তুলনায় এই স্কোরগুলির গড় গ্রহণের দৃষ্টিকোণ থেকে আরেকটি অসুবিধায় ভুগছেন: তারা উভয়ই সামান্য-কোনও-সত্যিকারের স্থল সত্যের ইতিবাচক সেটগুলির সাথে সেটগুলির গুরুত্বকে বাড়াবাড়ি করে। চিত্র বিভাজনের সাধারণ উদাহরণে, যদি কোনও চিত্রের মধ্যে কেবল কিছু সনাক্তকারী শ্রেণীর একক পিক্সেল থাকে এবং শ্রেণিবদ্ধকারী সেই পিক্সেল এবং অন্য একটি পিক্সেল সনাক্ত করে, তবে তার এফ স্কোরটি 2/3 হ'ল এবং আইওইউ আরও 1 / এ আরও খারাপ হয় 2। এর মতো তুচ্ছ ভুলগুলি চিত্রের সেটকে ধরে নেওয়া গড় স্কোরকে মারাত্মকভাবে প্রাধান্য দিতে পারে। সংক্ষেপে, এটি প্রতিটি পিক্সেল ত্রুটি বিপরীতভাবে নির্বাচিত / প্রাসঙ্গিক সেটের আকারের সাথে সমানভাবে আচরণ করার চেয়ে ওজনের হয় ights

এখানে অনেক সহজ মেট্রিক রয়েছে যা এই সমস্যাটি এড়িয়ে চলে। কেবলমাত্র মোট ত্রুটিটি ব্যবহার করুন: এফএন + এফপি (উদাহরণস্বরূপ চিত্রের 5% পিক্সেল ভুল শৈলীযুক্ত ছিল)। একের ক্ষেত্রে অন্যটির চেয়ে গুরুত্বপূর্ণ যেখানে, একটি ওজনযুক্ত গড় ব্যবহার করা যেতে পারে: c0c1


উইলেম, আমি এর চেয়ে ভাল উত্তর চাইতে পারতাম না। সময় দেওয়ার জন্য আপনাকে অনেক ধন্যবাদ।
পিটিজ

5
আমি আপনার সম্পূর্ণ ত্রুটি পদ্ধতির চেষ্টা করেছি এবং কেবল যুক্ত করতে চেয়েছিলাম যে এটি ধনাত্মক এবং sণাত্মক মধ্যে ধ্রুবক ভারসাম্যহীনতা দিয়ে ভাল কাজ করে না। চিত্রগুলির পুরো ডেটাসেটের কল্পনা করুন যেখানে কেবলমাত্র একটি পিক্সেল স্থলভাগের বিভাজন তৈরি করে। নিউরাল নেটওয়ার্কগুলি মোটামুটি দ্রুত শিখতে পারে যে একটি খালি পূর্বাভাস সর্বদা মোট ত্রুটি ব্যবহার করে 99.9% নির্ভুল। আইওইউ বা ডিএসসির সাথে গিয়ে আমরা উপরে উল্লিখিত একই কারণগুলির কারণে নেটওয়ার্কটিকে একটি বিভাগ তৈরি করার জন্য চাপ দিই। সুতরাং, শেষ পর্যন্ত এটি খুব সমস্যা নির্ভর করে।
পাইটজ

1
কেউ কি আমাকে নিম্নলিখিত দুটি বিবৃতি পুনরুদ্ধার করতে সহায়তা করতে পারে ?: 1: "That is to say that if classifier A is better than B under one metric, it is also better than classifier B under the other metric."এবং 2:"It may be the case then that the F metric favors classifier A while the IoU metric favors classifier B."
ম্যাট ক্লিনস্মিথ

1
প্রাক্তনটি একটি একক অনুমানের স্কোরকে বোঝায় এবং দ্বিতীয়টি ইনফারেন্সগুলির একটি সেট (উদাহরণস্বরূপ চিত্রগুলির একটি সেট) এর উপরে গড় স্কোরকে বোঝায়।
উইলিম
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.