কম্পিউটার ভিশন এবং অবজেক্ট সনাক্তকরণে, সাধারণ মূল্যায়ন পদ্ধতিটি এমএপি। এটি কী এবং এটি কীভাবে গণনা করা হয়?
এমএপি মেট্রিক কী এবং এটি কীভাবে গণনা করা হয়?
উত্তর:
উপরোক্ত জিসারম্যান পেপারের উদ্ধৃতিগুলি - ৪.২ ফলাফলের মূল্যায়ন (পৃষ্ঠা ১১) :
প্রথমে একটি "ওভারল্যাপ মাপদণ্ড" 0.5 এর চেয়ে বড় ছেদ-ওভার ইউনিয়ন হিসাবে সংজ্ঞায়িত করা হয়। (উদাহরণস্বরূপ, যদি কোনও ভবিষ্যদ্বাণী করা বাক্স কোনও স্থল-সত্যের বাক্সের সাথে এই মানদণ্ডকে সন্তুষ্ট করে, তবে এটি একটি সনাক্তকরণ হিসাবে বিবেচিত হবে)। তারপরে জিটি বাক্স এবং এই "লোভী" পদ্ধতির ব্যবহার করে ভবিষ্যদ্বাণী করা বাক্সগুলির মধ্যে একটি মিল তৈরি হয়:
একটি পদ্ধতি দ্বারা সনাক্তকরণ আউটপুট (হ্রাস) আত্মবিশ্বাসের আউটপুট অনুসারে ওভারল্যাপের মানদণ্ডকে সন্তুষ্ট করে গ্রাউন্ড ট্রুথ অবজেক্টগুলিকে বরাদ্দ করা হয়েছিল। একটি চিত্রে একই বস্তুর একাধিক সনাক্তকরণকে মিথ্যা সনাক্তকরণ হিসাবে বিবেচনা করা হয়েছিল যেমন 1 একক বস্তুর 5 টি সনাক্তকরণকে 1 সঠিক সনাক্তকরণ এবং 4 টি মিথ্যা সনাক্তকরণ হিসাবে গণনা করা হচ্ছে
সুতরাং প্রতিটি পূর্বাভাস বাক্স হয় সত্য-পজিটিভ বা মিথ্যা-ইতিবাচক। প্রতিটি গ্রাউন্ড-ট্রুথ বক্সটি সত্য-ধনাত্মক। কোনও সত্য-নেতিবাচক নেই।
তারপরে গড় নির্ভুলতা যথাযথতা-পুনর্বিবেচনা বক্ররেখা যেখানে পুনরুদ্ধার পরিসীমা মধ্যে হয় [0, 0.1, ..., 1] (উদাহরণস্বরূপ 11 যথার্থ মানের গড়) এর যথাযথ মানগুলির গড় দিয়ে গণনা করা হয়। আরও সুনির্দিষ্টভাবে বলতে গেলে, আমরা কিছুটা সংশোধিত পিআর বক্রাকে বিবেচনা করি, যেখানে প্রতিটি বক্র বিন্দুর (p, r) জন্য, যদি সেখানে আলাদা বক্র বিন্দু (p ', r') থাকে যেমন পি '> পি এবং আর'> = আর , আমরা পয়েন্টগুলি সর্বাধিক পি দিয়ে প্রতিস্থাপন করব replace
আমার কাছে যা এখনও অস্পষ্ট তা হ'ল সেই জিটি বাক্সগুলির সাথে কী করা হয় যা কখনই সনাক্ত হয় না (এমনকি আত্মবিশ্বাস 0 হলেও)। এর অর্থ হ'ল এখানে কিছু পুনরুদ্ধার মান রয়েছে যা যথার্থতা-পুনর্বিবেচনা বক্ররেখা কখনই পৌঁছতে পারে না এবং এটি গড় নির্ভুলতার গণনাকে অপরিজ্ঞাত করে তোলে।
সম্পাদনা করুন:
সংক্ষিপ্ত উত্তর: যে অঞ্চলে পুনরুদ্ধারটি পৌঁছানো যায় না, সেখানে নির্ভুলতা 0 এ চলে যায়।
এটি ব্যাখ্যা করার একটি উপায় অনুমান করা যে আত্মবিশ্বাসের জন্য প্রান্তিকা 0 এর কাছাকাছি পৌঁছালে , একটি অনন্ত সংখ্যার পূর্বাভাসযুক্ত সীমাবদ্ধ বাক্স পুরো চিত্রটিতে আলোকিত হয়। এরপরে যথাযথতা অবিলম্বে 0 এ চলে যায় (যেহেতু কেবলমাত্র জিটি বাক্সগুলির একটি সীমাবদ্ধ সংখ্যা রয়েছে) এবং আমরা 100% না পৌঁছানো পর্যন্ত এই সমতল বক্ররেখাটি পুনরুদ্ধারটি বর্ধমান রাখে।
4
এটিই কেবল অস্পষ্ট নয়। এমন একটি ক্ষেত্রে বিবেচনা করুন যেখানে দুটি পূর্বাভাসযুক্ত বাক্সযুক্ত (পি 1, পি 2) এবং দুটি গ্রাউন্ড-ট্রুথ বাক্স (টি 1, টি 2) রয়েছে, যেখানে পি 2 এর চেয়ে পি 1 এর চেয়ে বেশি আস্থা রয়েছে। পি 1 এবং পি 2 উভয়ই টি 1 টি ওভারল্যাপ করে। যেহেতু পি 2 এর আত্মবিশ্বাস তত বেশি, এটি স্পষ্ট যে টি 2 এর ম্যাচটি পি 2 হিসাবে বিবেচনা করা উচিত। যা দেওয়া হয় না তা হল যদি পি 1 টিও টি 2 এর সাথে কিছু আইওইউ ওভারল্যাপ করে তবে টি 1 এর সাথে আইইউ এর চেয়ে কম হয়, টি 1 এর সাথে নিজেকে মেলে দেখার চেষ্টা করার জন্য কি পি 1 কে "দ্বিতীয় সুযোগ" দেওয়া উচিত, না কি তা করা উচিত নয়?
—
মার্টিন
কেউ কি সনাক্ত করা জিটি বাক্স দিয়ে বিষয়টি স্পষ্ট করতে পারে?
—
জোনাথন
@ জোনাথন: সুতরাং আমরা কী সহজেই IoU <0.5 এর সাথে ভবিষ্যদ্বাণীগুলি বাতিল করে IRU> = 0.5 দিয়ে ভবিষ্যদ্বাণীগুলির জন্য PR বক্ররেখার অধীনে অঞ্চলটি গণনা করব?
—
অ্যালেক্স
@ অ্যালেক্স নং আইওইউ <0.5 এর সাথে পূর্বাভাসগুলি মিথ্যা ধনাত্মক।
—
জোনাথন
এমএপি হ'ল গড় গড় যথার্থ।
তথ্য পুনরুদ্ধার (রেফারেন্স [1] [2] ) এবং বহু-শ্রেণীর শ্রেণিবদ্ধকরণ (অবজেক্ট সনাক্তকরণ) সেটিংসের ক্ষেত্রে এর ব্যবহার পৃথক।
বিষয়টি সনাক্তকরণের জন্য এটি গণনা করতে, আপনি আপনার মডেল পূর্বাভাসের উপর নির্ভর করে আপনার ডেটাতে প্রতিটি শ্রেণীর জন্য গড় নির্ভুলতা গণনা করেন। গড় নির্ভুলতা কোনও শ্রেণীর জন্য নির্ভুলতা-প্রত্যাহার বক্ররেখার অধীনে অঞ্চল সম্পর্কিত। তারপরে এই গড় স্বতন্ত্র-শ্রেণি-নির্ভুলতার গড় ধরে নেওয়া আপনাকে গড় গড় যথার্থতা দেয়।
গড় যথার্থতা গণনা করতে, দেখুন [3]
সনাক্তকরণের জন্য, একটি বস্তুর প্রস্তাব সঠিক ছিল কিনা তা নির্ধারণের একটি সাধারণ উপায় হ'ল ইন্টারসেকশন ওভার ইউনিয়ন (আইওইউ, আইইউ)। এটি
Aপ্রস্তাবিত অবজেক্ট পিক্সেলের সেট এবং সত্য বস্তু পিক্সেলের সেটBএবং গণনা গ্রহণ করে:
সাধারণত, আইওইউ> ০.০ এর অর্থ এটি হিট ছিল, অন্যথায় এটি ব্যর্থ হয়েছিল। প্রতিটি শ্রেণীর জন্য, একটি গণনা করতে পারেন
- ট্রু পজিটিভ টিপি (সি): ক্লাস সি এর জন্য একটি প্রস্তাব দেওয়া হয়েছিল এবং সেখানে আসলে ক্লাস গ এর একটি অবজেক্ট ছিল
- ভুয়া পজিটিভ এফপি (সি): ক্লাস গ এর জন্য একটি প্রস্তাব দেওয়া হয়েছিল, তবে শ্রেণি সি এর কোনও আপত্তি নেই
- গ শ্রেণীর জন্য গড় যথার্থতা:
এমএপি (গড় গড় নির্ভুলতা) হ'ল:
দ্রষ্টব্য: যদি কেউ আরও ভাল প্রস্তাব চায়, কেউ আইওইউ 0.5 থেকে উচ্চতর মানের (1.0 টি পর্যন্ত নিখুঁত হতে পারে) বৃদ্ধি করে। এটিকে এমএপি @ পি দিয়ে বোঝানো যায়, যেখানে পি \ ইন (0, 1) আইওইউ হয়।
mAP@[.5:.95] মানে এমএপি একাধিক প্রান্তিকের উপর দিয়ে গণনা করা হয় এবং তারপরে আবার গড় হয়
সম্পাদনা: আরও তথ্যের জন্য কোকো মূল্যায়ন মেট্রিক্স দেখুন
আমি মনে করি এখানে গুরুত্বপূর্ণ অংশ লিঙ্ক করা হচ্ছে, কিভাবে অবজেক্ট সনাক্তকরণ মান তথ্য আহরণ সমস্যার, যার জন্য অস্তিত্ব আছে অন্তত একটি হিসাবে একই বিবেচনা করা যেতে পারে গড় স্পষ্টতা চমৎকার বর্ণনা ।
কিছু অবজেক্ট সনাক্তকরণ অ্যালগরিদমের আউটপুট প্রস্তাবিত বাউন্ডিং বাক্সগুলির একটি সেট এবং প্রত্যেকটির জন্য একটি আত্মবিশ্বাস এবং শ্রেণিবিন্যাস স্কোর (প্রতি শ্রেণিতে এক স্কোর)। আসুন আপাতত শ্রেণিবিন্যাসের স্কোরগুলি উপেক্ষা করুন, এবং একটি থ্রেশহোল্ড বাইনারি শ্রেণিবিন্যাসের ইনপুট হিসাবে আত্মবিশ্বাস ব্যবহার করুন । স্বজ্ঞাতভাবে, গড় স্পষ্টতা হ'ল প্রান্তিক / কাট-অফ মানের জন্য সমস্ত পছন্দের উপর একত্রিত। কিন্তু অপেক্ষা করো; নির্ভুলতা গণনা করার জন্য, আমাদের একটি বক্স সঠিক কিনা তা জানতে হবে!
এখানেই এটি বিভ্রান্ত / কঠিন হয়ে পড়ে; সাধারণ তথ্য পুনরুদ্ধারের সমস্যার বিপরীতে, আমাদের এখানে শ্রেণিকরণের একটি অতিরিক্ত স্তর রয়েছে। এটি হল, আমরা বাক্সগুলির মধ্যে সঠিক মিল করতে পারি না, সুতরাং একটি বাউন্ডিং বাক্স সঠিক কিনা তা আমাদের শ্রেণিবদ্ধ করা দরকার। সমাধানটি হ'ল বাক্সের মাত্রাগুলিতে একটি হার্ড-কোডেড শ্রেণিবদ্ধকরণ করা; আমরা এটি সঠিকভাবে বিবেচনা করার জন্য কোনও স্থল সত্যের সাথে যথেষ্ট পরিমাণে ওভারল্যাপ করে কিনা তা পরীক্ষা করে দেখি। এই অংশটির প্রান্তিকতা সাধারণ জ্ঞান দ্বারা বেছে নেওয়া হয়েছে। আপনি যে ডেটাসেটটিতে কাজ করছেন তা সম্ভবত একটি 'সঠিক' বাউন্ডিং বাক্সের জন্য এই প্রান্তিক স্তরটি নির্ধারণ করবে hold বেশিরভাগ ডেটাসেটগুলি কেবল এটি 0.5 আইওইউতে সেট করে এবং এটিতে রেখে দেয় (আমি কয়েক ম্যানুয়াল আইওইউ গণনা করার পরামর্শ দিচ্ছি [তারা কঠিন নয়] আসলে 0.5 এর আইওইউ কতটা কঠোর তা অনুভব করার জন্য)।
এখন যেহেতু আমরা 'সংশোধন' হ'ল এর অর্থ কী তা আমরা সংজ্ঞায়িত করেছি, আমরা কেবল তথ্য পুনরুদ্ধারের মতো একই প্রক্রিয়াটি ব্যবহার করতে পারি।
গড় গড় নির্ভুলতা (এমএপি) সন্ধানের জন্য, আপনি কেবলমাত্র সেই বাক্সগুলির সাথে সম্পর্কিত শ্রেণিবদ্ধকরণ স্কোরগুলির উপর ভিত্তি করে আপনার প্রস্তাবিত বাক্সগুলি স্তরিত করুন, তারপরে ক্লাসগুলির মধ্যে গড় নির্ভুলতার (এপি) গড় (গড়) নিন।
টিএলডিআর; কোনও সীমানা বাক্সের পূর্বাভাসটি 'সঠিক' (শ্রেণিবিন্যাসের অতিরিক্ত স্তর) কিনা তা নির্ধারণ করা এবং বক্সের আত্মবিশ্বাস আপনাকে একটি 'সঠিক' বাউন্ডিং বক্স ভবিষ্যদ্বাণী (তথ্য পুনরুদ্ধারের ক্ষেত্রে সম্পূর্ণ সমতুল্য) সম্পর্কে কতটা ভালভাবে অবহিত করে তা মূল্যায়ন এবং এর বৈশিষ্ট্যগত বিবরণের মধ্যে পার্থক্য তৈরি করুন এমএপি বুদ্ধিমান হবে।
এটি লক্ষণীয় যে যথার্থ / পুনর্বিবেচনা বক্ররেখার অধীনে অঞ্চলটি যথাযথ নির্ভুলতার হিসাবে একই জিনিস , এবং আমরা অবিচ্ছেদ্য সংখ্যার জন্য ট্র্যাপিজয়েডাল বা ডান-হাতের নিয়মের সাথে এই অঞ্চলটি প্রায় প্রয়োজন appro
সংজ্ঞা: এমএপি মানে গড় যথার্থতা
বেশিরভাগ অবজেক্ট সনাক্তকরণ প্রতিযোগিতায়, সনাক্ত করার জন্য অনেকগুলি বিভাগ রয়েছে এবং প্রতিটি সময় একটি নির্দিষ্ট বিভাগে মডেলটির মূল্যায়ন করা হয়, ফলস্বরূপ ফলাফলটি সেই বিভাগের এপি।
যখন প্রতিটি বিভাগকে মূল্যায়ন করা হয়, সমস্ত AP এর গড় মডেলটির চূড়ান্ত ফলাফল হিসাবে গণনা করা হয়, যা এমএপি is
ইন্টারসেকশন ওভার ইউনিয়ন (আইইউ) হল জ্যাকার্ড সূচকের ভিত্তিতে পরিমাপ যা দুটি বাউন্ডিং বাক্সের মধ্যে ওভারল্যাপটিকে মূল্যায়ন করে। এটির জন্য গ্রাউন্ড ট্রুথ বাউন্ডিং বাক্স এবং একটি পূর্বাভাসযুক্ত বাউন্ডিং বাক্স প্রয়োজন আইইউ প্রয়োগ করে আমরা সনাক্ত করতে পারি যে সত্য (সত্য ধনাত্মক) সত্য কিনা না (মিথ্যা ধনাত্মক) Iআমাকে পূর্বাভাসকৃত বাউন্ডিং বাক্স এবং গ্রাউন্ডের মধ্যে ওভারল্যাপিং অঞ্চল দ্বারা দেওয়া হয় তাদের মধ্যে ইউনিয়নের ক্ষেত্রফল দ্বারা ভাগ করে নেওয়া সত্য বাউন্ডিং বক্স।
প্রশ্ন এমএপি সম্পর্কে এবং আইওইউ সম্পর্কে নয়। সুতরাং, আপনার আইওইউ কীভাবে এমএপি-র সাথে সম্পর্কিত তা অন্তত পরিষ্কার করা উচিত।
—
nbro