স্বরলিপি এমএপি @ [5: .95] এর অর্থ কী?

Question

সনাক্তকরণের জন্য, কোনও বস্তুর প্রস্তাব সঠিক ছিল কিনা তা নির্ধারণ করার একটি সাধারণ উপায় হ'ল ইন্টারসেকশন ওভার ইউনিয়ন (আইওইউ, আইইউ)। এই সেট লাগে প্রস্তাবিত বস্তুর পিক্সেল এবং সত্য বস্তু পিক্সেল সেট বি এবং হিসাব করে:$A$$B$

$$IoU(A, B) = \frac{A \cap B}{A \cup B}$$

সাধারণত, আইওইউ> ০.০ এর অর্থ এটি হিট ছিল, অন্যথায় এটি ব্যর্থ হয়েছিল। প্রতিটি শ্রেণীর জন্য, একটি গণনা করতে পারেন

• ট্রু পজিটিভ ( ): ক্লাস গ এর জন্য একটি প্রস্তাব দেওয়া হয়েছিল এবং সেখানে আসলে ক্লাস এর একটি অবজেক্ট ছিল$TP(c)$$c$$c$
• ভুয়া পজিটিভ ( ): শ্রেণি জন্য একটি প্রস্তাব দেওয়া হয়েছিল , তবে শ্রেণি এর কোনও আপত্তি নেই$FP(c)$$c$$c$
• বর্গ জন্য গড় যথার্থ :$c$$\frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

এমএপি (গড় গড় নির্ভুলতা) = $\frac{1}{|classes|}\sum_{c \in classes} \frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

যদি কেউ আরও ভাল প্রস্তাব চায় তবে কেউ আইওইউকে 0.5 থেকে উচ্চতর মানের (1.0% পর্যন্ত যা নিখুঁত হতে পারে) বৃদ্ধি করে। এটিকে এমএপি @ পি দিয়ে বোঝানো যায়, যেখানে IoU is$p \in (0, 1)$

কিন্তু mAP@[.5:.95]( এই কাগজে পাওয়া যায় ) এর অর্থ কী?

Comments

আমি সন্দেহ করি যে [.5:.95]অংশটি IoU মানগুলির একটি ব্যাপ্তিকে বোঝায়, তবে কীভাবে সেই পরিসরটি একটি একক এমএপি-তে মূল্যায়ন করা হয় তা আমি জানতাম না।

— নীল স্লেটার

@ নিলস্ল্যাটার তবে আপনি কেন একটি উচ্চ সীমানা চান? উচ্চতর আইওইউ কি সর্বদা ভাল না?

— মার্টিন থোমা

উচ্চতর আইওইউর সাথে ম্যাচ অর্জন করা আরও ভাল, তবে সম্ভবত আমরা যদি মডেলটি নিখুঁত ম্যাচগুলি (যে কোনও মডেলের জন্য) বর্ণনা করে এবং এটি কোনও কার্যকর পরিমাপ হিসাবে বিবেচনা করা হয় না তবে ম্যাপ মানটি হ্রাস পাবে। এটি যদিও আমি জানি না এমন পরিসরে কেন এটি অন্তর্ভুক্ত করা হয়নি তবে তবে আমি জানি না যে এই ক্ষেত্রে এমএপি কীভাবে গণনা করা হয় - উদাহরণগুলির জন্য এটি নমুনাগুলির উপর ভিত্তি করে একটি সাধারণ গড় হতে পারে।

— নিল স্লেটার

নেই এই GitHub সংগ্রহস্থলের উপর একটি চমৎকার ব্যাখ্যা হ্যানডনোট , যথার্থ , রিকল , গড় যথার্থ এবং মানচিত্র । এটিতে একটি কোড রয়েছে যা কোনও অবজেক্ট ডিটেক্টরকে মূল্যায়ন করে। এটি অবশ্যই আপনাকে ছেলেদের সহায়তা করবে : https://github.com/rafaelpadilla/Object-Detection-

— রাফায়েল পাদিলা

Answer 1

mAP@[.5:.95](কেউ চিহ্নিত mAP@[.5,.95]) এর অর্থ 0.5 থেকে 0.95 পর্যন্ত বিভিন্ন আইওইউ প্রান্তিকের উপরে গড় এমএপি, পদক্ষেপ 0.05 (0.5, 0.55, 0.6, 0.65, 0.7, 0.75, 0.8, 0.85, 0.9, 0.95)।

একটি নতুন মূল্যায়ন মেট্রিকের সাথে সম্পর্কিত একটি এমএস কোকো চ্যালেঞ্জ রয়েছে, যা বিভিন্ন আইওইউ প্রান্তিকের উপরে গড়ে এমএপি গড়ে 0.5 থেকে 0.95 ("0.5: 0.95" হিসাবে লিখিত) হয়। [ রেফারেন্স ]

আমরা আইওইউ vera [0.5: 0.05: 0.95] (কোকো স্ট্যান্ডার্ড মেট্রিক, এমএপি @ [[5, .95] হিসাবে সহজেই চিহ্নিত) এবং এমএপি @ ০.৫ (প্যাসাল ভোকের মেট্রিক) এর গড় এমএপি-র মূল্যায়ন করি ate [ রেফারেন্স ]

আমাদের চূড়ান্ত শনাক্তকরণগুলি মূল্যায়নের জন্য, আমরা অফিসিয়াল COCO এপিআই [20] ব্যবহার করি, যা অন্যান্য মেট্রিকগুলির মধ্যে এমওএপি গড় আইওইউ প্রান্তিকের উপরে [0.5: 0.05: 0.95] এ পরিমাপ করে। [ রেফারেন্স ]

BTW, সোর্স কোড এর কোকো শো ঠিক কি mAP@[.5:.95]করছে:

self.iouThrs = np.linspace(.5, 0.95, np.round((0.95 - .5) / .05) + 1, endpoint=True)

তথ্যসূত্র

https://github.com/pdollar/coco

http://mscoco.org/

https://www.cs.cornell.edu/~sbell/pdf/cvpr2016-ion-bell.pdf

https://arxiv.org/pdf/1506.01497.pdf

https://arxiv.org/pdf/1611.10012.pdf

Comments

আপনি একটি প্রশ্ন আপত্তি না? উদাহরণস্বরূপ, যদি আমাদের কাছে ডেটাসেটে একটি নির্দিষ্ট শ্রেণির 3 টি উদাহরণ রয়েছে এবং মডেলটি তাদের জন্য 0.1, 0.6 এবং 0.9 এর আইও ফেরায়, এর অর্থ কি আমরা 0.1 ফলাফল এবং 0.75 এর গড় আইওউ এবং সংশ্লিষ্ট এমএপি বাতিল করে দিই?

— অ্যালেক্স

Answer 2

$\frac{\#TP(c)}{\#TP(c) + \#FP(c)}$

Comments

যারা রেফারেন্সটি সন্ধান করছেন তাদের জন্য গড় যথার্থ (এপি) এর সংজ্ঞা পৃষ্ঠা ১১ এ রয়েছে

— ওয়েলন ফ্লিন

Answer 3

সমস্ত বিভাগের তুলনায় এপি গড় হয়। Ditionতিহ্যগতভাবে, এটিকে "গড় গড় নির্ভুলতা" (এমএপি) বলা হয়। আমরা এপি এবং এমএপি (এবং একইভাবে এআর এবং এমএআর) এর মধ্যে কোনও পার্থক্য করি না এবং অনুমান করি যে পার্থক্যটি প্রসঙ্গ থেকে পরিষ্কার clear

http://cocodataset.org/#detections-eval

Comments

আমি ভেবেছিলাম যে এমএপি হল বহু-শ্রেণীর এপিগুলির গড়। বিভাগ / বিভাগের আপনার / কাগজ লেখকের সংজ্ঞাটি জানতে আমার পছন্দ হয়।

— ক্লাউড Cho