প্যাসাল ভোক চ্যালেঞ্জের জন্য সনাক্তকরণ কার্যের জন্য এমএপি কীভাবে গণনা করা যায়?

Question

পাস্কাল ভিওসি লিডারবোর্ডগুলির সনাক্তকরণ কার্যের জন্য এমএপি (গড় গড় যথার্থতা) গণনা কিভাবে করবেন? http://host.robots.ox.ac.uk:8080/leaderboard/displaylb.php?challengeid=11&compid=4

সেখানে বলা হয়েছে - পৃষ্ঠা 11 এ : http://homepages.inf.ed.ac.uk/ckiw/postscript/ijcv_voc09.pdf

গড় যথার্থতা (এপি) VOC2007 চ্যালেঞ্জের জন্য, আন্তঃবিবাহিত গড় যথার্থতা (সালটন এবং ম্যাকগিল 1986) উভয় শ্রেণিবিন্যাস এবং সনাক্তকরণের মূল্যায়ন করতে ব্যবহৃত হয়েছিল। প্রদত্ত টাস্ক এবং ক্লাসের জন্য, নির্ভুলতা / পুনরুদ্ধার বক্ররেখা একটি পদ্ধতির র‌্যাঙ্কড আউটপুট থেকে গণনা করা হয়। প্রত্যাহারকে একটি নির্দিষ্ট র‌্যাঙ্কের উপরে স্থান দেওয়া সমস্ত ইতিবাচক উদাহরণগুলির অনুপাত হিসাবে সংজ্ঞায়িত করা হয়। যথার্থতা হ'ল ধাপের উপরের সমস্ত উদাহরণের অনুপাত যা ইতিবাচক শ্রেণীর থেকে আসে। এপি নির্ভুলতা / পুনর্বিবেচনা বক্ররেখার আকারের সংক্ষিপ্তসার করে এবং এগারোটি সমানভাবে ব্যবধানে পুনরুদ্ধার স্তরের [0,0.1, ..., 1] এর সেট এ গড় নির্ভুলতা হিসাবে সংজ্ঞায়িত হয়: AP = 1/11 ∑ r∈{0,0.1,...,1} pinterp(r)

প্রতিটি স্মরণীয় স্তরের স্পষ্টতাটি এমন পদ্ধতির জন্য পরিমাপ করা সর্বাধিক নির্ভুলতা নিয়ে বিভক্ত হয় যার জন্য সংশ্লিষ্ট pinterp(r) = max p(r˜)পুনরুদ্ধার আর ছাড়িয়ে যায়:, যেখানে পি (আর˜) রেকর্ড আরারে পরিমাপ করা নির্ভুলতা

মানচিত্র সম্পর্কে: http://0agr.ru/wiki/index.php/Precision_and_Recall#Average_Precision

---

সুতরাং এটির অর্থ কি:

1. আমরা নির্ভুলতা এবং পুনরায় কল গণনা :

   • ক) অনেকগুলি বিভিন্নর জন্যIoU > {0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1} আমরা সত্য / মিথ্যা পজিটিভ / নেতিবাচক মান গণনা করি

   কোথায় True positive = Number_of_detection with IoU > {0, 0.1,..., 1}, এখানে যেমন বলা হয়েছে: https : //datasज्ञान.stackexchange.com/a/16813/37736 এবং তারপরে আমরা গণনা:

   Precision = True positive / (True positive + False positive)

   Recall = True positive / (True positive + False negative)

---

• খ) বা সনাক্তকরণ অ্যালগরিদমের অনেকগুলি প্রান্তিকের জন্য আমরা গণনা করি:

  Precision = True positive / (True positive + False positive)

  Recall = True positive / (True positive + False negative)

  কোথায় True positive = Number_of_detection with IoU > 0.5এখানে বললঃ /programming//a/43168882/1558037

---

• গ) বা সনাক্তকরণ অ্যালগরিদমের অনেকগুলি প্রান্তিকের জন্য আমরা গণনা করি:

  Precision = Intersect / Detected_box

  Recall = Intersect / Object

  এখানে দেখানো হয়েছে? https://en.wikipedia.org/wiki/Precision_and_recall

---

2. তারপরে আমরা এখানে যথাযথভাবে পুনর্বিবেচনা বক্ররেখা তৈরি করি :

---

3. তারপরে আমরা পয়েন্টগুলিতে যেখানে 11 এর গড়Precision হিসাবে গড় (গড় নির্ভুলতা) গণনা করি Recall = {0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1}, যেখানে ieAP = 1/11 ∑ recall∈{0,0.1,...,1} Precision(Recall)

(প্রতিটি পয়েন্টের জন্য সাধারণভাবে, উদাহরণস্বরূপ ০.০, আমরা এই মুহুর্তে যথার্থতার মানের পরিবর্তে রিক্যাল <= ০.০ এর জন্য প্র্যাক্সিয়েন্সের MAX পেয়েছি) Rec

---

4. এবং যখন আমরা সমস্ত চিত্রের জন্য 1 টি কিছু বস্তুর শ্রেণীর জন্য কেবল এপি গণনা করি - তখন আমরা এই শ্রেণীর জন্য এপি (গড় যথার্থতা) পাই , উদাহরণস্বরূপ, কেবলমাত্র এর জন্য air।

সুতরাং এপি একটি অবিচ্ছেদ্য (বক্ররেখার অঞ্চল): /stats//a/157019/111998

তবে যখন আমরা সমস্ত চিত্রের সমস্ত অবজেক্ট শ্রেণির জন্য এপি গণনা করি - তখন আমরা সমস্ত চিত্র ডেটাসেটের জন্য এমএপি (গড় গড় নির্ভুলতা)88.6 পাই , উদাহরণস্বরূপ, আর 4 ডি_ফাস্টার_সিএনএন: http://host.robots.ox.ac.uk:8080/leaderboard /displaylb.php?challengeid=11&compid=4

---

প্রশ্নাবলী:

1. এটি কি ঠিক, এবং যদি তা না হয়, তবে পাস্কাল ভিওসি চ্যালেঞ্জের জন্য এমএপি গণনা কিভাবে করবেন?
2. এবং অনুচ্ছেদে 1 অনুচ্ছেদে যথার্থতা এবং পুনরায় কল করার জন্য 3 টি সূত্রের মধ্যে কোনটি (এ, বি বা সি) সঠিক?

---

সংক্ষিপ্ত উত্তর:

• এমএপি = এভিজি (প্রতিটি বস্তুর শ্রেণীর জন্য এপি)
• এপি = এভিজি (১১ টির প্রত্যেকে প্রত্যাহার করে = যথার্থতা = 0, 0.1, ..., 1})
• পিআর-কার্ভ = যথার্থতা এবং পুনর্বিবেচনা (প্রতিটি চৌম্বকটির জন্য যা ভবিষ্যদ্বাণী সীমাবদ্ধ বাক্সে রয়েছে)
• যথার্থতা = টিপি / (টিপি + এফপি)
• পুনরুদ্ধার = টিপি / (টিপি + এফএন)
• টিপি = আইওইউ> ০.০ সহ সনাক্তকরণের সংখ্যা
• এফপি = আইওইউ <= 0.5 এর সাথে সনাক্তকরণের সংখ্যা বা একাধিকবার সনাক্ত হয়েছে
• এফএন = আইওইউ <= 0.5 এর সাথে সনাক্ত বা সনাক্ত করা যায় না এমন বস্তুর সংখ্যা of

Answer 1

আপনার প্রশ্নের উত্তর দিতে:

1. হ্যাঁ আপনার পদ্ধতির সঠিক
2. এ, বি এবং সি এর সঠিক উত্তর হ'ল বি।

ব্যাখ্যাটি নিম্নরূপ: অবজেক্ট সনাক্তকরণের প্রসঙ্গে গড় গড় গড় যথার্থ (এমএপি) গণনা করার জন্য আপনাকে অবশ্যই প্রতিটি শ্রেণির জন্য গড় যথার্থ (এপি) গণনা করতে হবে এবং তারপরে সমস্ত শ্রেণি জুড়ে গড় গণনা করতে হবে। এখানে মূল কীটি প্রতিটি শ্রেণীর জন্য এপি গণনা করা হয়, সাধারণভাবে যথার্থ (পি) এবং পুনর্বিবেচনা (আর) গণনা করার জন্য আপনাকে কী কী তা নির্ধারণ করতে হবে: সত্য ধনাত্মক (টিপি), মিথ্যা ধনাত্মক (এফপি), সত্য নেতিবাচক (টিএন) এবং মিথ্যা নেতিবাচক (এফএন)। পাস্কাল ভিওসি চ্যালেঞ্জের অবজেক্ট সনাক্তকরণের সেটিংয়ে নিম্নরূপ:

• টিপি: বাউন্ডিং বাক্সগুলি (বিবি) যে গ্রাউন্ড ওভার ইউনিয়ন (আইওইউ) দিয়ে স্থল সত্য (জিটি) এর সাথে 0.5 টির উপরে রয়েছে
• এফপি: বিবি যে জিটি সহ আইওইউ 0.5 এর নীচে রয়েছে এমন একটি বিটি যা ইতিমধ্যে সনাক্ত হয়েছে এমন একটি জিটি সহ আইওইউ রয়েছে।
• টিএন: সত্যিকারের নেতিবাচক নয়, চিত্রটিতে কমপক্ষে একটি অবজেক্ট থাকবে বলে আশা করা হচ্ছে
• এফএন: এই চিত্রগুলি বিবি তৈরি করতে ব্যর্থ হয়েছিল

এখন প্রতিটি অনুমান বিবি প্রদত্ত শ্রেণীর জন্য একটি আত্মবিশ্বাসের মান রয়েছে। সুতরাং স্কোরিং পদ্ধতিটি আত্মবিশ্বাসের ক্রম হ্রাসের জন্য পূর্বাভাসগুলি সাজান এবং প্রতিটি সম্ভাব্য র‌্যাঙ্ক k = 1 এর জন্য P = TP / (TP + FP) এবং R = TP / (TP + FN) গণনা করুন ic সুতরাং এখন আপনার কাছে প্রতিটি র‌্যাঙ্কের জন্য একটি পি (আর) রয়েছে যা পি এবং আর হ'ল "কাঁচা" যথার্থতা-পুনর্বিবেচনা বক্ররেখা। আর এর বিভাজনযুক্ত পিআর কার্ভ ফোরচ মানটি গণনা করতে আপনি সর্বাধিক পি নির্বাচন করেন যা সম্পর্কিত আর '> = আর আছে select

ভোক ডিভিট ডক অনুসারে পিআর কার্ভ পয়েন্টগুলি নমুনার জন্য দুটি ভিন্ন উপায় রয়েছে । ২০১০ এর আগে ভিওসি চ্যালেঞ্জের জন্য, আমরা যে কোনও আর '> = আর এর জন্য প্রাপ্ত সর্বোচ্চ প নির্বাচন করি যা আর, 0, 0.1, ..., 1 (এগারো পয়েন্ট) এর অন্তর্গত। এপিটি এরপরে রিকাল থ্রেশহোল্ডগুলির প্রত্যেকটিতে গড় যথার্থতা। ভিওসি চ্যালেঞ্জ ২০১০ এবং তার পরে, আমরা এখনও কোনও আর '> = আর এর জন্য সর্বাধিক পি নির্বাচন করি, যখন আর সমস্ত অনন্য রিক্যাল মানগুলির অন্তর্ভুক্ত (০ এবং ১ অন্তর্ভুক্ত)। এপিটি পিআর বক্ররেখার অধীনে অঞ্চল আকার size লক্ষ্য করুন যে আপনার ক্ষেত্রে কয়েকটি থ্রেশহোল্ডের উপরে রিকোল সহ পি এর মান নেই যথার্থ মান 0।

উদাহরণস্বরূপ শ্রেণি "এয়ারপ্লেন" দেওয়া কোনও পদ্ধতির নিম্নলিখিত আউটপুটটি বিবেচনা করুন:

BB  | confidence | GT
----------------------
BB1 |  0.9       | 1
----------------------
BB2 |  0.9       | 1
----------------------
BB3 |  0.7       | 0
----------------------
BB4 |  0.7       | 0
----------------------
BB5 |  0.7       | 1
----------------------
BB6 |  0.7       | 0
----------------------
BB7 |  0.7       | 0
----------------------
BB8 |  0.7       | 1
----------------------
BB9 |  0.7       | 1
----------------------

এটি দুটি ছবিতে বাউন্ডিং বাক্স সনাক্ত করতে পারে নি, সুতরাং আমাদের এফএন = ২ রয়েছে। পূর্ববর্তী সারণিটি জিটি = 1 এর পদ্ধতির পূর্বাভাসগুলির আত্মবিশ্বাসের মান অনুসারে অর্ডার করা র‌্যাঙ্কটি হ'ল একটি টিপি এবং জিটি = 0 এফপি। সুতরাং টিপি = 5 (বিবি 1, বিবি 2, বিবি 5, বিবি 8 এবং বিবি 9), এফপি = 5। র‌্যাঙ্ক = 3 এর ক্ষেত্রে যথার্থতা হ্রাস পেয়েছে কারণ বিবি 1 ইতিমধ্যে সনাক্ত করা হয়েছিল, সুতরাং বস্তুটি প্রকৃতপক্ষে উপস্থিত থাকলেও এটি এফপি হিসাবে গণনা করে। ।

rank=1  precision=1.00 and recall=0.14
----------
rank=2  precision=1.00 and recall=0.29
----------
rank=3  precision=0.66 and recall=0.29
----------
rank=4  precision=0.50 and recall=0.29
----------
rank=5  precision=0.40 and recall=0.29
----------
rank=6  precision=0.50 and recall=0.43
----------
rank=7  precision=0.43 and recall=0.43
----------
rank=8  precision=0.38 and recall=0.43
----------
rank=9  precision=0.44 and recall=0.57
----------
rank=10 precision=0.50 and recall=0.71
----------

পূর্ববর্তী ফলাফলগুলি দেওয়া: আমরা যদি ভোক 2010 এর আগে উপায়টি ব্যবহার করি তবে আন্তঃবিবাহিত যথার্থ মানগুলি 1, 1, 1, 0.5, 0.5, 0.5, 0.5, 0.5, 0, 0, 0 হয়। তারপরে এপি = 5.5 / 11 = 0.5 "বিমান" এর ক্লাস class অন্যথায় যদি আমরা ভোক 2010 থেকে উপায়টি ব্যবহার করি, তবে বিভক্ত যথার্থ মানগুলি 0, 0.14, 0.29, 0.43, 0.57, 0.71, ১. এর পরে সাতটি অনন্য রিকার জন্য 1, 1, 1, 0.5, 0.5, 0.5, 0 হয় are (0.14-0) * 1 + (0.29-0.14) * 1 + (0.43-0.29) * 0.5 + (0.57-0.43) * 0.5 + (0.71-0.57) * 0.5 + (1-0.71) * 0 = 0.5 "বিমান" এর ক্লাস।

প্রতিটি শ্রেণীর জন্য পুনরাবৃত্তি করুন এবং তারপরে আপনার কাছে (এমএপি) থাকবে।

আরও তথ্য নীচের লিঙ্কগুলিতে পাওয়া যাবে 1 , 2 । এছাড়াও আপনার কাগজটি পরীক্ষা করা উচিত: প্যাসিকাল ভিজ্যুয়াল অবজেক্ট ক্লাস চ্যালেঞ্জ: আরও বিশদ বিবরণের জন্য একটি পূর্ববর্তী ।

Comments

আপনাকে স্বাগতম! হ্যাঁ আপনার সমস্ত চিত্র জুড়ে গণনা করা উচিত। এবং জিটি 1 হয় IoU> 0.5। শেষ এফএন 3 টি সনাক্ত করা অবজেক্টগুলির জন্য 3 হবে

— feynman410

এফএন হ'ল চিত্রগুলির সংখ্যা কোনও পূর্বাভাস ছিল না, এফপি হ'ল আইওইউ <= 0.5 এর সাথে সনাক্তকরণের সংখ্যা বা একাধিকবার সনাক্ত হয়েছে। এই সিউডোকোড stats.stackexchange.com/a/263758/140597

— feynman410

দুঃখিত, আপনার ডান হ'ল নম্বর অবজেক্টস সনাক্ত করা যায় নি।

— feynman410

@ feynman410 আমি বিভ্রান্ত হয়ে পড়েছি, আপনি কি দয়া করে আমাদের জানান যে টেবিলের জিনিসগুলিতে আপনি সনাক্ত করেননি তবে কোথায় হওয়া উচিত? টেবিলের শেষে? (কারণ তাদের জন্য কোনও স্কোর নেই)

— মার্টিন ব্রায়িয়াক

সুতরাং "যথার্থ" এবং "প্রত্যাহার" প্রতিটি শ্রেণীর জন্য পৃথকভাবে গণনা করা হয় - প্রতি ক্লাসে এপি গণনা করার জন্য। রাইট? তাহলে এগুলি কি প্রতিটি চিত্রের আলাদা আলাদা করে গণনা করা হয় এবং তারপরে গড়ে গড় হয়, বা তারা সমস্ত চিত্রের মোট সনাক্তকরণের জন্য গণনা করা হয়?

— কিছু কিছু

Answer 2

আমার গিথুবে একটি সহজ ব্যবহারের কোড সহ একটি সুন্দর এবং বিস্তারিত ব্যাখ্যা রয়েছে:

https://github.com/rafaelpadilla/Object-Detection-Metrics

অবশ্যই এটি আপনাকে ছেলেদের সাহায্য করবে।