শুধুমাত্র নির্ভুলতা / প্রত্যাহার / এফ 1 স্কোরের ভিত্তিতে কোনও তাত্পর্য পরীক্ষা করা সম্ভব?
উদাহরণস্বরূপ, যদি আপনি একটি কাগজে 2 টি সিস্টেম জুড়ে আসেন যার জন্য কেবল P / R / F1 রিপোর্ট করা হয় (একই ডেটাসেট ইত্যাদিতে) তবে আপনি কি পরে কোনও পরিসংখ্যানগত তাত্পর্য পরীক্ষা করতে পারবেন? যদি হ্যাঁ, এটি কিভাবে হয়?
উত্তর:
স্বজ্ঞাতভাবে, একটি ছোট ডেটা সেটে, বা খুব ইউনিফর্ম / অনুমানযোগ্য ডেটাসেটে একটি উচ্চ পি / আর / এফ 1 পাওয়া বড় বা আরও বিশৃঙ্খলাযুক্ত ডেটাসেটগুলিতে উচ্চ পি / আর / এফ 1 পাওয়ার চেয়ে সম্ভবত সহজ। অতএব, বৃহত্তর এবং আরও বিশৃঙ্খলাযুক্ত ডেটাসেটে পি / আর / এফ 1 এর উন্নতি আরও তাত্পর্যপূর্ণ।
এই অন্তর্দৃষ্টি অনুসরণ করার পরে, ফলাফলের বিতরণের পার্থক্যটি পরিমাপ করার জন্য আপনাকে সম্ভবত "ব্ল্যাক-বাক্স" পদ্ধতির আউটপুট অ্যাক্সেসের প্রয়োজন হবে, সেই সংস্থার আকার এবং বিভিন্নতা বিবেচনা করার সময়। একা পি / আর / এফ 1 সম্ভবত খুব অল্প তথ্য।
এই সেটিংটিতে তাত্পর্যপূর্ণ পরীক্ষা করা সাধারণত নাল অনুমানের (দুটি অ্যালগোরিদম সর্বদা একই আউটপুট উত্পাদন করে) গঠন করে এবং তারপরে আউটপুটটির পার্থক্যটি পর্যবেক্ষণের সম্ভাবনা গণনা করে যদি আপনি অ্যালগরিদমগুলি একই রকম হন তবে। উদাহরণস্বরূপ যদি সম্ভাবনাটি ০.০৫ এর চেয়ে কম হয়, আপনি নাল অনুমানকে প্রত্যাখ্যান করেন এবং উপসংহারে পৌঁছে যান যে উন্নতি উল্লেখযোগ্য।
এই কাগজে প্রাসঙ্গিক আলোচনা আছে: http://www.aclweb.org/anological/C00-2137