প্রান্ত ক্ষেত্রে যথাযথতা এবং পুনরুদ্ধার জন্য সঠিক মান কি?

20

যথার্থতা হিসাবে সংজ্ঞায়িত করা হয়:

p = true positives / (true positives + false positives)

এটি সঠিক যে, 0 true positivesএবং false positivesকাছে যাওয়ার সাথে সাথে নির্ভুলতা 1 এ পৌঁছেছে?

প্রত্যাহার জন্য একই প্রশ্ন:

r = true positives / (true positives + false negatives)

আমি বর্তমানে একটি পরিসংখ্যানগত পরীক্ষা বাস্তবায়ন করছি যেখানে আমার এই মানগুলি গণনা করা দরকার এবং কখনও কখনও এটি ঘটে যে ডিনোমিনেটর 0 হয় এবং আমি ভাবছি যে এই মানটির জন্য কোন মানটি ফিরে আসবে।

PS: অনুপযুক্ত ট্যাগটি ক্ষমা করুন, আমি ব্যবহার করতে চেয়েছিলাম recall, precisionএবং limit, তবে আমি এখনও নতুন ট্যাগ তৈরি করতে পারি না।

precision-recall data-visualization logarithm references r networks data-visualization standard-deviation probability binomial negative-binomial r categorical-data aggregation plyr survival python regression r t-test bayesian logistic data-transformation confidence-interval t-test interpretation distributions data-visualization pca genetics r finance maximum probability standard-deviation probability r information-theory references computational-statistics computing references engineering-statistics t-test hypothesis-testing independence definition r censoring negative-binomial poisson-distribution variance mixed-model correlation intraclass-correlation aggregation interpretation effect-size hypothesis-testing goodness-of-fit normality-assumption small-sample distributions regression normality-assumption t-test anova confidence-interval z-statistic finance hypothesis-testing mean model-selection information-geometry bayesian frequentist terminology type-i-and-ii-errors cross-validation smoothing splines data-transformation normality-assumption variance-stabilizing r spss stata python correlation logistic logit link-function regression predictor pca factor-analysis r bayesian maximum-likelihood mcmc conditional-probability statistical-significance chi-squared proportion estimation error shrinkage application steins-phenomenon

— বিজন পোলাক্স
সূত্র

আমি মনে করি না আমাদের সীমাবদ্ধতা ট্যাগ লাগবে।

সম্ভবত আপনি কিছু ডায়াগনস্টিক পদ্ধতির পারফরম্যান্সের পরিমাণ নির্ধারণের চেষ্টা করছেন; আপনি কোনও সঠিক সিগন্যাল সনাক্তকরণ তত্ত্ব মেট্রিক যেমন ডি ', এ', বা আরওসি বক্ররেখার অধীনে ব্যবহার করছেন না এমন কোনও কারণ আছে?

— মাইক লরেন্স

3

@ মাইক, নির্ভুলতা এবং পুনরুদ্ধারগুলি সাধারণ মূল্যায়ন মেট্রিকগুলি, যেমন, তথ্য পুনরুদ্ধার যেখানে আরওসি, বা নির্দিষ্ট নির্দিষ্টতায় ব্যবহার করা বিশ্রী কারণ আপনি ইতিমধ্যে উচ্চ সংখ্যক ভুয়া ধনাত্মক প্রত্যাশা করছেন।

— ব্যবহারকারী 979

17

একটি বিভ্রান্তির ম্যাট্রিক্স দেওয়া হয়েছে:

            predicted
            (+)   (-)
            ---------
       (+) | TP | FN |
actual      ---------
       (-) | FP | TN |
            ---------

আমরা জানি যে:

Precision = TP / (TP + FP)
Recall = TP / (TP + FN)

ডিনোমিনেটর শূন্য রয়েছে এমন ক্ষেত্রে বিবেচনা করা যাক:

টিপি + এফএন = 0: এর অর্থ ইনপুট ডেটাতে কোনও ইতিবাচক মামলা ছিল না
টিপি + এফপি = 0: এর অর্থ হল যে সমস্ত দৃষ্টান্তটি নেতিবাচক হিসাবে পূর্বাভাস ছিল

— আমরো
সূত্র

9

আপনার উত্তর প্রসারিত: টিপি = 0 (উভয় ক্ষেত্রে যেমন), প্রত্যাহারটি 1, যেহেতু পদ্ধতিটি সত্যিকারের কোনও ইতিবাচক বিষয় আবিষ্কার করে নি; নির্ভুলতা 0 হয় যদি কোনও এফপি এবং অন্যথায় 1 থাকে।

11

উত্তর হ্যাঁ। প্রকৃত ধনাত্মক (টিপি) 0 হয় যখন অপরিজ্ঞাপিত প্রান্তের ঘটনাগুলি ঘটে থাকে কারণ এটি পি ও আর উভয় ক্ষেত্রেই বিভক্ত থাকে this এক্ষেত্রে,

টিপির 100% সন্ধানের পর থেকে FN = 0 এ পুনরায় কল করুন all
যথার্থতা = 1 যখন এফপি = 0, যেহেতু কোনও উত্সাহজনক ফলাফল ছিল না

এটি @ এমবিকিউর মন্তব্যের একটি সংশোধন।

— জন লেহম্যান
সূত্র

3

আমি বিভিন্ন পরিভাষার সাথে পরিচিত। আপনি যাকে নির্ভুলতা বলছেন আমি ইতিবাচক ভবিষ্যদ্বাণীমূলক মান (পিপিভি) করব। এবং আপনি যা প্রত্যাহার কল করবেন আমি সংবেদনশীলতা (সংবেদন) কল করব। :

http://en.wikipedia.org/wiki/Receiver_operating_characteristic

সংবেদনশীলতার ক্ষেত্রে (প্রত্যাহার) এর ক্ষেত্রে, ডিনোমিনেটরটি যদি শূন্য হয় (যেমন আম্রো দেখায়) তবে কোনও ধনাত্মক ঘটনা নেই, সুতরাং শ্রেণিবিন্যাস অর্থহীন। (এটি টিপি বা এফএন উভয়ই শূন্য হওয়া বন্ধ করে না, যার ফলে 1 বা 0 এর সীমিত সংবেদনশীলতা দেখা দেবে in এই পয়েন্টগুলি যথাক্রমে আরওসি বক্ররেখার উপরের ডান এবং নীচে বাম কোণে রয়েছে - টিপিআর = 1 এবং টিপিআর = 0। )

পিপিভির সীমা যদিও অর্থবহ। পরীক্ষার কাট-অফের পক্ষে এত বেশি (বা নিম্ন) সেট করা সম্ভব হয় যাতে সমস্ত ক্ষেত্রে নেতিবাচক হিসাবে পূর্বাভাস দেওয়া হয়। এটি আরওসি বক্ররেখার উত্সতে। কাটফটটি উৎপত্তিস্থলের পৌঁছানোর ঠিক আগে পিপিভি-র সীমাবদ্ধতা মূল্যটি উত্সের ঠিক আগে আরওসি বক্রের চূড়ান্ত বিভাগটি বিবেচনা করে অনুমান করা যায়। (আরওসি বক্ররেখা কুখ্যাত কোলাহলপূর্ণ হওয়ায় মডেল করা আরও ভাল)

উদাহরণস্বরূপ, যদি 100 টি প্রকৃত ধনাত্মক এবং 100 প্রকৃত negativeণাত্মক এবং আরওসি বক্ররেখার চূড়ান্ত সেগনেট টিপিআর = 0.08, এফপিআর = 0.02 থেকে আসে তবে সীমাবদ্ধ পিপিভি হবে পিপিআর ~ 0.08 * 100 / (0.08 * 100 + 0.02 * 100 ) = 8/10 = 0.8 অর্থাত্ সত্য পজিটিভ হওয়ার 80% সম্ভাবনা।

অনুশীলনে প্রতিটি নমুনাটি আরওসি বক্ররেখার একটি বিভাগ দ্বারা উপস্থাপিত হয় - একটি প্রকৃত ধনাত্মক হওয়ার জন্য প্রকৃত নেতিবাচক এবং অনুভূমিকের জন্য অনুভূমিক। কেউ উত্থানের আগে খুব শেষ বিভাগ দ্বারা সীমাবদ্ধ পিপিভি অনুমান করতে পারে, তবে এটি সর্বশেষ নমুনাটি সত্য পজিটিভ, মিথ্যা পজিটিভ (প্রকৃত নেতিবাচক) বা তৈরি কিনা তার উপর নির্ভর করে 1, 0 বা 0.5 এর একটি সীমিত পিভিভি দেবে সমান টিপি এবং এফপি এর। একটি মডেলিংয়ের পদ্ধতিটি আরও ভাল হবে, সম্ভবত উপাত্তগুলি বাইনাল হিসাবে ধরে নেওয়া - একটি সাধারণ অনুমান, যেমন: http://mdm.sagepub.com/content/8/3/197.short

— Thylacoleo
সূত্র

1

এটি "পদ্ধতির 0" দ্বারা আপনি কী বোঝাতে চান তার উপর নির্ভর করবে। যদি মিথ্যা ধনাত্মক এবং মিথ্যা নেতিবাচক উভয়ই সত্য ধনাত্মকগুলির চেয়ে দ্রুত হারে শূন্যের দিকে এগিয়ে যায়, তবে উভয় প্রশ্নের হ্যাঁ। তবে অন্যথায়, অগত্যা নয়।

— রব হ্যান্ডম্যান
সূত্র

আমি সত্যিই হার জানি না। সত্যি কথা বলতে গেলে আমি জানি যে আমার প্রোগ্রামটি শূন্যের সাথে বিভাজনে ক্র্যাশ হয়ে গেছে এবং আমার কোনওভাবেই এই মামলাটি পরিচালনা করা দরকার।

— বিজন পোলাক্স