মডেলের যথার্থতা নির্ধারণ করুন যা ঘটনার সম্ভাবনাটি অনুমান করে

Question

আমি দুটি ইভেন্টের সাথে একটি ইভেন্টের মডেলিং করছি, ক এবং খ। আমি এমন একটি মডেল তৈরি করেছি যা সম্ভাবনাটি অনুমান করে যে একটি বা বি ঘটবে (অর্থাত মডেল গণনা করবে যে 40% চান্সের সাথে ঘটবে এবং খ 60% চান্সের সাথে ঘটবে)।

মডেল থেকে প্রাপ্ত অনুমানের সাথে আমার পরীক্ষার ফলাফলের একটি বৃহত রেকর্ড রয়েছে। আমি মডেলটি এই ডেটাটি কতটা সঠিকভাবে ব্যবহার করছে তা নির্ধারণ করতে চাই - এটি কি সম্ভব এবং যদি তাই হয় তবে কীভাবে?

Comments

আমি ভুল হতে পারি তবে আমি মনে করি আপনি আপনার মডেলটির প্রশিক্ষণ- এবং / অথবা পরীক্ষা-ত্রুটিতে আগ্রহী। : যেমন দেখ, cs.ucla.edu/~falaki/pub/classification.pdf

— Stijn

@ স্টিজন তিনি সম্ভবত সম্ভাব্যতার পূর্বাভাস দিচ্ছেন যদিও সরাসরি খ বা বি হিসাবে শ্রেণীবদ্ধ করার চেয়ে, সুতরাং আমি মনে করি না যে এই মেট্রিকগুলি তিনি যা চেয়েছিলেন তা।

— মাইকেল ম্যাকগোয়ান

মডেলটি শ্রেণিবিন্যাসের জন্য শেষ পর্যন্ত কতটা ভাল পারফর্ম করবেন সে বিষয়ে আপনি কি আরও আগ্রহী (এই ক্ষেত্রে আরওসি এবং এওসি ধরণের বিশ্লেষণকে সবচেয়ে প্রাসঙ্গিক বলে মনে হয় ( en.wikedia.org/wiki/Receiver_operating_characteristic )) বা কীভাবে "ক্যালিব্রেটেড" বোঝার জন্য আপনি আরও আগ্রহী? সম্ভাব্যতার পূর্বাভাসগুলি হ'ল (যেমন পি (ফলাফল = এ) = 60% আসলেই 60% অর্থাত্, বা ঠিক সেই ফলাফল = এ অন্যান্য ফলাফলের চেয়ে বেশি সম্ভাবনা রয়েছে ...

— ডেভিডআর

দেখে মনে হচ্ছে আপনি সম্ভাব্য স্কোরিং সম্পর্কে জানতে চান ।

— whuber

এলভিস, সিদ্ধান্ত বিশ্লেষণের বর্তমান সংখ্যার একটি নিবন্ধ আমার সম্ভাব্যতা স্কোরিংয়ের দিকে দৃষ্টি আকর্ষণ করেছে। এটি বিষয়টিতে যথেষ্ট সাহিত্যের উপর নির্ভর করে বলে মনে হচ্ছে। (বিমূর্তের চেয়ে আমার আর কোনও অ্যাক্সেস নেই, যদিও আমি নিজেই নিবন্ধটি সম্পর্কে মন্তব্য করতে পারি না।) জার্নালের সম্পাদকদের একটি প্রচ্ছদ পত্র (যা নিখরচায় পাওয়া যায় ) একই বিষয়ে আগের বেশিরভাগ কাগজপত্রের উল্লেখ করেছে।

— হোয়াইট

Answer 1

ধরুন আপনার মডেলটি সত্যই ভবিষ্যদ্বাণী করে যে এ এর ​​40% সুযোগ আছে এবং বি এর 60% সুযোগ রয়েছে। কিছু পরিস্থিতিতে আপনি এটিকে একটি শ্রেণিবিন্যাসে রূপান্তর করতে চাইতে পারেন যা বি ঘটবে (যেহেতু এটি এ এর ​​চেয়ে বেশি সম্ভাবনা রয়েছে)। একবার শ্রেণিবিন্যাসে রূপান্তরিত হয়ে গেলে, প্রতিটি পূর্বাভাস হয় সঠিক বা ভুল, এবং সেই সঠিক এবং ভুল উত্তরগুলি টেলানোর জন্য বেশ কয়েকটি আকর্ষণীয় উপায় রয়েছে। একটি হ'ল সরাসরি নির্ভুলতা (সঠিক উত্তরের শতাংশ)। অন্যদের মধ্যে নির্ভুলতা এবং স্মরণ বা এফ-পরিমাপ অন্তর্ভুক্ত রয়েছে । অন্যরা যেমন উল্লেখ করেছে, আপনি আরওসি বক্ররেখার দিকে নজর দিতে পারেন । তদুপরি, আপনার প্রসঙ্গটি একটি নির্দিষ্ট ব্যয় ম্যাট্রিক্স সরবরাহ করতে পারে যা সত্য ধনাত্মককে সত্য negativeণাত্মক থেকে পৃথক করে এবং / অথবা মিথ্যা ধনাত্মককে মিথ্যা নেতিবাচক থেকে আলাদাভাবে শাস্তি দেয়।

তবে, আপনি সত্যিই যা খুঁজছেন তা আমি ভাবি না। যদি আপনি বলে থাকেন যে বি এর ঘটনার 60০% সম্ভাবনা রয়েছে এবং আমি বলেছিলাম যে এটির ঘটনার ৯৯% সম্ভাবনা রয়েছে তবে আমাদের দুটি ভিন্ন ভবিষ্যদ্বাণী রয়েছে যদিও তারা দু'জনেই একটি সাধারণ শ্রেণিবদ্ধকরণ ব্যবস্থায় ম্যাপ করে pped যদি এর পরিবর্তে যদি ঘটে থাকে তবে আমি খুব ভুল হলেও আমি খুব অন্যায় হয়ে পড়েছি, তাই আমি আশা করি যে আপনার চেয়ে আমি আরও কঠোর শাস্তি পাব। যখন আপনার মডেল প্রকৃতপক্ষে সম্ভাবনা তৈরি করে, একটি স্কোরিং নিয়ম আপনার সম্ভাবনা পূর্বাভাসের পারফরম্যান্সের একটি পরিমাপ। বিশেষত আপনি সম্ভবত একটি সঠিক স্কোরিং নিয়ম চান, যার অর্থ স্কোরটি ভাল-ক্যালিবিরেটেড ফলাফলের জন্য অনুকূলিত।

$$BS = \frac{1}{N}\sum\limits _{t=1}^{N}(f_t-o_t)^2$$ $f_t$$o_t$

অবশ্যই আপনি যে ধরণের স্কোরিং রুল চয়ন করেছেন তা নির্ভর করে আপনি কোন ধরণের ইভেন্টটি ভবিষ্যদ্বাণী করার চেষ্টা করছেন তার উপর নির্ভর করে। তবে এটি আরও গবেষণার জন্য আপনাকে কিছু ধারণা দেয়।

আপনার মডেলটি এইভাবে মূল্যায়ন করার সময় আমি আপনাকে যা যা করুক না কেন একটি সতর্কতা যুক্ত করব, আমি আপনাকে প্রস্তাব দিই যে আপনি আপনার মেট্রিকটিতে স্যাম্পল-বহির্ভূত ডেটা (যা আপনার মডেলটি তৈরি করতে ব্যবহৃত হয় না) তে সন্ধান করবেন। এটি ক্রস-বৈধতার মাধ্যমে করা যেতে পারে । সম্ভবত আরও সহজেই আপনি একটি মডেলকে একটি ডেটাसेटে তৈরি করতে পারেন এবং তার পরে অন্যটির উপর মূল্যায়ন করতে পারেন (নমুনাটির বাইরে থাকা নমুনাটি ইন-স্যাম্পল মডেলিংয়ের দিকে যেতে না দেওয়ার বিষয়ে সতর্কতা অবলম্বন করে)।