ধরুন আমি একটি ডেটাসেটে (মডেল বিল্ডিং ডেটাসেট) কোনও নির্দিষ্ট রোগের সংঘটিত হওয়ার জন্য একটি পূর্বাভাস মডেল তৈরি করেছি এবং এখন একটি নতুন ডেটাসেটে (বৈধকরণ ডেটাসেট) মডেলটি কতটা ভাল কাজ করে তা পরীক্ষা করে দেখতে চাই want লজিস্টিক রিগ্রেশন দিয়ে নির্মিত একটি মডেলের জন্য, আমি মডেল বিল্ডিং ডেটাসেট থেকে প্রাপ্ত মডেল সহগের উপর ভিত্তি করে বৈধতা ডেটাসেটের প্রতিটি ব্যক্তির জন্য পূর্বাভাসযুক্ত সম্ভাবনাটি গণনা করব এবং তারপরে, কিছু কাটঅফ মানে সেই সম্ভাব্যতাগুলিকে দ্বিগুণ করার পরে, আমি একটি 2x2 টেবিল তৈরি করতে পারি এটি আমাকে সত্যিকারের ইতিবাচক হার (সংবেদনশীলতা) এবং সত্য নেতিবাচক হার (নির্দিষ্টতা) গণনা করতে দেয়। তদুপরি, আমি কাটঅফকে পৃথক করে পুরো আরওসি বক্ররেখা তৈরি করতে পারি এবং তারপরে আরওসি গ্রাফের জন্য এটিসি পেতে পারি।
এখন ধরুন যে আমার কাছে বেঁচে থাকার ডেটা আছে। সুতরাং, আমি মডেল বিল্ডিং ডেটাসেটে একটি কক্স আনুপাতিক বিপত্তি মডেল ব্যবহার করেছি এবং এখন যাচাইকরণ ডেটাসেটে মডেলটি কতটা ভাল কাজ করে তা পরীক্ষা করে দেখতে চাই। যেহেতু বেসলাইন ঝুঁকিটি কক্স মডেলগুলিতে কোনও প্যারাম্যাট্রিক ফাংশন নয়, তাই মডেল বিল্ডিং ডেটাসেটে প্রাপ্ত মডেল সহগের উপর ভিত্তি করে বৈধতা ডেটাসেটে প্রতিটি ব্যক্তির জন্য ভবিষ্যদ্বাণী করা বেঁচে থাকার সম্ভাবনাটি কীভাবে পেতে পারি তা আমি দেখতে পাই না। সুতরাং, আমি যাচাইকরণের ডেটাসেটে মডেলটি কতটা ভাল কাজ করে তা যাচাই করতে কীভাবে যেতে পারি? এটি করার জন্য কি কোনও প্রতিষ্ঠিত পদ্ধতি রয়েছে? এবং যদি হ্যাঁ হয় তবে সেগুলি কি কোনও সফ্টওয়্যার এ প্রয়োগ করা হয়েছে? আপনার পরামর্শের জন্য ধন্যবাদ!