পূর্বনির্ধারণ: আমি একটি কাটঅফ ব্যবহার করার যোগ্যতা বা না, বা কীভাবে একজনকে কাট অফ বেছে নিতে হবে সে সম্পর্কে আমি পাত্তা দিই না। আমার প্রশ্নটি খাঁটি গাণিতিক এবং কৌতূহলের কারণে।
লজিস্টিক রিগ্রেশন মডেলগুলি ক্লাস বি বনাম ক্লাসের পূর্ববর্তী শর্তসাপেক্ষ সম্ভাবনা এবং এটি একটি হাইপারপ্লেনের সাথে ফিট করে যেখানে উত্তরোত্তর শর্তসাপেক্ষ সম্ভাবনা সমান। সুতরাং তত্ত্বে, আমি বুঝতে পেরেছি যে একটি 0.5 শ্রেণিবদ্ধকরণ বিন্দু নির্ধারিত ভারসাম্য নির্বিশেষে মোট ত্রুটিগুলি হ্রাস করবে, যেহেতু এটি উত্তরোত্তর সম্ভাবনা মডেল করে (ধরে নিচ্ছে যে আপনি ধারাবাহিকভাবে একই শ্রেণীর অনুপাতের সম্মুখীন হন)।
আমার বাস্তব জীবনের উদাহরণে, আমি আমার শ্রেণিবদ্ধ কাটঅফ (প্রায় 51% নির্ভুলতা) হিসাবে পি> 0.5 ব্যবহার করে খুব খারাপ নির্ভুলতা পেয়েছি। তবে আমি যখন এউসির দিকে তাকালাম এটি 0.99 এর উপরে। তাই আমি কিছু আলাদা কাট অফের মান দেখেছি এবং জানতে পেরেছি যে পি> 0.6 আমাকে 98% নির্ভুলতা দিয়েছে (ছোট শ্রেণির জন্য 90% এবং বড় শ্রেণির জন্য 99%) - কেবলমাত্র 2% ক্ষেত্রে বিযুক্ত করা হয়েছে।
ক্লাসগুলি ভারী ভারসাম্যহীন (1: 9) এবং এটি একটি উচ্চ-মাত্রিক সমস্যা। যাইহোক, আমি প্রতিটি ক্রস-বৈধতা সেটগুলিতে সমানভাবে ক্লাসগুলি বরাদ্দ করি যাতে মডেল ফিট এবং তারপরে পূর্বাভাসের মধ্যে ক্লাসের ভারসাম্যের মধ্যে কোনও পার্থক্য না ঘটে। আমি মডেল ফিট এবং পূর্বাভাসে একই ডেটা ব্যবহার করার চেষ্টা করেছি এবং একই সমস্যা দেখা দিয়েছে।
আমি যে কারণে 0.5 টি ত্রুটিগুলি হ্রাস করবে না সে সম্পর্কে আগ্রহী, আমি ভেবেছিলাম ক্রস-এনট্রপি ক্ষতি হ্রাস করে মডেলটি ফিট করা গেলে এটি ডিজাইনের মাধ্যমে হবে।
কেন এমনটি হয় সে সম্পর্কে কারও কোনও প্রতিক্রিয়া আছে? এটি কি শাস্তি যোগ করার কারণে, কেউ যদি এমনটি ঘটতে পারে তবে কী তা ব্যাখ্যা করতে পারে?