লজিস্টিক রিগ্রেশন সম্ভাব্যতা সর্বাধিকীকরণ করা লিনিয়ার মডেলগুলির তুলনায় অগত্যা এওসিও সর্বাধিক করে তোলে?

বাইনারি ফলাফল $y\in\{0,1\}^n$ এবং কিছু পূর্বাভাসক ম্যাট্রিক্স $X\in\mathbb{R}^{n\times p}$ সহ একটি ডেটা সেট দেওয়া মানীয় লজিস্টিক রিগ্রেশন মডেল সহগের $\beta_{MLE}$ অনুমান করে যা দ্বিপদী সম্ভাবনা সর্বাধিক করে তোলে। যখন $X$ পূর্ণ র‌্যাঙ্ক হয় $\beta_{MLE}$ স্বতন্ত্র; নিখুঁত বিচ্ছেদ উপস্থিত না হলে, এটি সীমাবদ্ধ।

এই সর্বোচ্চ সম্ভাবনা মডেল আরওসি AUC (ওরফে পূর্ণবিস্তার দেয় $c$ -statistic), অথবা কিছু সহগ হিসাব সেখানে বিদ্যমান $\beta_{AUC} \neq \beta_{MLE}$ যা একটি উচ্চ আরওসি AUC সংগ্রহ করবে? যদি এটি সত্য হয় যে এমএলই অগত্যা আরওসি এউসি সর্বাধিক করে না, তবে এই প্রশ্নটি দেখার আরেকটি উপায় হ'ল "সম্ভাবনা সর্বাধিকরণের কোনও বিকল্প আছে যা সর্বদা লজিস্টিক রিগ্রেশনকে আরওসি এউসি সর্বাধিক করে তোলে?"

আমি ধরে নিচ্ছি যে মডেলগুলি অন্যথায় একই রকম: আমরা $X$ পূর্বাভাসকারীদের যোগ বা সরিয়ে দিচ্ছি না , বা অন্যথায় মডেলের স্পেসিফিকেশন পরিবর্তন করছি না এবং আমি ধরে নিচ্ছি যে সম্ভাবনা-সর্বাধিকীকরণ এবং এওসি-সর্বাধিককরণকারী মডেলগুলি একই লিঙ্ক ফাংশনটি ব্যবহার করছে।

logistic maximum-likelihood auc

— সাইকোরাক্স মনিকাকে রিইনস্টেট বলে
সূত্র

অবশ্যই

যদি, উদাহরণস্বরূপ, কিছু লিঙ্ক ফাংশন লগইটের চেয়ে আরও ভাল ফিট করে? এটি ছাড়াও, ভাল প্রশ্ন, যদি ডেটা তৈরির প্রক্রিয়াটি লজিট হিসাবে ধরে নেওয়া যায়।

β_{AUC} \neq β_{MLE}

$\beta_{\text{AUC}} \neq \beta_{\text{MLE}}$

— নিউটলে

ভাল প্রশ্ন তবে এটি বিবেচনা করুন। আরওসি এবং এউসি দুটি পৃথক মডেলের তুলনা করতে ব্যবহৃত হয়, সুতরাং যদি কোনও মডেলের এমএলই অনুমানের সমাধানটি অনন্য হয় তবে এর অর্থ হ'ল আপনি যদি বর্তমান মডেলের স্পেসিফিকেশন পরিবর্তন করেন তবেই আপনি একটি আলাদা এওসি পেতে পারেন এবং আপনি একটি নতুন আলাদা অনুমান করেন MLE মাধ্যমে মডেল। সুতরাং এই মুহুর্তে আরেকটি প্রশ্ন উঠবে: একই মডেলের ক্ষেত্রে প্রযোজ্য সাধারণ এমএলএর বাইরে অন্য কোনও "আরও ভাল" অনুমানের পদ্ধতি (ম্যাক্সিমাইজেশন অ্যালগরিদম ইসি) যেমন আমি নতুন "আরও ভাল" বিটার দিকে পরিচালিত সহগের বিভিন্ন অনুমানের কাছে পাই? উচ্চতর এউসি সহ?

— এয়ার 1

@ নিউটল ঠিক, এটি একটি আলাদা স্পেসিফিকেশন হবে

— এয়ার 1

@ ফ্র 1 হ্যাঁ, এটিই অনন্য অর্থ। আমি আমার প্রশ্নের মধ্যে যা বোঝাচ্ছি তা হ'ল "এমএলইর কোনও বিকল্প আছে যা উচ্চতর এউসি অর্জন করে?" যদি এটি সত্য হয় যে আলাদা লিনিয়ার মডেল রয়েছে (এমএলই বাদে অন্য একটি মডেল) যা উচ্চতর এউসি অর্জন করে, তবে এটি সম্পর্কে জানতে আগ্রহী হবে।

— সাইকোরাক্স মনিকাকে

@ সাইকোরাক্স আমরা কী অনুমান করব? :) অনুমানগুলি গুরুত্বপূর্ণ, যেহেতু আমরা যদি লিঙ্ক এবং ব্যবহৃত ভেরিয়েবলগুলি সহ সত্য ডিজিপিকে জানি তবে এমএলই সমানভাবে শক্তিশালী নিরপেক্ষ পরিসংখ্যান।

— নিউটলে

এটা হয় না যে $\beta_{MLE} = \beta_{AUC}$ ।

এটি চিত্রিত করার জন্য, বিবেচনা করুন যে এটিসি লিখতে পারে

$P(\hat y_1 > \hat y_0 | y_1 = 1, y_0 = 0)$

$\beta_{MLE}$

$\beta_{AUC}$ $\beta$ $\beta_{MLE}$ $\beta_{AUC}$

সম্পাদনা (উত্তরে মন্তব্য সরানো)

$x$ $x > 6$ $\beta$ $x$ $x$ $\beta_{MLE} < 0$

— ক্লিফ এবি
সূত্র

(+1) আহ! অবশ্যই - যেহেতু এটি অর্ডার দেওয়ার বিষয়ে, আমরা নির্বিচারে ইন্টারসেপ্টটি পরিবর্তন করতে পারি যা অবশ্যই সম্ভাবনার মানটি অবশ্যই পরিবর্তন করতে পারে, তবে ক্রমটি একই হওয়া উচিত কারণ বৈশিষ্ট্য সহগের কোনওটিই বদলায়নি, সুতরাং এটিসি স্থির থাকবে।

— সাইকোরাক্স মনিকাকে

n \to \infty

$n \rightarrow \infty$

x

$x$

n

$n$

n \to \infty

$n \rightarrow \infty$

n

$n$

n

$n$

x

$x$

n

$n$