লজিস্টিক মডেলগুলির জন্য আরএমএসই (রুট মিন স্কোয়ার্ড ত্রুটি)

Question

বিভিন্ন লজিস্টিক মডেলের তুলনা করতে আরএমএসই (রুট মিন স্কোয়ার্ড ত্রুটি) ব্যবহারের বৈধতা সম্পর্কে আমার একটি প্রশ্ন রয়েছে। প্রতিক্রিয়া হয় 0বা হয় 1এবং ভবিষ্যদ্বাণীগুলি মধ্যে সম্ভাব্যতা 0- 1?

বাইনারি প্রতিক্রিয়া সঙ্গে নীচে প্রয়োগ উপায় বৈধ?

# Using glmnet
require(glmnet)
load(url("https://github.com/cran/glmnet/raw/master    /data/BinomialExample.RData"))
cvfit = cv.glmnet(x, y, family = "binomial", type.measure = "mse")
A <- predict(cvfit, newx = x, s = "lambda.min", type = "response")
RMSE1 <- mean((y - A)^2)
# 0.05816881

# glm
mydata <- read.csv("https://stats.idre.ucla.edu/stat/data/binary.csv")
mydata$rank <- factor(mydata$rank)
mylogit <- glm(admit ~ gre + gpa + rank, data = mydata, family = "binomial")
AAA <- predict(mylogit, newdata = mydata, type = "response")
RMSE2 <- mean((mydata$admit - AAA)^2)
# 0.194714

Comments

এই ক্ষেত্রে এটি Brier স্কোর বলা হয়, দেখতে actuaries.org/ASTIN/Colloquia/Hague/Papers/Lo.pdf

Answer 1

কেন "[টি] তিনি প্রতিক্রিয়া করছেন 0বা 1[তবে] ভবিষ্যদ্বাণীগুলি 0- 1" এর মধ্যে সম্ভাব্যতা রয়েছে তা বোঝার জন্য আপনাকে কী ধরণের মডেল নিয়ে কাজ করছেন তা বুঝতে হবে। পেনালাইজেশন পদ্ধতিগুলি এবং ক্রস বৈধকরণকে সরিয়ে ফেলুন এবং আপনি একটি মৌলিক লজিস্টিক রিগ্রেশন চালাচ্ছেন। পরামিতিগুলি লগ প্রতিক্রিয়া / লজিস্টিক স্কেলে ফিট fit একে বলা হয় "লিনিয়ার প্রেডিকটার"। (এ সম্পর্কে আরও তথ্যের জন্য, এটি আপনাকে আমার উত্তরটি পড়তে এখানে সহায়তা করতে পারে: লজিট এবং প্রবিট মডেলগুলির মধ্যে পার্থক্য )) আপনি যদি কোনও এক্স মানটি প্লাগ ইন করেন এবং সরলীকরণ করেন তবে মানটি 'সাফল্যের' প্রতিকূলতার মডেলটির পূর্বাভাসযুক্ত প্রাকৃতিক লোগারিদম হতে পারে ( 1)। আপনি যদি সেই মানটি ঘৃণা করেন তবে আপনার কাছে মডেলের পূর্বাভাসযুক্ত প্রতিক্রিয়া রয়েছে'সাফল্য' এর। পূর্বাভাস প্রাপ্ত সম্ভাবনা পাওয়ার জন্য আপনার পক্ষে প্রতিকূলতাকে সম্ভাব্যতার মধ্যে রূপান্তর করতে হবে বিজোড় / (1 + বিজোড়) এর মাধ্যমে prob (এ সম্পর্কে আরও তথ্যের জন্য, এটি আপনাকে আমার উত্তরটি পড়তে সাহায্য করতে পারে: লজিস্টিক রিগ্রেশনে প্রতিকূল অনুপাতের সরল পূর্বাভাসের ব্যাখ্যা ation ) এটি এখনও কোনও পূর্বাভাসীকৃত শ্রেণিতে আপনাকে পায় না । এটি পেতে, আপনাকে আপনার পূর্বাভাসের সম্ভাবনাটি কিছু প্রান্তিকের সাথে তুলনা করতে হবে এবং এটি যদি থ্রোসোল্ডের পূর্বাভাস 'ব্যর্থতা' ( 0) এর চেয়ে কম হয় , অন্যথায় 'সাফল্য' ( 1)। সর্বাধিক সাধারণ ডিফল্ট প্রান্তিক মান .5, তবে এটি প্রায়শই অনুকূল হয় না। আর এর predict.glm()ফাংশন আপনাকে ব্যবহার করতে দেয়type="link", যা লিনিয়ার পূর্বাভাসকের স্কেলে পূর্বাভাসকে আউটপুট করে (যেমন, উপরে বর্ণিত সমস্ত পরিবর্তনগুলির আগে), তবে এটি আপনাকে এই প্রসঙ্গে সাহায্য করবে না। ব্যবহার type="response"আপনাকে পূর্বাভাসের সম্ভাবনা দেয়।

---

আপনি যখন বাইনারি (উদাঃ, লজিস্টিক) রিগ্রেশন মডেলটির প্রতিক্রিয়ার পূর্বাভাসটি কতটা ভাল করে তা মূল্যায়নের চেষ্টা করছেন, আপনার বেশ কয়েকটি বিকল্প রয়েছে:

1. প্রথম এবং সবচেয়ে স্বজ্ঞাত হ'ল পর্যবেক্ষিত শ্রেণীর সাথে পূর্বাভাসীকৃত শ্রেণীর তুলনা করা এবং শতাংশ সঠিক গণনা করা। এটি স্বজ্ঞাত হলেও এটিতে সমস্যা রয়েছে। মডেলের অন্যান্য দিকগুলি যথাযথভাবে মাপসই করা ছাড়াও এটি একটি চৌম্বকীয় অংশটি সর্বোত্তম হতে পারে। এটি প্রচুর তথ্য দূরে ফেলে দেয় (অর্থাত্ অনুমানযোগ্য সম্ভাবনার প্রান্ত থেকে কত দূরে), যা করা ভাল নয়।
2. আপনার পরবর্তী বিকল্পটি হ'ল রিসিভার অপারেটিং চরিত্রগত (আরওসি) বক্ররেখার অধীনে অঞ্চলটি ব্যবহার করা। বেশিরভাগ লোক এই বিকল্পটি ব্যবহার করে; শতাংশ সঠিক ব্যবহারের চেয়ে এটি যথেষ্ট ভাল। এইউসি সম্পর্কে যে বিষয়টি বেশিরভাগ লোকেরা বুঝতে পারে না তা হ'ল এটি আসলে আপনার পূর্বাভাসগুলির যথাযথ ক্রমটি মাপছে, তাদের প্রকৃত যথার্থতা নয়। এটি হ'ল, যদি আপনি চারটি পর্যবেক্ষণের জন্য সম্ভাব্যতার পূর্বাভাস দিয়েছিলেন .2, .4, .6, .8এবং আপনি তাদের সকলের সাথে .01 যুক্ত করেছেন ( .21, .41, .61, .81), তবে পূর্বাভাস দেওয়া সম্ভাবনার উভয় সেট সমানভাবে নির্ভুল হতে পারে না তবুও এইউসি সমান হবে।
3. আপনার মডেলটি নির্ধারণের তৃতীয় উপায়টি হ'ল সঠিক স্কোর ফাংশন ব্যবহার করা। আপনার প্রসঙ্গে সম্ভবত সর্বাধিক জনপ্রিয় স্কোর ফাংশন হ'ল ব্রিয়ার স্কোর । @Fcoppens নোট হিসাবে, আপনার কোডের পদ্ধতিটি হল ব্রায়ার স্কোর। এটি কেবল মূল্যায়ন করবে না যদি মডেল যথাযথভাবে পূর্বাভাস দেয় যে একটি পর্যবেক্ষণ অন্য পর্যবেক্ষণের তুলনায় 'সাফল্য' হওয়ার সম্ভাবনা বেশি, তবে যদি মডেলের ভবিষ্যদ্বাণী করা সম্ভাবনাটি সত্য হয়।

দুর্ভাগ্যজনক যে বারিয়ার স্কোর কম পরিচিত এবং ব্যবহৃত হয় না। যদিও এই পদ্ধতির আপেক্ষিক স্বজ্ঞাততা হ'ল: শতাংশ সঠিক> এউসি> বেরিয়ার স্কোর, তাদের আসল তথ্যবোধ বিপরীত: বেরিয়ার স্কোর> এউসি> শতাংশ সঠিক। আপনি যদি কেবলমাত্র আপনার মডেলটির পারফরম্যান্সের একটি সহজ পরিমাপ চান তবে এই পদ্ধতির মধ্যে পার্থক্য কম গুরুত্বপূর্ণ, তবে আপনি যদি কোনও মডেলকে অনুকূল করতে বা কোনও মডেল নির্বাচন করতে এই পদ্ধতিগুলি ব্যবহার করতে চান তবে নিকৃষ্ট পদ্ধতি ব্যবহার করে খারাপ কর্মক্ষমতা দেখা দেয় ।

Answer 2

যদি আপনার ত্রুটি শব্দটি সাধারণত শূন্যের সাথে বিতরণ করা হয় তবে আর বাইনারি ফলাফলগুলিতে এটি না হয় তবে আরএমএসই ব্যবহার করে অনেক বেশি অর্থবোধ হয়। অতএব, আমি মনে করি আপনার পৃথক পদ্ধতিগুলি ব্যবহার করা উচিত যা বাইনারি ফলাফলগুলিতে নিজেকে ধার দেয়, সম্ভাবনার পার্থক্যের তুলনা করার মতো।