পোইসন মডেলগুলিকে ক্রস-বৈধকরণের জন্য ত্রুটি মেট্রিকগুলি

আমি এমন একটি মডেলকে বৈধতা দিচ্ছি যা গণনার পূর্বাভাস দেওয়ার চেষ্টা করে। এটি যদি বাইনারি শ্রেণিবিন্যাসের সমস্যা হত তবে আমি আউট-অফ-ফোল্ড এওসি গণনা করতাম, এবং এটি যদি কোনও রিগ্রেশন সমস্যা হত তবে আমি আউট-অফ-ফোল্ড আরএমএসই বা এমএই গণনা করতাম।

পইসন মডেলের জন্য, নমুনা ছাড়িয়ে থাকা পূর্বাভাসগুলির "যথার্থতা" মূল্যায়নের জন্য আমি কোন ত্রুটি মেট্রিকগুলি ব্যবহার করতে পারি? সেখানে কি এইউসি-র কোনও পিসন এক্সটেনশন রয়েছে যা ভবিষ্যদ্বাণীগুলি প্রকৃত মানগুলিকে কতটা ভালভাবে অর্ডার করে তা দেখায়?

দেখে মনে হচ্ছে গণনাগুলির জন্য প্রচুর কাগল প্রতিযোগিতা (উদাহরণস্বরূপ একটি ঝাঁকুনির পর্যালোচনা পাবে দরকারী ভোটার সংখ্যা, বা একজন রোগী হাসপাতালে কত দিন ব্যয় করবে) রুট গড়ের লগ স্কোয়ার ত্রুটি বা আরএমএলএসই ব্যবহার করবে।

/ সম্পাদনা: একটি কাজ আমি করছি তা হ'ল পূর্বাভাসিত মানগুলির ডেস্কল গণনা করা, এবং তারপরে প্রকৃত গণনাগুলির দিকে তাকানো, ডেসাইল দ্বারা বিভক্ত। যদি ডেস্কেল 1 কম হয় তবে ডেস্কেল 10 উচ্চ হয় এবং এর মধ্যে ডেস্কলগুলি কঠোরভাবে বৃদ্ধি পাচ্ছে, আমি মডেলটিকে "ভাল" বলছি, তবে এই প্রক্রিয়াটির পরিমাণ নির্ধারণ করতে আমার সমস্যা হচ্ছে, এবং আমি নিশ্চিত হয়েছি যে এর চেয়ে আরও ভাল কিছু আছে I've কাছে।

/ সম্পাদনা 2: আমি এমন একটি সূত্র খুঁজছি যা পূর্বাভাস দেওয়া এবং প্রকৃত মান নিয়ে এবং কিছু "ত্রুটি" বা "নির্ভুলতা" মেট্রিক ফেরত দেয়। আমার পরিকল্পনাটি ক্রস-বৈধকরণের সময় আউট-অফ-ফোল্ড ডেটাতে এই ফাংশনটি গণনা করা এবং তারপরে এটি বিভিন্ন ধরণের মডেলের (যেমন একটি পিসন রিগ্রেশন, একটি এলোমেলো বন এবং একটি জিবিএম ) তুলনা করতে ব্যবহার করুন ।

উদাহরণস্বরূপ, এই জাতীয় একটি ফাংশন RMSE = sqrt(mean((predicted-actual)^2))। এরকম আরও একটি ফাংশন হবে এউসি । উভয়ই ফাংশন পিসন ডেটার জন্য সঠিক বলে মনে হচ্ছে না।

— জ্যাক
সূত্র

পইসন মডেলগুলির জন্য আপনি বিচ্যুতি ব্যবহার করতে পারেন; যা এমএসইর মতো তবে পইসনের কাছে এটি আরও উপযুক্ত। আপনি যদি নমুনার আকারগুলি ছোট না করেন তবে একটি ওজনযুক্ত এমএসই বেশ সমান হবে।

— গ্লেন_বি -রিনস্টেট মনিকা

@ গ্লেেন_বি বিচ্যুততার সূত্র কী?

— Zach

বক্রতা । আপনি কিভাবে আপনার পোয়েসন মডেল ফিট?

— গ্লেন_বি -রিনস্টেট মনিকা

দণ্ডিত পোয়েসন রিগ্রেশন থেকে শুরু করে একটি জিবিএম পর্যন্ত কয়েকটি বিভিন্ন উপায়। আমি বিভিন্ন মডেলের তুলনা করার জন্য একটি ভাল ত্রুটি মেট্রিক খুঁজছি। পরামর্শের জন্য ধন্যবাদ.

— Zach

পইসন রিগ্রেশন কমপক্ষে আপনাকে স্বয়ংক্রিয়ভাবে একটি

— বিচ্যুতি দেওয়া

আপনি গণনা ডেটা ব্যবহার করতে পারেন তার জন্য বেশ কয়েকটি যথাযথ এবং কঠোরভাবে সঠিক স্কোরিং নিয়ম রয়েছে। স্কোরিং নিয়মগুলি হ'ল জরিমানা সাথে ভবিষ্যদ্বাণীমূলক বিতরণ এবং পর্যবেক্ষণকৃত মান হিসাবে প্রবর্তিত । তাদের বেশ কয়েকটি পছন্দসই বৈশিষ্ট্য রয়েছে, প্রথম এবং সর্বাগ্রে যে সত্য সম্ভাবনার কাছাকাছি অবস্থিত একটি পূর্বাভাস সর্বদা কম শাস্তি প্রাপ্ত হবে এবং একটি (অনন্য) সর্বোত্তম পূর্বাভাস রয়েছে এবং এটি যখন ভবিষ্যদ্বাণী করা সম্ভাবনাটি সত্য সম্ভাবনার সাথে মিলিত হয়। সুতরাং প্রত্যাশা হ্রাস করার অর্থ সত্য সম্ভাবনার প্রতিবেদন করা। উইকিপিডিয়াও দেখুন । $s(y,P)$ $P$ $y$ $s(y,P)$

প্রায়শই সমস্ত হিসাবে পূর্বাভাসিত মানগুলির মধ্যে একটি গড় হয়

$S=\frac{1}{n}\sum_{i=1}^n s(y^{(i)},P^{(i)})$

কোন নিয়মটি গ্রহণ করা হবে তা আপনার উদ্দেশ্যের উপর নির্ভর করে তবে যখন প্রতিটি ব্যবহার করা ভাল তখন আমি একটি মোটামুটি বৈশিষ্ট্য দেব।

এরপরে আমি ভবিষ্যদ্বাণীমূলক সম্ভাব্য ভর ফাংশন এবং এর পূর্বাভাসমূলক संचयी বিতরণ ফাংশনের জন্য ব্যবহার করি । A গণনা বিতরণের পুরো সমর্থনের উপরে চলে (যেমন, )। একটি সূচক ফাংশন বোঝায়। এবং ভবিষ্যদ্বাণীমূলক বিতরণের গড় এবং মানক বিচ্যুতি (যা সাধারণত গণনা ডেটা মডেলগুলিতে সরাসরি অনুমান পরিমাণ হয়)। $f(y)$ $\Pr(Y=y)$ $F(y)$ $\sum_k$ $0,1,\dots, \infty$ $I$ $\mu$ $\sigma$

কঠোরভাবে সঠিক স্কোরিংয়ের নিয়ম

ব্রিয়ার স্কোর : (শ্রেণিবদ্ধ ভবিষ্যদ্বাণীগুলিতে আকারের ভারসাম্যের জন্য স্থিতিশীল) $s(y,P)=-2 f(y) + \sum_k f^2(k)$
দাউদ-সেবাস্তানী স্কোর : (সাধারণ ভবিষ্যদ্বাণীপূর্ণ মডেল নির্বাচনের জন্য ভাল; বিভাগীয় পূর্বাভাসকারীদের আকারের ভারসাম্যহীনতার জন্য স্থিতিশীল) $s(y,P)=(\frac{y-\mu}{\sigma})^2+2\log\sigma$
ডিভ্যান্স স্কোর : ( ) একটি নরমালাইজেশন টার্ম যা কেবল উপর নির্ভর করে , মডেলগুলিতে এটি সাধারণত স্যাচুরেটেড ডিভ্যান্স হিসাবে গৃহীত হয়; থেকে অনুমানের সাথে ব্যবহারের জন্য ভাল একটি এমএল কাঠামো) $s(y,P)=-2\log f(y) + g_y$ $g_y$ $y$
লোগারিদমিক স্কোর : (খুব সহজেই গণনা করা হয়; শ্রেণিবদ্ধ ভবিষ্যদ্বাণীগুলিতে আকারের ভারসাম্যের জন্য স্থিতিশীল) $s(y,P)=-\log f(y)$
সম্ভাব্যতার স্কোর : (খুব উচ্চমানের বিভিন্ন পূর্বাভাসের বিপরীতে ভাল; শ্রেণিবদ্ধ ভবিষ্যদ্বাণীগুলিতে আকারের ভারসাম্যহীনতায় সংবেদনশীল) $s(y,P)=\sum_k \{F(k)-I(y\leq k)\}^2$
গোলাকার স্কোর : (শ্রেণিবদ্ধ ভবিষ্যদ্বাণীগুলিতে আকারের ভারসাম্যের জন্য স্থিতিশীল) $s(y,P)=\frac{f(y)}{\sqrt{\sum_k f^2(k)}}$

অন্যান্য স্কোরিং বিধি (এতটা সঠিক না তবে প্রায়শই ব্যবহৃত হয়)

পরম ত্রুটি স্কোর :(সঠিক নয়) $s(y,P)=|y-\mu|$
স্কোয়ারড ত্রুটি স্কোর : (কঠোরভাবে যথাযথ নয়; বহিরাগতদের কাছে সংবেদনশীল; বিভাগীয় ভবিষ্যদ্বাণীকারীদের আকারের ভারসাম্যহীনতায় সংবেদনশীল) $s(y,P)=(y-\mu)^2$
পিয়ারসন সাধারণ স্কোয়ার ত্রুটির স্কোর : (কঠোরভাবে যথাযথ নয়; বহিরাগতদের কাছে সংবেদনশীল); গড় স্কোর কিনা তা পরীক্ষা করার জন্য মডেল পরীক্ষা করতে ব্যবহার করা যেতে পারে 1 থেকে খুব আলাদা; শ্রেণিবদ্ধ পূর্বাভাসকারীদের আকারের ভারসাম্যের জন্য স্থিতিশীল) $s(y,P)=(\frac{y-\mu}{\sigma})^2$

কঠোরভাবে সঠিক নিয়মের জন্য আর কোডের উদাহরণ:

library(vcdExtra)
m1 <- glm(Freq ~ mental, family=poisson, data=Mental) 

# scores for the first observation
mu <- predict(m1, type="response")[1]
x  <- Mental$Freq[1]

# logarithmic (equivalent to deviance score up to a constant) 
-log(dpois(x, lambda=mu))

# quadratic (brier)
-2*dpois(x,lambda=mu) + sapply(mu, function(x){ sum(dpois(1:1000,lambda=x)^2) })

# spherical
- dpois(x,mu) / sqrt(sapply(mu, function(x){ sum(dpois(1:1000,lambda=x)^2) }))

# ranked probability score
sum(ppois((-1):(x-1), mu)^2) + sum((ppois(x:10000,mu)-1)^2)

# Dawid Sebastiani
(x-mu)^2/mu + log(mu)

— মম
সূত্র

@ মোমো, এটি একটি পুরানো থ্রেড তবে খুব ভাল এবং দরকারী। লগারিদমিক স্কোর সম্পর্কে তবে প্রশ্ন। আপনি ফাংশন ব্যবহার করেছেন -log(f(y))। হয় -নিদর্শন সত্যিই সেখানে হওয়া উচিত? আপনার স্কোরিং নিয়ম উইকিপিডিয়া লিঙ্কে ( en.wikedia.org/wiki/Scoring_rule# লোগারিদমিক_সকোরিং_রোল ) কোনও লগারিদমিক স্কোরকে নেতিবাচক চিহ্ন হিসাবে দেখানো হয়নি: L(r,i)=ln(ri)এটি কি স্বাভাবিক? অবশেষে, সেক্ষেত্রে উচ্চতর স্কোরটি ভাল না খারাপ?

— বাসটিয়েন

মডেলগুলির প্রাক্কলনের জন্য ব্যবহৃত ডেটার অংশ নয় এমন বৈধতা ডেটা-সেটে এই ব্যবস্থাগুলি গণনা করা কি আরও ভাল (বা কমপক্ষে আরও রক্ষণশীল এবং আরও বাস্তববাদী)?

— ফ্রেড

BLlewis.github.io/GLM এর মতো পুনরুদ্ধারিত ন্যূনতম স্কোয়ারগুলি ব্যবহার করে জিএলএমগুলি ফিট রয়েছে তা প্রদত্ত যে , জিএলএম লিঙ্ক স্কেলে একটি ভারী আর 2 গণনা করার ক্ষেত্রে আসলে আপত্তি কী হবে, 1 / ভেরিয়েন্ট ওয়েটকে ওজন হিসাবে ব্যবহার করে (যা গ্লোম ফেরত দেয়) একটি গ্লাম ফিট মধ্যে স্লট ওজনে)? এটি ঠিক পইসন গ্ল্যামের জন্যও কাজ করবে?

— টম ভেনসিলিয়ার্স

পুনরুত্পাদনযোগ্য উদাহরণের জন্য stats.stackexchange.com/questions/412580/… দেখুন ...

— টম ওয়ানসিলিয়ার্স