কেন পিয়ারসনের অবশিষ্টাংশগুলি নেতিবাচক দ্বিপদী রিগ্রেশন থেকে পিসন রিগ্রেশনগুলির চেয়ে ছোট?

আমার এই ডেটা আছে:

set.seed(1)
predictor  <- rnorm(20)
set.seed(1)
counts <- c(sample(1:1000, 20))
df <- data.frame(counts, predictor)

আমি একটি পিসন রিগ্রেশন চালিয়েছি

poisson_counts <- glm(counts ~ predictor, data = df, family = "poisson")

এবং একটি নেতিবাচক দ্বিপদী রিগ্রেশন:

require(MASS)
nb_counts <- glm.nb(counts ~ predictor, data = df)

তারপরে আমি পয়েসন রিগ্রেশনটির জন্য ছড়িয়ে পড়া পরিসংখ্যানের জন্য গণনা করেছি:

sum(residuals(poisson_counts, type="pearson")^2)/df.residual(poisson_counts)

# [1] 145.4905

এবং নেতিবাচক দ্বিপদী রিগ্রেশন:

sum(residuals(nb_counts, type="pearson")^2)/df.residual(nb_counts)

# [1] 0.7650289

যদি কেউ ব্যাখ্যা করতে সক্ষম হয়, মূল্য ব্যবহার না করে কেন, নেতিবাচক দ্বিপদী প্রতিরোধের জন্য ছড়িয়ে পড়া পরিসংখ্যানটি পোয়েসন রিগ্রেশনের জন্য ছড়িয়ে পড়া পরিসংখ্যানের তুলনায় যথেষ্ট ছোট?

— Luciano
সূত্র

উত্তর:

এটি বরং সোজা, তবে "সমীকরণ ব্যবহার না করে" হ'ল যথেষ্ট প্রতিবন্ধকতা। আমি এটি কথায় ব্যাখ্যা করতে পারি, তবে এই শব্দগুলি অগত্যা সমীকরণগুলি আয়না করে দেবে। আমি আশা করি এটি আপনার কাছে গ্রহণযোগ্য / এখনও কিছু মূল্যবান হবে। (সম্পর্কিত সমীকরণগুলি কঠিন নয়))

বিভিন্ন ধরণের অবশিষ্টাংশ রয়েছে। কাঁচা অবশিষ্টাংশ হ'ল পর্যবেক্ষিত প্রতিক্রিয়া মানগুলির (আপনার ক্ষেত্রে ক্ষেত্রে counts) এবং মডেলের পূর্বাভাসিত প্রতিক্রিয়া মানগুলির মধ্যে পার্থক্য । পিয়ারসনের অবশিষ্টাংশগুলি স্ট্যান্ডার্ড বিচ্যুতি দ্বারা ভাগ করে নিন (আপনি যে জেনারালাইজড লিনিয়ার মডেলটি ব্যবহার করছেন তার বিশেষ সংস্করণের জন্য বৈকল্পিক ফাংশনের বর্গমূল)।

পোইসন বিতরণের সাথে সম্পর্কিত স্ট্যান্ডার্ড বিচ্যুতি নেতিবাচক দ্বিপদী থেকে ছোট । সুতরাং, আপনি যখন একটি বৃহত্তর ডিনোমিনেটর দ্বারা ভাগ করেন, ভাগফলটি ছোট হয়।

এছাড়াও, নেতিবাচক দ্বিপদী আপনার ক্ষেত্রে আরও উপযুক্ত, কারণ আপনার countsজনসংখ্যায় ইউনিফর্ম হিসাবে বিতরণ করা হবে। অর্থাৎ, তাদের বৈকল্পিকতা তাদের গড়ের সাথে সমান হবে না।

— gung - মনিকা পুনরায় স্থাপন করুন
সূত্র

যদিও ওপি একটি অ-গাণিতিক ব্যাখ্যা চেয়েছে, তবুও এই উত্তরটির গাণিতিক (বা কিছু সমানভাবে কঠোর এবং স্পষ্ট) ন্যায়সঙ্গততা দেখে ভাল লাগবে। প্রশ্নটি পড়ার পরে আমার অন্তর্নিহিততাটি ছিল যে "যেহেতু পোইসন এনবি-র একটি (সীমিত) বিশেষ ক্ষেত্র এবং এনবিতে আরও পরামিতি রয়েছে, ফিটিংয়ের ক্ষেত্রে আরও নমনীয়তা রয়েছে, সুতরাং অবশ্যই প্রতিস্থাপনের সময় কোনওরকম যুক্তিসঙ্গত পদক্ষেপ বাড়াতে হবে না একটি এনবি জিএলএম দ্বারা একটি পইসন জিএলএম। " আমি ভাবছি যে এই জাতীয় অন্তর্দৃষ্টি সত্যই সঠিক ছিল কিনা।

— হোবার

যদি

X \sim Poisson (λ)

$X\sim\text{Poisson}(\lambda)$ ,

E [X] = V [X] = λ

$E[X]=V[X]=\lambda$ । যদি

X \sim NegBin (r, p)

$X\sim\text{NegBin}(r,p)$ ,

E [X] = p r / (1 - p)

$E[X]=pr/(1-p)$ এবং

V [X] = p r / (1 - p)^{2}

$V[X]=pr/(1-p)^2$ । সুতরাং একটি পাইসন বৈকল্পিক গড়ের সমান, একটি নেগবিনের বৈকল্পিক গড়ের চেয়ে বড় (

p < 1 \Rightarrow (1 - p)^{2} < (1 - p)

$p<1\Rightarrow (1-p)^2<(1-p)$ )। এ কারণেই "পয়সন বিতরণের সাথে সম্পর্কিত মানক বিচ্যুতি নেতিবাচক দ্বিপদী থেকে ছোট is"

— সার্জিও

@ সেরজিও বিষয়টির মূল বিষয়টি হ'ল পোইসন মডেলটিতে আমরা অনুমান নিয়ে কাজ করছি

\hat{λ}

$\hat\lambda$ বরং

λ

$\lambda$ নিজে এবং এনবি মডেলে আমরা একইভাবে দুটি অনুমান নিয়ে কাজ করছি

\hat{r}

$\hat{r}$ এবং

\hat{p}

$\hat{p}$ । আপনার তুলনা তাই সরাসরি প্রযোজ্য না। উভয়ই মডেলটিতে এমএলই-এর সূত্রগুলি লিখে না ফেলে those অনুমানের সেটগুলির মধ্যে সম্পর্কগুলি কী হওয়া উচিত তা মোটেই সুস্পষ্ট নয়। তদ্ব্যতীত, পিয়ারসন অবশিষ্টগুলি একটি অনুপাত এবং বৈচিত্রগুলি সম্পর্কে যুক্তি কেবল ডিনোমিনেটরকে সম্বোধন করে, যা কেবল অর্ধেক গল্প।

— শুশুক

এমএলই অনুমান সামঞ্জস্যপূর্ণ। সমস্যাটি হ'ল যখন গাং বলে, "জনগণের মধ্যে ইউনিফর্ম হিসাবে গণনাগুলি বিতরণ করা হবে That অর্থাৎ তাদের বৈচিত্রটি তাদের গড়ের সাথে সমান হবে না", আপনি কখনই কোনও অনুমানের চেয়ে বড় পোয়েসন বৈকল্পিক পেতে পারবেন না be পইসন বলতে বোঝায়, আপনার অনুমানটি পক্ষপাতহীন এবং সামঞ্জস্যপূর্ণ হলেও। এটি ভুল বানানের সমস্যা।

— সার্জিও

পইসন মডেলটির জন্য, যদি এর জন্য এক্সপেশন $i$ তম পর্যবেক্ষণ $Y_i$ হয় $\mu_i$ এর বৈকল্পিকতা $\mu_i$ , এবং তাই পিয়ারসন অবশিষ্ট

\frac{y_{i} - {\hat{μ}}_{i}}{\sqrt{{\hat{μ}}_{i}}}

$\frac{y_i-\hat\mu_i}{\sqrt{\hat\mu_i}}$

কোথায় $\hat\mu$ গড় গড় অনুমান হয়। ম্যাসে ব্যবহৃত নেতিবাচক দ্বিপদী মডেলের প্যারামিট্রাইজেশন এখানে ব্যাখ্যা করা হয়েছে । এর জন্য যদি এক্সপেকশন হয় $i$ তম পর্যবেক্ষণ $Y_i$ হয় $\mu_i$ এর বৈকল্পিকতা $\mu_i + \frac{\mu^2}{\theta}$ , এবং তাই পিয়ারসন অবশিষ্ট

\frac{Y_{আমি} - {\tilde{μ}}_{আমি}}{\sqrt{{\tilde{μ}}_{আমি} + + \frac{{\tilde{μ}}^{' 2}}{θ}}}

$\frac{y_i-\tilde\mu_i}{\sqrt{\tilde\mu_i+\frac{\tilde\mu'^2}{\theta}}}$

কোথায় $\tilde\mu$ গড় গড় অনুমান হয়। এর মান যত কম হবে $\theta$ - অর্থাত্ অতিরিক্ত অতিরিক্ত-পয়সন বৈকল্পিক iss, এর পয়েসনের সমতুল্যের তুলনায় অবশিষ্ট ছোট smaller [তবে @ ভুবার যেমন উল্লেখ করেছেন, উপায়গুলির প্রাক্কলনগুলি একই নয়, $\hat\mu\neq\tilde\mu$ , কারণ অনুমান পদ্ধতি তাদের অনুমান করা বৈকল্পিক অনুসারে পর্যবেক্ষণকে ওজন করে। আপনি যদি এর জন্য প্রতিলিপি পরিমাপ করা হয় $i$ ভবিষ্যদ্বাণীকারী প্যাটার্নটি, তারা আরও কাছাকাছি যেতে চাইবে এবং সাধারণভাবে একটি প্যারামিটার যুক্ত করা সমস্ত পর্যবেক্ষণে আরও ভাল ফিট করা উচিত, যদিও আমি কীভাবে এই কঠোরভাবে প্রদর্শন করতে জানি না। সর্বোপরি, পোইসন মডেলটি ধরে রাখলে আপনি যে জনসংখ্যার পরিমাণ অনুমান করছেন তা বৃহত্তর, সুতরাং এটি অবাক হওয়ার মতো কিছু নয়]]

— স্কর্চচি - মনিকা পুনরায় স্থাপন করুন
সূত্র

কিছু সমীকরণ প্রবর্তনের জন্য ধন্যবাদ। কিন্তু হয়

μ_{i}

$\mu_i$ দুটি মডেল একই মান হতে চলেছে? (আমার মনে হয় না।) যদি না হয় তবে কীভাবে দুটি পিয়ারসন অবশিষ্টাংশের তুলনা করা সম্ভব?

— whuber

@ শুভ এই ক্ষেত্রে, এটি দেখা যাচ্ছে যে উভয় মডেলের জন্য লাগানো মানগুলি প্রায় অভিন্ন। সর্বোপরি, "সত্য" মডেলটির সত্যই একটি ইন্টারসেপ রয়েছে এবং সিমুলেশনটিতে এক্স এবং ওয়াইয়ের মধ্যে কোনও সম্পর্ক নেই বলে মূলত গড়কে মডেলিং করে চলেছে।

— jsk

@ জেএসকি হ্যাঁ, আমি ডেটাটি দেখেছি এবং কোডটি চালিয়েছি। (বিটিডাব্লু), ডেটা পরিবর্তন করা এবং মূলত একইরকম পাওয়া সম্ভব দুটি মডেলের জন্য ছড়িয়ে পড়া পরিসংখ্যান ।) হায়, আপনার বক্তব্য, যা বৈধ, এখনও নির্দিষ্ট প্রশ্ন মীমাংসা করে না এবং এটি সম্পর্কে (অন্তর্নিহিত) সাধারণ প্রশ্নের সমাধান করে না পোইসন রেসিডুয়ালিগুলিকে এনবি অবশিষ্টাংশের সাথে তুলনা করুন, কারণ আনুমানিক রূপগুলিও প্রায় অভিন্ন হতে পারে। বর্তমান উত্তর সম্পর্কে একটি সম্ভাব্য বিভ্রান্তিকর দিকটি হল প্রতীকটি ব্যবহার করা "

μ_{i}

$\mu_i$ " একই তথ্যের দুটি

— মডেলটিতে

@ হুবুহু, আপনার ব্যবহার সম্পর্কে বৈধ পয়েন্ট রয়েছে

μ_{i}

$\mu_i$ । মজার বিষয় হচ্ছে, আমি ডেটা সিমুলেট করার কোনও উপায় খুঁজে পাব বলে মনে হচ্ছে না যা পয়সনের জন্য এনবি চেয়ে কম বিস্তারের পরিসংখ্যানের ফলস্বরূপ। সম্ভবত এটা সম্ভব না? আমি স্বীকার করি যে এটি স্বজ্ঞাতভাবে বোঝা যায়। আপনি যখন পরিচয় ব্যতীত অন্য কোনও লিঙ্ক ফাংশন সহ কোনও গ্ল্যাম রাখেন তখন ম্লেটির জন্য বন্ধ ফর্ম সমাধান উপস্থিত না থাকায় এটি প্রমাণ করা সহজ নয়। তবে হ্যাঁ, দুটি ছড়িয়ে দেওয়ার পরিসংখ্যানকে খুব মিল দেওয়া সহজ।

— jsk

@ জেএসকি - কোনও এনবি মডেল পোয়েসনের তুলনায় সর্বদা ভাল ফিট হবে এমন সন্দেহ করার একটি তাত্ত্বিক যুক্তি হ'ল আপনি পিসন-গামা যৌগিক বিতরণ হিসাবে এনবি লিখতে পারেন। সুতরাং তোমার আছে

(y_{i} | λ, v_{i}, r) \sim P o i s s o n (λ v_{i})

$( y_i|\lambda, v_i, r)\sim Poisson (\lambda v_i)$ এবং তারপর

(v_{i} | λ, r) \sim G a m m a (r, r)

$(v_i|\lambda, r)\sim Gamma(r, r)$ একটি নেতিবাচক দ্বিপদী মডেল দেয়

(y_{i} | λ, r) \sim N B (r, \frac{λ}{r + λ})

$( y_i|\lambda, r)\sim NB (r,\frac {\lambda}{r+\lambda} )$ । এখন তাদের সংযোজন

v_{i}

$v_i$ প্যারামিটারগুলি মডেলটিকে পর্যবেক্ষণকৃত মানটির (যখন কখন) পূর্বাভাসটিকে আরও বেশি গড়ার অনুমতি দেয়

y_{i} > λ

$y_i>\lambda$ আপনি দেখতে পাবেন

v_{i} > 1

$v_i> 1$ , অবশিষ্টাংশ হ্রাস।)

— সম্ভাব্যতা