লিনিয়ার রিগ্রেশন-এ এক্স-ইন্টারসেপ্টের আত্মবিশ্বাসের ব্যবধানটি কীভাবে গণনা করব?

যেহেতু একটি লিনিয়ার রিগ্রেশনটির স্ট্যান্ডার্ড ত্রুটি সাধারণত প্রতিক্রিয়া পরিবর্তনশীলের জন্য দেওয়া হয়, তাই আমি ভাবছি যে কীভাবে অন্য দিক থেকে আত্মবিশ্বাসের অন্তরগুলি গ্রহণ করতে পারি - যেমন এক্স-ইন্টারসেপ্টের জন্য। আমি এটি কী হতে পারে তা ভিজ্যুয়ালাইজ করতে সক্ষম, তবে আমি নিশ্চিত যে এটি করার জন্য একটি সহজ উপায় থাকতে হবে। এটি কীভাবে কল্পনা করা যায় তার নীচে আর এর একটি উদাহরণ দেওয়া হল:

set.seed(1)
x <- 1:10
a <- 20
b <- -2
y <- a + b*x + rnorm(length(x), mean=0, sd=1)

fit <- lm(y ~ x)
XINT <- -coef(fit)[1]/coef(fit)[2]

plot(y ~ x, xlim=c(0, XINT*1.1), ylim=c(-2,max(y)))
abline(h=0, lty=2, col=8); abline(fit, col=2)
points(XINT, 0, col=4, pch=4)
newdat <- data.frame(x=seq(-2,12,len=1000))

# CI
pred <- predict(fit, newdata=newdat, se.fit = TRUE) 
newdat$yplus <-pred$fit + 1.96*pred$se.fit 
newdat$yminus <-pred$fit - 1.96*pred$se.fit 
lines(yplus ~ x, newdat, col=2, lty=2)
lines(yminus ~ x, newdat, col=2, lty=2)

# approximate CI of XINT
lwr <- newdat$x[which.min((newdat$yminus-0)^2)]
upr <- newdat$x[which.min((newdat$yplus-0)^2)]
abline(v=c(lwr, upr), lty=3, col=4)

r regression confidence-interval bootstrap

— বক্সে মার্ক
সূত্র

আপনি এই বুটস্ট্র্যাপ পারে:

library(boot);  sims <- boot(data.frame(x, y), function(d, i) {   fit <- lm(y ~ x, data = d[i,])   -coef(fit)[1]/coef(fit)[2] }, R = 1e4);  points(quantile(sims$t, c(0.025, 0.975)), c(0, 0))

। বিপর্যয় পূর্বাভাস chemCal:::inverse.predictঅন্তরায় জন্য নিম্নলিখিত ফাইলের সাহায্যের ফাইলটি সিআই প্রাপ্তিতে সহায়তা করতে পারে যা: ম্যাসার্ট, এলএম, ভ্যান্ডেনগিনস্টে, বিজিএম, বাইডেনস, এলএমসি, ডি জং, এস, লেভি, পিজে, স্মিয়ার্স-ভারবেকে, জে (1997) ) কেমোমেট্রিক্স এবং কোয়ালিমেট্রিক্সের হ্যান্ডবুক: পর্ব এ, পি। 200

— রোল্যান্ড

গ্রাফটিতে আপনি যা দেখান তা ইন্টারসেপ্টের জন্য সিআই নয়। আপনি সেই পয়েন্টগুলি দেখান যেখানে অনুমানের নিম্ন এবং উপরের আত্মবিশ্বাসের রেখাটি অক্ষটি অতিক্রম করে।

— রোল্যান্ড

প্রায়শই লিনিয়ার রিগ্রেশনে একজনের এমন মডেল থাকে যা এরকম কিছু বলে:

Y_{i} = α + β x_{i} + ε_{i} where ε_{1}, \dots ε_{n} \sim i.i.d. N (0, σ^{2}),

$Y_i = \alpha + \beta x_i + \varepsilon_i \quad \text{where } \varepsilon_1,\ldots\varepsilon_n \sim \text{i.i.d. } N(0,\sigma^2),$ যাতে

Y

$Y$ গুলি এলোমেলো এবং হিসাবে বিবেচিত হয়

x

$x$ ঠিক আছে হিসাবে। এটি দিয়ে আপনি ন্যায়সঙ্গত বিতরণ খুঁজছেন তা বলে ন্যায়সঙ্গত হতে পারে

x

$x$ গুলি। অনুশীলনে আপনি যদি কোনও নতুন নমুনা নেন তবে এটি সাধারণত হয় না

Y

$Y$ গুলি কিন্তু

x

$x$ এই পরিবর্তনটি, কিছু পরিস্থিতিতে তাদের এলোমেলো হিসাবে বিবেচনা করা উচিত বলে পরামর্শ দেয়। আমি ভাবছি যদি এটি উত্সাহিত হয়

\dots

$\,\ldots\qquad$

— মাইকেল হার্ডি

stats.stackexchange.com/search?q="inverse+regression "

— হুঁশিয়ারি

@ অ্যাড্রিয়েন রেনাউড - আমার কাছে মনে হবে যে আমি যে অসম্পূর্ণ দিকগুলি উল্লেখ করেছি সেগুলি দেখে আপনার উত্তর অত্যধিক সরলতাযুক্ত এবং রোল্যান্ড চিত্রিত বুটস্ট্র্যাপিং অনুশীলনের মাধ্যমে তুলে ধরা হয়েছে। আমি যদি খুব বেশি জিজ্ঞাসা না করি তবে সম্ভবত আপনি যে সম্ভাব্যতাটি উল্লেখ করেছেন তার দিকে প্রসারিত হতে পারে।

— মার্কে

উত্তর:

লিনিয়ার রিগ্রেশন-এ এক্স-ইন্টারসেপ্টের আত্মবিশ্বাসের ব্যবধানটি কীভাবে গণনা করব?

Asumptions

সাধারণ রিগ্রেশন মডেলটি ব্যবহার করুন $y_i = \alpha + \beta x_i + \varepsilon_i$ ।
ত্রুটিগুলি রেজিস্ট্রারগুলিতে শর্তসাপেক্ষে সাধারণ বিতরণ থাকে $\epsilon | X \sim \mathcal{N}(0, \sigma^2 I_n)$
সাধারণ সর্বনিম্ন বর্গ ব্যবহার করে ফিট করুন Fit

এক্স-ইন্টারসেপ্টের উপর আস্থার ব্যবধান গণনা করার জন্য 3 পদ্ধতি

টেলর সম্প্রসারণ (সহজে ব্যবহারযোগ্য)
বক্স পদ্ধতিতে মার্ক (এমআইবি)
ক্যাপিটানি-পোলাস্ট্রি ( https://boa.unimib.it/retrieve/handle/10281/43053/64388/DECAPITANI_Pollastri.pdf )

প্রথম অর্ডার টেলর সম্প্রসারণ

আপনার মডেল হয় $Y=aX+b$ আনুমানিক মান বিচ্যুতি সঙ্গে $\sigma_a$ এবং $\sigma_b$ চালু $a$ এবং $b$ পরামিতি এবং আনুমানিক কোভেরিয়েন্স $\sigma_{ab}$ । আপনি সমাধান করুন

a X + b = 0 \Leftrightarrow X = \frac{- b}{a} .

$aX+b=0 \Leftrightarrow X= \frac{-b} a.$

তারপরে স্ট্যান্ডার্ড বিচ্যুতি $\sigma_X$ চালু $X$ দেওয়া হয়:

{(\frac{σ_{X}}{X})}^{2} = {(\frac{σ_{b}}{b})}^{2} + {(\frac{σ_{a}}{a})}^{2} - 2 \frac{σ_{a b}}{a b} .

$\left( \frac {\sigma_X} X \right)^2 = \left( \frac {\sigma_b} b \right)^2 + \left( \frac {\sigma_a} a \right)^2 - 2 \frac{\sigma_{ab}}{ab}.$

MIB

মার্কে কোডটি বক্সে দেখুন কীভাবে লিনিয়ার রিগ্রেশনটিতে এক্স-ইন্টারসেপ্টের আত্মবিশ্বাসের ব্যবধান গণনা করতে হবে? ।

CAPITANI-POLLASTRI

ক্যাপিটানি-পোলাস্ট্রি দুটি স্বরযুক্ত স্বাভাবিক র্যান্ডম ভেরিয়েবলের অনুপাতের জন্য সম্মিলিত বিতরণ ফাংশন এবং ঘনত্ব ফাংশন সরবরাহ করে। এটি লিনিয়ার রিগ্রেশন-এ এক্স-ইন্টারসেপ্টের আত্মবিশ্বাসের ব্যবধান গণনা করতে ব্যবহার করা যেতে পারে। এই পদ্ধতিটি এমআইবি থেকে প্রাপ্ত হিসাবে প্রায় (প্রায়) অভিন্ন ফলাফল দেয়।

প্রকৃতপক্ষে, সাধারণ সর্বনিম্ন বর্গক্ষেত্র ব্যবহার এবং ত্রুটির স্বাভাবিকতা ধরে নেওয়া, $\hat\beta \sim \mathcal{N}(\beta, \sigma^2 (X^TX)^{-1})$ (যাচাই করা) এবং $\hat{\beta}$ এর পারস্পরিক সম্পর্কযুক্ত (যাচাই করা হয়েছে)।

পদ্ধতিটি নিম্নলিখিত:

এর জন্য ওএলএসের অনুমানকারী পান $a$ এবং $b$ ।
ভেরিয়েন্স-কোভারিয়েন্স ম্যাট্রিক্স এবং এক্সট্র্যাক্ট পান, $\sigma_a, \sigma_b, \sigma_{ab}=\rho\sigma_a\sigma_b$ ।
ধরুন $a$ এবং $b$ একটি বিভায়ারিয়েট সম্পর্কিত সম্পর্কিত সাধারণ বিতরণ অনুসরণ করুন $\mathcal{N}(a, b, \sigma_a, \sigma_b, \rho)$ । তারপরে ঘনত্বের ক্রিয়া এবং সংশ্লেষিত বিতরণ ফাংশন $x_{intercept}= \frac{-b}{a}$ ক্যাপিটানি-পোলাস্ট্রি দ্বারা প্রদত্ত।
এর ক্রমবর্ধমান বিতরণ ফাংশনটি ব্যবহার করুন $x_{intercept}= \frac{-b}{a}$ কাঙ্ক্ষিত কোয়ান্টাইলগুলি গণনা করতে এবং একটি আন্তঃবিশ্বের ব্যবধান সেট করতে।

3 পদ্ধতির তুলনা

পদ্ধতিগুলি নিম্নলিখিত ডেটা কনফিগারেশন ব্যবহার করে তুলনা করা হয়:

x <- 1:10
a <- 20
খ <- -2
y <- a + b * x + rnorm (দৈর্ঘ্য (এক্স), গড় = 0, এসডি = 1)

10000 ডিফেরেন্ট নমুনা 3 টি পদ্ধতি ব্যবহার করে উত্পন্ন এবং বিশ্লেষণ করা হয়। উত্পন্ন ও বিশ্লেষণের জন্য ব্যবহৃত কোড (আর) পাওয়া যাবে: https://github.com/adrienrenaud/stackExchange/blob/master/crossValidated/q221630/answer.ipynb

এমআইবি এবং ক্যাপিটানি-পোলাস্ট্রি সমান ফলাফল দেয়।
প্রথম অর্ডার টেলর সম্প্রসারণ দুটি অন্যান্য পদ্ধতির থেকে উল্লেখযোগ্যভাবে পৃথক।
এমআইবি এবং ক্যাপিটানি-পোলাস্ট্রি আন্ডার-কভারেজ থেকে ভুগছে। 68% (95%) সিআই সময়কার সত্যিকারের মান 63% (92%) ধারণ করে।
প্রথম অর্ডার টেলর সম্প্রসারণ ওভার-কভারেজ থেকে ভোগে। 68% (95%) সিআই সময়টির সত্যিকারের মান 87% (99%) ধারণ করে।

উপসংহার

এক্স-ইন্টারসেপ্ট বিতরণ অসম্পূর্ণ as এটি একটি অসামান্য আত্মবিশ্বাসের অন্তরকে ন্যায়সঙ্গত করে তোলে। এমআইবি এবং ক্যাপিটানি-পোলাস্ট্রি সমান ফলাফল দেয়। ক্যাপিটানি-পোলাস্ট্রির একটি দুর্দান্ত তাত্ত্বিক ন্যায়সঙ্গততা রয়েছে এবং এটি এমআইবির ভিত্তি দেয়। এমআইবি এবং ক্যাপিটানি-পোলাস্ট্রি মাঝারি আন্ডার কভারেজ থেকে ভুগছে এবং আত্মবিশ্বাসের ব্যবধানগুলি সেট করতে ব্যবহার করা যেতে পারে।

— অ্যাড্রিন রেনাড
সূত্র

এই সুন্দর উত্তরের জন্য ধন্যবাদ। এই পদ্ধতিটি কি বোঝায় যে এক্স-ইন্টারসেপ্টের স্ট্যান্ডার্ড ত্রুটিটি প্রতিসম হয়? আমার চিত্রের পূর্বাভাস অন্তরগুলি বোঝায় যে এটি ঘটনা নয় এবং আমি অন্য কোথাও এর উল্লেখ দেখতে পেয়েছি।

— মার্ক

হ্যাঁ, এটি প্রতিসাম্য বিরতি বোঝায়। যদি আপনি একটি অসমমিতি চান, আপনি আপনার মডেল পরামিতিগুলিকে উপদ্রব পরামিতি হিসাবে বিবেচনা করে এমন একটি প্রোফাইল সম্ভাবনা ব্যবহার করতে পারেন। তবে এটি আরও কাজ :)

— অ্যাড্রিন রেনাউড

আপনি কীভাবে সেই অভিব্যক্তিটি পেতে পারেন তার আরও বিশদ ব্যাখ্যা করতে পারেন

(σ_{X} / X)^{2}

$(\sigma_X/X)^2$ ?

@fcop এটি একটি টেলর সম্প্রসারণ। কটাক্ষপাত আছে en.wikipedia.org/wiki/Propagation_of_uncertainty

— Adrien Renaud

আমি অবশিষ্টাংশগুলি বুটস্ট্র্যাপিংয়ের পরামর্শ দেব:

library(boot)

set.seed(42)
sims <- boot(residuals(fit), function(r, i, d = data.frame(x, y), yhat = fitted(fit)) {

  d$y <- yhat + r[i]

  fitb <- lm(y ~ x, data = d)

  -coef(fitb)[1]/coef(fitb)[2]
}, R = 1e4)
lines(quantile(sims$t, c(0.025, 0.975)), c(0, 0), col = "blue")

আপনি গ্রাফটিতে যা দেখান তা হ'ল পয়েন্টগুলি যেখানে পূর্বাভাসগুলির আত্মবিশ্বাস ব্যান্ডের নিম্ন / উপরের সীমাটি অক্ষটি অতিক্রম করে। আমি মনে করি না যে এগুলি ইন্টারসেপ্টের আত্মবিশ্বাসের সীমা, তবে তারা সম্ভবত মোটামুটি।

— রোল্যান্ড
সূত্র

দুর্দান্ত - এটি ইতিমধ্যে আপনার মন্তব্য থেকে উদাহরণের চেয়ে আরও যুক্তিসঙ্গত দেখাচ্ছে। আবার ধন্যবাদ.

— মার্ক