বুটস্ট্র্যাপের পূর্বাভাস ব্যবধান

লিনিয়ার রিগ্রেশন বা অন্যান্য রিগ্রেশন পদ্ধতি (কে-নিকটতম প্রতিবেশী, রিগ্রেশন ট্রি ইত্যাদি) থেকে প্রাপ্ত পয়েন্ট পূর্বাভাসের জন্য পূর্বাভাস অন্তরগুলি গণনা করার জন্য কি কোনও বুটস্ট্র্যাপ কৌশল উপলব্ধ?

একরকম আমি অনুভব করি যে মাঝে মাঝে প্রস্তাবিত উপায়টি কেবলমাত্র পয়েন্ট পূর্বাভাসকে বুটস্রেপ করার জন্য (যেমন কেএনএন রিগ্রেশন সম্পর্কিত প্রেডিকশন ইন্টারভালগুলি দেখুন ) কোনও পূর্বাভাস ব্যবধান নয় বরং একটি আত্মবিশ্বাসের ব্যবধান সরবরাহ করে।

আর একটি উদাহরণ

# STEP 1: GENERATE DATA

set.seed(34345)

n <- 100 
x <- runif(n)
y <- 1 + 0.2*x + rnorm(n)
data <- data.frame(x, y)


# STEP 2: COMPUTE CLASSIC 95%-PREDICTION INTERVAL
fit <- lm(y ~ x)
plot(fit) # not shown but looks fine with respect to all relevant aspects

# Classic prediction interval based on standard error of forecast
predict(fit, list(x = 0.1), interval = "p")
# -0.6588168 3.093755

# Classic confidence interval based on standard error of estimation
predict(fit, list(x = 0.1), interval = "c")
# 0.893388 1.54155


# STEP 3: NOW BY BOOTSTRAP
B <- 1000
pred <- numeric(B)
for (i in 1:B) {
  boot <- sample(n, n, replace = TRUE)
  fit.b <- lm(y ~ x, data = data[boot,])
  pred[i] <- predict(fit.b, list(x = 0.1))
}
quantile(pred, c(0.025, 0.975))
# 0.8699302 1.5399179

স্পষ্টতই, 95% বেসিক বুটস্ট্র্যাপ বিরতি 95% আত্মবিশ্বাসের ব্যবধানের সাথে মেলে, 95% পূর্বাভাস ব্যবধানের সাথে নয়। সুতরাং আমার প্রশ্ন: কীভাবে এটি সঠিকভাবে করবেন?

bootstrap prediction-interval

— মাইকেল এম
সূত্র

কমপক্ষে সাধারণ সর্বনিম্ন বর্গক্ষেত্রের ক্ষেত্রে, আপনার কেবলমাত্র বিন্দু পূর্বাভাসের চেয়ে বেশি প্রয়োজন; পূর্বাভাস অন্তরগুলিও তৈরি করতে আপনি আনুমানিক অবশিষ্টাংশ ত্রুটিটি ব্যবহার করতে চান।

— কোডিওলজিস্ট

সম্পর্কিত: stats.stackexchange.com/q/44860

@ ডুপ্লো: এটি নির্দেশ করার জন্য আপনাকে ধন্যবাদ। ক্লাসিক পূর্বাভাস অন্তরগুলির সঠিক দৈর্ঘ্যটি ত্রুটি শর্তের স্বাভাবিকতা অনুমানের উপর সরাসরি নির্ভর করে, সুতরাং এটি যদি খুব আশাবাদী হয় তবে অবশ্যই সেখান থেকে উত্পন্ন হলে বুটস্ট্র্যাপযুক্ত সংস্করণটি হবে। আমি অবাক হয়েছি যে সাধারণ বুটস্ট্র্যাপ পদ্ধতিতে যদি রিগ্রেশনে কাজ করা হয় (অগত্যা ওএলএস নয়)।

— মাইকেল এম

আমি মনে করি \ টেক্সটাইট {কনফর্মাল ইনফারেন্স you আপনি যা চান তা হতে পারে, যা আপনাকে পুনরায় মডেলিং-ভিত্তিক পূর্বাভাস অন্তরগুলি তৈরি করতে দেয় যা বৈধ সীমাবদ্ধ নমুনা কভারেজ রয়েছে এবং খুব বেশি কভার না করে। একটি ভাল কাগজ পাওয়া যায় যা arxiv.org/pdf/1604.04173.pdf এ পাওয়া যায় , যা বিষয়টির একটি ভূমিকা হিসাবে পড়া সম্ভব এবং github.com/ryantibs/conformal থেকে উপলব্ধ একটি আর প্যাকেজ ।

— সাইমন বোগ ব্রেন্ট

পদ্ধতি নীচে তুলে ধরা পাড়া ডেভিডসন ও Hinckley, (1997), ধারা 6.3.3 বর্ণিত এক বুটস্ট্র্যাপ পদ্ধতি এবং তাদের আবেদন । এখানে গ্লেন_বি এবং তার মন্তব্যে ধন্যবাদ । এই বিষয়টিতে ক্রস যাচাই করার জন্য বেশ কয়েকটি প্রশ্ন রয়েছে তা প্রদত্ত, আমি ভেবেছিলাম এটি লেখার পক্ষে উপযুক্ত।

লিনিয়ার রিগ্রেশন মডেলটি হ'ল:

\begin{aligned} Y_{i} & = X_{i} β + ϵ_{i} \end{aligned}

$\begin{align} Y_i &= X_i\beta+\epsilon_i \end{align}$

আমাদের কাছে ডেটা রয়েছে, , যা আমরা হিসাবে অনুমান করতে ব্যবহার করি : $i=1,2,\ldots,N$ $\beta$

\begin{aligned} {\hat{β}}_{OLS} & = {(X^{'} X)}^{- 1} X^{'} Y \end{aligned}

$\begin{align} \hat{\beta}_{\text{OLS}} &= \left( X'X \right)^{-1}X'Y \end{align}$

এখন, আমরা ভবিষ্যদ্বাণী করতে চাই যে একটি নতুন ডেটা পয়েন্টের জন্য কী হবে, প্রদত্ত যে আমরা এর জন্য জানি। এটি ভবিষ্যদ্বাণী সমস্যা। আসুন নতুন কল (যা আমরা জানি) এবং নতুন (যা আমরা ভবিষ্যদ্বাণী করা চাই), । স্বাভাবিক ভবিষ্যদ্বাণী (যদি আমরা ধরে নিই যে আইআইডি এবং ) হ'ল: $Y$ $X$ $X$ $X_{N+1}$ $Y$ $Y_{N+1}$ $\epsilon_i$ $X$

\begin{aligned} Y_{N + 1}^{p} & = X_{N + 1} {\hat{β}}_{OLS} \end{aligned}

$\begin{align} Y^p_{N+1} &= X_{N+1}\hat{\beta}_{\text{OLS}} \end{align}$

এই পূর্বাভাস দ্বারা করা পূর্বাভাস ত্রুটিটি হ'ল:

\begin{aligned} e_{N + 1}^{p} & = Y_{N + 1} - Y_{N + 1}^{p} \end{aligned}

$\begin{align} e^p_{N+1} &= Y_{N+1}-Y^p_{N+1} \end{align}$

আমরা এই সমীকরণটি আবার লিখতে পারি:

\begin{aligned} Y_{N + 1} & = Y_{N + 1}^{p} + e_{N + 1}^{p} \end{aligned}

$\begin{align} Y_{N+1} &= Y^p_{N+1} + e^p_{N+1} \end{align}$

এখন, আমরা ইতিমধ্যে গণনা করেছি। সুতরাং, আমরা যদি কোনও বিরতিতে bound বেঁধে চাই , বলুন, 90% সময়, আমাদের করতে হবে তা হ'ল ধারাবাহিকভাবে এবং পার্সেন্টাইল / কোয়ান্টাইলগুলি অনুমান করা উচিত , তাদের call কল করুন এবং ভবিষ্যদ্বাণী ব্যবধানটি । $Y^p_{N+1}$ $Y_{N+1}$ $5^{th}$ $95^{th}$ $e^p_{N+1}$ $e^5,e^{95}$ $\left[Y^p_{N+1}+e^5,Y^p_{N+1}+e^{95} \right]$

of এর কোয়ান্টাইলস / পারসেন্টাইলগুলি কীভাবে অনুমান করা যায় ? ঠিক আছে, আমরা লিখতে পারি: $e^p_{N+1}$

\begin{aligned} e_{N + 1}^{p} & = Y_{N + 1} - Y_{N + 1}^{p} \\ = X_{N + 1} β + ϵ_{N + 1} - X_{N + 1} {\hat{β}}_{OLS} \\ = X_{N + 1} (β - {\hat{β}}_{OLS}) + ϵ_{N + 1} \end{aligned}

$\begin{align} e^p_{N+1} &= Y_{N+1}-Y^p_{N+1}\\ &= X_{N+1}\beta + \epsilon_{N+1} - X_{N+1}\hat{\beta}_{\text{OLS}}\\ &= X_{N+1}\left( \beta-\hat{\beta}_{\text{OLS}} \right) + \epsilon_{N+1} \end{align}$

কৌশলটি from থেকে বহুবার নমুনা (বুটস্ট্র্যাপের উপায়ে) এবং তারপরে সাধারণ উপায়ে পার্সেন্টাইলগুলি গণনা করা হবে। সুতরাং, সম্ভবত আমরা from থেকে 10,000 বার নমুনা করব এবং তারপরে এবং পার্সেন্টাইলের এবং ক্ষুদ্রতম সদস্য হিসাবে অনুমান করব উচ্চ স্বরে পড়া. $e^p_{N+1}$ $e^p_{N+1}$ $5^{th}$ $95^{th}$ $500^{th}$ $9,500^{th}$

অঙ্কন করতে , আমরা বুটস্ট্র্যাপ ত্রুটি (মামলা জরিমানা, অত্যধিক হবে পারে, কিন্তু আমরা IID অভিমানী হয় ত্রুটি যাইহোক)। সুতরাং, প্রতিটি বুটস্ট্র্যাপের অনুলিপিতে, আপনি পেতে ভেরিয়েন্স-অ্যাডজাস্টেড রেসিডুয়ালগুলি (পরবর্তী প্যারা দেখুন) থেকে প্রতিস্থাপনের জন্য বার আঁকেন , তারপরে নতুন , তারপরে এই প্রতিলিপিটির পেতে নতুন ডেটাসেটে S ওএলএস চালান । অবশেষে, এই রেপ্লিকেশন এর ড্র হয় $X_{N+1}\left( \beta-\hat{\beta}_{\text{OLS}} \right)$ $N$ $\epsilon^*_i$ $Y^*_i=X_i\hat{\beta}_{\text{OLS}}+\epsilon^*_i$ $\left(Y^*,X \right)$ $\beta^*_r$ $X_{N+1}\left( \beta-\hat{\beta}_{\text{OLS}} \right)$ $X_{N+1}\left( \hat{\beta}_{\text{OLS}}-\beta^*_r \right)$

আমরা আইডি এপসিলন ধরে , সমীকরণের অংশ থেকে নমুনার প্রাকৃতিক উপায় হ'ল রেগ্রেশন থেকে আমাদের থাকা অবশিষ্টাংশগুলি ব্যবহার করা, । অবশিষ্টগুলির পৃথক এবং সাধারণত খুব ছোট , তাই আমরা from থেকে নমুনা , বৈকল্পিক অবশিষ্টাংশ, যেখানে এবং হল পর্যবেক্ষণের । $\epsilon$ $\epsilon_{N+1}$ $\left\{ e^*_1,e^*_2,\ldots,e^*_N \right\}$ $\left\{ s_1-\overline{s},s_2-\overline{s},\ldots,s_N-\overline{s} \right\}$ $s_i=e^*_i/\sqrt{(1-h_i)}$ $h_i$ $i$

এবং, অবশেষে, জন্য 90% পূর্বাভাস ব্যবধান তৈরি করার জন্য দেওয়া হল যে হল : $Y_{N+1}$ $X$ $X_{N+1}$

করুন ভবিষ্যদ্বাণী। $Y^p_{N+1}=X_{N+1}\hat{\beta}_{\text{OLS}}$
, যেখানে ভেরিয়েন্স-অ্যাডজাস্ট করা অবশিষ্টগুলি তৈরি করুন । $\left\{ s_1-\overline{s},s_2-\overline{s},\ldots,s_N-\overline{s}\right\}$ $s_i=e_i/\sqrt(1-h_{i})$
প্রতিলিপিগুলির জন্য :
- বুটস্ট্র্যাপের অবশিষ্টাংশগুলি make করতে অ্যাডজাস্ট করা রেসিডুয়ালে বার আঁকুন $N$ $\left\{\epsilon^*_1,\epsilon^*_2,\ldots,\epsilon^*_N \right\}$
- বুটস্ট্র্যাপ জেনারেট করুন $Y^*=X\hat{\beta}_{\text{OLS}}+\epsilon^*$
- এই প্রতিলিপিটির জন্য বুটস্ট্র্যাপ ওএলএস অনুমানকারী গণনা করুন, $\beta^*_r=\left( X'X \right)^{-1}X'Y^*$
- এই প্রতিলিপি থেকে বুটস্ট্র্যাপের অবশিষ্টাংশগুলি পান, $e^*_r=Y^*-X\beta^*_r$
- this এই প্রতিলিপি থেকে বুটস্ট্র্যাপ বৈকল্পিক-সামঞ্জস্যিত অবশিষ্টাংশগুলি গণনা করুন $s^*-\overline{s^*}$
- এই প্রতিলিপি থেকে বুটস্ট্র্যাপের বৈকল্পিক-সামঞ্জস্যিত অবশিষ্টাংশগুলি আঁকুন, $\epsilon^*_{N+1,r}$
- , এই প্রতিরূপের গণনা করুন $e^p_{N+1}$ $e^{p*}_r=X_{N+1}\left( \hat{\beta}_{\text{OLS}}-\beta^*_r \right)+\epsilon^*_{N+1,r}$
এই এবং এর শতকরা , $5^{th}$ $95^{th}$ $e^p_{N+1}$ $e^5,e^{95}$
জন্য 90% ভবিষ্যদ্বাণী ব্যবধান হয় । $Y_{N+1}$ $\left[Y^p_{N+1}+e^5,Y^p_{N+1}+e^{95} \right]$

এখানে Rকোড:

# This script gives an example of the procedure to construct a prediction interval
# for a linear regression model using a bootstrap method.  The method is the one
# described in Section 6.3.3 of Davidson and Hinckley (1997),
# _Bootstrap Methods and Their Application_.


#rm(list=ls())
set.seed(12344321)
library(MASS)
library(Hmisc)

# Generate bivariate regression data
x <- runif(n=100,min=0,max=100)
y <- 1 + x + (rexp(n=100,rate=0.25)-4)

my.reg <- lm(y~x)
summary(my.reg)

# Predict y for x=78:
y.p <- coef(my.reg)["(Intercept)"] + coef(my.reg)["x"]*78
y.p

# Create adjusted residuals
leverage <- influence(my.reg)$hat
my.s.resid <- residuals(my.reg)/sqrt(1-leverage)
my.s.resid <- my.s.resid - mean(my.s.resid)


reg <- my.reg
s <- my.s.resid

the.replication <- function(reg,s,x_Np1=0){
  # Make bootstrap residuals
  ep.star <- sample(s,size=length(reg$residuals),replace=TRUE)

  # Make bootstrap Y
  y.star <- fitted(reg)+ep.star

  # Do bootstrap regression
  x <- model.frame(reg)[,2]
  bs.reg <- lm(y.star~x)

  # Create bootstrapped adjusted residuals
  bs.lev <- influence(bs.reg)$hat
  bs.s   <- residuals(bs.reg)/sqrt(1-bs.lev)
  bs.s   <- bs.s - mean(bs.s)

  # Calculate draw on prediction error
  xb.xb <- coef(my.reg)["(Intercept)"] - coef(bs.reg)["(Intercept)"] 
  xb.xb <- xb.xb + (coef(my.reg)["x"] - coef(bs.reg)["x"])*x_Np1
  return(unname(xb.xb + sample(bs.s,size=1)))
}

# Do bootstrap with 10,000 replications
ep.draws <- replicate(n=10000,the.replication(reg=my.reg,s=my.s.resid,x_Np1=78))

# Create prediction interval
y.p+quantile(ep.draws,probs=c(0.05,0.95))

# prediction interval using normal assumption
predict(my.reg,newdata=data.frame(x=78),interval="prediction",level=0.90)


# Quick and dirty Monte Carlo to see which prediction interval is better
# That is, what are the 5th and 95th percentiles of Y_{N+1}
# 
# To do it properly, I guess we would want to do the whole procedure above
# 10,000 times and then see what percentage of the time each prediction 
# interval covered Y_{N+1}

y.np1 <- 1 + 78 + (rexp(n=10000,rate=0.25)-4)
quantile(y.np1,probs=c(0.05,0.95))

— বিল
সূত্র

দরকারী, বিস্তারিত ব্যাখ্যার জন্য আপনাকে ধন্যবাদ। এই রেখাগুলি অনুসরণ করে, আমি মনে করি যে ওএলএসের বাইরে একটি সাধারণ কৌশল (গাছ ভিত্তিক কৌশল, নিকটতম প্রতিবেশী ইত্যাদি) খুব সহজেই পাওয়া যাবে, তাই না?

— মাইকেল এম

এলোমেলো অরণ্যের জন্য এটির একটি রয়েছে : stats.stackexchange.com/questions/49750/… যা অনুরূপ শোনাচ্ছে।

— বিল

আমি যতদূর বলতে পারি, যদি আপনি থেকে বিমূর্ত করেন তবে এই কৌশলটি যে কোনও মডেলের জন্য কাজ করে।

X β

$X\beta$

f (X, θ)

$f(X, \theta)$

— ছায়াছবির

আপনি কীভাবে "বৈকল্পিক সামঞ্জস্যিত অবশিষ্টাংশগুলি" জেনারালাইজ করবেন - ওএলএস পদ্ধতিটি লাভের উপর নির্ভর করে - কোনও স্বেচ্ছাসেবীর f (এক্স) অনুমানকারীের জন্য কোনও লাভের গণনা আছে কি?

— ডেভিড ওয়াটারওয়ার্থ