সহগগুলির স্ট্যান্ডার্ড ত্রুটিগুলি কোনও রিগ্রেশনে গণনা করা হয় কীভাবে?

114

আমার নিজের বোঝার জন্য, আমি আনুমানিক সহগের মানক ত্রুটির গণনাটি ম্যানুয়ালি প্রতিলিপি করতে আগ্রহী যেমন উদাহরণস্বরূপ, lm()ফাংশনটির আউটপুট নিয়ে আসি R, তবে এটিকে পিন করতে সক্ষম হইনি। সূত্র ব্যবহার / বাস্তবায়ন কি?

— Ako
সূত্র

ভাল প্রশ্ন, অনেকে লিনিয়ার বীজগণিতের দৃষ্টিকোণ থেকে রিগ্রেশন জানেন, যেখানে আপনি লিনিয়ার সমীকরণ সমাধান করেন এবং বিটার উত্তর পাবেন। আমাদের পিছনে কেন স্ট্যান্ডার্ড ত্রুটি এবং অনুমান রয়েছে তা পরিষ্কার নয়।

X^{'} X β = X^{'} y

$X'X\beta=X'y$

— হাইতাও ডু

উত্তর:

122

লিনিয়ার মডেলটি হিসাবে লেখা হয় যেখানে প্রতিক্রিয়াগুলির ভেক্টরকে বোঝায়, fixed স্থির প্রভাবের পরামিতিগুলির ভেক্টর, the যার সম্পর্কিত কলামগুলি ব্যাখ্যাযোগ্য ভেরিয়েবলের মান এবং এলোমেলো ত্রুটির ভেক্টর

| \begin{array}{l} y = X β + ϵ \\ ϵ \sim N (0, σ^{2} I), \end{array}

$\left| \begin{array}{l} \mathbf{y} = \mathbf{X} \mathbf{\beta} + \mathbf{\epsilon} \\ \mathbf{\epsilon} \sim N(0, \sigma^2 \mathbf{I}), \end{array} \right.$

y

$\mathbf{y}$

β

$\mathbf{\beta}$

X

$\mathbf{X}$

ϵ

$\mathbf{\epsilon}$

এটি সুপরিচিত যে of এর একটি অনুমান দেওয়া হয়েছে (যেমন, উইকিপিডিয়া নিবন্ধটি উল্লেখ করুন ) সুতরাং [অনুস্মারক: , কিছু এলোমেলো ভেক্টর এবং কিছু অ-র্যান্ডম ম্যাট্রিক্স ] $\mathbf{\beta}$

\hat{β} = (X^{'} X)^{- 1} X^{'} y .

$\hat{\mathbf{\beta}} = (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{y}.$

Var (\hat{β}) = (X^{'} X)^{- 1} X^{'} σ^{2} I X (X^{'} X)^{- 1} = σ^{2} (X^{'} X)^{- 1},

$\textrm{Var}(\hat{\mathbf{\beta}}) = (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \;\sigma^2 \mathbf{I} \; \mathbf{X} (\mathbf{X}^{\prime} \mathbf{X})^{-1} = \sigma^2 (\mathbf{X}^{\prime} \mathbf{X})^{-1},$

Var (A X) = A \times Var (X) \times A'

$\textrm{Var}(AX)=A\times \textrm{Var}(X) \times A′$

X

$X$

A

$A$

যাতে যেখানে আনোভা সারণীতে মিউন স্কয়ার ত্রুটি (এমএসই) দ্বারা প্রাপ্ত করা যেতে পারে।

\hat{Var} (\hat{β}) = {\hat{σ}}^{2} (X^{'} X)^{- 1},

$\widehat{\textrm{Var}}(\hat{\mathbf{\beta}}) = \hat{\sigma}^2 (\mathbf{X}^{\prime} \mathbf{X})^{-1},$

{\hat{σ}}^{2}

$\hat{\sigma}^2$

আর-তে সাধারণ লিনিয়ার রিগ্রেশন সহ উদাহরণ

#------generate one data set with epsilon ~ N(0, 0.25)------
seed <- 1152 #seed
n <- 100     #nb of observations
a <- 5       #intercept
b <- 2.7     #slope

set.seed(seed)
epsilon <- rnorm(n, mean=0, sd=sqrt(0.25))
x <- sample(x=c(0, 1), size=n, replace=TRUE)
y <- a + b * x + epsilon
#-----------------------------------------------------------

#------using lm------
mod <- lm(y ~ x)
#--------------------

#------using the explicit formulas------
X <- cbind(1, x)
betaHat <- solve(t(X) %*% X) %*% t(X) %*% y
var_betaHat <- anova(mod)[[3]][2] * solve(t(X) %*% X)
#---------------------------------------

#------comparison------
#estimate
> mod$coef
(Intercept)           x 
   5.020261    2.755577 

> c(betaHat[1], betaHat[2])
[1] 5.020261 2.755577

#standard error
> summary(mod)$coefficients[, 2]
(Intercept)           x 
 0.06596021  0.09725302 

> sqrt(diag(var_betaHat))
                    x 
0.06596021 0.09725302 
#----------------------

যখন একটি একক ব্যাখ্যামূলক চলক থাকে, তখন মডেলটি এবং যাতে এবং সূত্রগুলি আরও ট্রান্সপার্যান্ট হয়ে যায়। উদাহরণস্বরূপ, আনুমানিক স্ট্যান্ডার্ড ত্রুটি

y_{i} = a + b x_{i} + ϵ_{i}, i = 1, \dots, n

$y_i = a + bx_i + \epsilon_i, \qquad i = 1, \dotsc, n$

X = (\begin{array}{cc} 1 & x_{1} \\ 1 & x_{2} \\ ⋮ & ⋮ \\ 1 & x_{n} \end{array}), β = (\begin{matrix} a \\ b \end{matrix})

$\mathbf{X} = \left( \begin{array}{cc} 1 & x_1 \\ 1 & x_2 \\ \vdots & \vdots \\ 1 & x_n \end{array} \right), \qquad \mathbf{\beta} = \left( \begin{array}{c} a\\b \end{array} \right)$

(X^{'} X)^{- 1} = \frac{1}{n \sum x_{i}^{2} - (\sum x_{i})^{2}} (\begin{array}{cc} \sum x_{i}^{2} & - \sum x_{i} \\ - \sum x_{i} & n \end{array})

$(\mathbf{X}^{\prime} \mathbf{X})^{-1} = \frac{1}{n\sum x_i^2 - (\sum x_i)^2} \left( \begin{array}{cc} \sum x_i^2 & -\sum x_i \\ -\sum x_i & n \end{array} \right)$

\sqrt{\hat{Var} (\hat{b})} = \sqrt{[{\hat{σ}}^{2} (X^{'} X)^{- 1}]_{22}} = \sqrt{\frac{n {\hat{σ}}^{2}}{n \sum x_{i}^{2} - (\sum x_{i})^{2}}} .

$\sqrt{\widehat{\textrm{Var}}(\hat{b})} = \sqrt{[\hat{\sigma}^2 (\mathbf{X}^{\prime} \mathbf{X})^{-1}]_{22}} = \sqrt{\frac{n \hat{\sigma}^2}{n\sum x_i^2 - (\sum x_i)^2}}.$

> num <- n * anova(mod)[[3]][2]
> denom <- n * sum(x^2) - sum(x)^2
> sqrt(num / denom)
[1] 0.09725302

— ocram
সূত্র

পুরো উত্তরের জন্য ধন্যবাদ। সুতরাং, আমি এটি গ্রহণ করি যে শেষ সূত্রটি মাল্টিভাইয়ারেটের ক্ষেত্রে ধারণ করে না?

— ako

না, খুব শেষ সূত্রটি কেবল সাধারণ লিনিয়ার মডেলের নির্দিষ্ট এক্স ম্যাট্রিক্সের জন্য কাজ করে। মাল্টিভারিয়েট ক্ষেত্রে আপনাকে উপরে প্রদত্ত সাধারণ সূত্রটি ব্যবহার করতে হবে।

— অক্টোবরে

+1, একটি দ্রুত প্রশ্ন, কীভাবে আসে?

V a r (\hat{β})

$Var(\hat\beta)$

— অ্যাভোকাডো

@ লোগানেকলস: এটি এলো যে , কিছু এলোমেলো ভেক্টর এবং কিছু অ-র্যান্ডম ম্যাট্রিক্স জন্য ।

Var (A X) = A Var(X) A^{'}

$\text{Var}(AX)=A\text{Var(X)}A'$

X

$X$

A

$A$

— ocram

লক্ষ্য করুন যে এগুলি হ্যান্ড গণনার সঠিক উত্তর, তবে স্থিতিশীলতা এবং দক্ষতার জন্য lm.fit/ এর মধ্যে ব্যবহৃত প্রকৃত বাস্তবায়ন summary.lmকিছুটা আলাদা ...

— বেন বোলকার

এগুলির জন্য সূত্রগুলি পরিসংখ্যানগুলির কোনও মধ্যবর্তী পাঠ্যে পাওয়া যেতে পারে, বিশেষত, আপনি সেগুলি শেদার (২০০৯, অধ্যায় ৫) এ খুঁজে পেতে পারেন , সেখান থেকে নিম্নলিখিত অনুশীলনও নেওয়া হয়েছে (পৃষ্ঠা 138)।

নিম্নলিখিত আর কোডটি গুণমানের অনুমান এবং তাদের মান ত্রুটিগুলি ম্যানুয়ালি গণনা করে

dfData <- as.data.frame(
  read.csv("http://www.stat.tamu.edu/~sheather/book/docs/datasets/MichelinNY.csv",
                   header=T))

# using direct calculations
vY <- as.matrix(dfData[, -2])[, 5]                        # dependent variable
mX <- cbind(constant = 1, as.matrix(dfData[, -2])[, -5])  # design matrix

vBeta <- solve(t(mX)%*%mX, t(mX)%*%vY)                    # coefficient estimates
dSigmaSq <- sum((vY - mX%*%vBeta)^2)/(nrow(mX)-ncol(mX))  # estimate of sigma-squared
mVarCovar <- dSigmaSq*chol2inv(chol(t(mX)%*%mX))          # variance covariance matrix
vStdErr <- sqrt(diag(mVarCovar))                          # coeff. est. standard errors
print(cbind(vBeta, vStdErr))                              # output

যা আউটপুট উত্পাদন করে

                         vStdErr
constant   -57.6003854 9.2336793
InMichelin   1.9931416 2.6357441
Food         0.2006282 0.6682711
Decor        2.2048571 0.3929987
Service      3.0597698 0.5705031

থেকে আউটপুট তুলনা করুন lm():

# using lm()
names(dfData)
summary(lm(Price ~ InMichelin + Food + Decor + Service, data = dfData))

যা আউটপুট উত্পাদন করে:

Call:
lm(formula = Price ~ InMichelin + Food + Decor + Service, data = dfData)

Residuals:
    Min      1Q  Median      3Q     Max 
-20.898  -5.835  -0.755   3.457 105.785 

Coefficients:
            Estimate Std. Error t value Pr(>|t|)    
(Intercept) -57.6004     9.2337  -6.238 3.84e-09 ***
InMichelin    1.9931     2.6357   0.756    0.451    
Food          0.2006     0.6683   0.300    0.764    
Decor         2.2049     0.3930   5.610 8.76e-08 ***
Service       3.0598     0.5705   5.363 2.84e-07 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1 

Residual standard error: 13.55 on 159 degrees of freedom
Multiple R-squared: 0.6344, Adjusted R-squared: 0.6252 
F-statistic: 68.98 on 4 and 159 DF,  p-value: < 2.2e-16

— tchakravarty
সূত্র

solve()ফাংশনটির সাথে দুর্দান্ত কৌশল । এটি ম্যাট্রিক্স বীজগণিত ছাড়াই বেশ কিছুটা দীর্ঘ হবে। কেবলমাত্র বেসিক অপারেটরগুলির সাথে সুনির্দিষ্ট রেখাটি সম্পাদন করার কোনও সংলগ্ন উপায় আছে?

— ako

@ আকসেলো ওএলএসের অনুমানকারী, , যা আপনি স্পষ্টভাবে ly ম্যাট্রিক্স (যেমন @ ocram করেছেন এর বিপরীতমুখীকরণের মাধ্যমে গণনা করতে পারেন , তবে এটি অসুস্থ শর্তযুক্ত ম্যাট্রিক্সের সাথে জটিল।

\hat{β} = (X^{'} X)^{- 1} X Y

$\widehat{\boldsymbol{\beta}} = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}\boldsymbol{Y}$

(X^{'} X)

$(\mathbf{X}'\mathbf{X})$

— tchakravarty

ওকরামের উত্তরের অংশটি ভুল। বাস্তবিক:

$\hat{\mathbf{\beta}} = (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{y} - (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{\epsilon}.$

$E(\hat{\mathbf{\beta}}) = (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{y}.$

এবং প্রথম উত্তরের মন্তব্য দেখায় যে সহগের বৈচিত্রের আরও ব্যাখ্যা প্রয়োজন:

$\textrm{Var}(\hat{\mathbf{\beta}}) = E(\hat{\mathbf{\beta}}-E(\hat{\mathbf{\beta}}))^2=\textrm{Var}(- (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{\epsilon}) =(\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \;\sigma^2 \mathbf{I} \; \mathbf{X} (\mathbf{X}^{\prime} \mathbf{X})^{-1} = \sigma^2 (\mathbf{X}^{\prime} \mathbf{X})^{-1}$

সম্পাদন করা

ধন্যবাদ, আমি that সেই বিটার টুপি উপেক্ষা । সিদ্ধান্তগ্রহণ উপরে । সঠিক ফলাফলটি হ'ল: $\mathbf{wrongly}$ $\mathbf{wrong}$

1.(এই সমীকরণ পেতে, প্রথম অর্ডার ব্যুৎপন্ন সেট উপর শূন্য সমান, maxmizing জন্য ) $\hat{\mathbf{\beta}} = (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{y}.$ $\mathbf{SSR}$ $\mathbf{\beta}$ $\mathbf{SSR}$

2. $E(\hat{\mathbf{\beta}}|\mathbf{X}) = E((\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} (\mathbf{X}\mathbf{\beta}+\mathbf{\epsilon})|\mathbf{X}) = \mathbf{\beta} + ((\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime})E(\mathbf{\epsilon}|\mathbf{X}) = \mathbf{\beta}.$

3. $\textrm{Var}(\hat{\mathbf{\beta}}) = E(\hat{\mathbf{\beta}}-E(\hat{\mathbf{\beta}}|\mathbf{X}))^2=\textrm{Var}((\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{\epsilon}) =(\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \;\sigma^2 \mathbf{I} \; \mathbf{X} (\mathbf{X}^{\prime} \mathbf{X})^{-1} = \sigma^2 (\mathbf{X}^{\prime} \mathbf{X})^{-1}$

আশা করি এটি সাহায্য করবে।

— লিনঝে নি
সূত্র

বিটা ভেক্টর, কোনও শালীন রিগ্রেশন পাঠ্যপুস্তকে পাওয়া যায়। এর আলোকে, আপনি কী এমন প্রমাণ দিতে পারেন যে এটি পরিবর্তে?

\hat{β} = (X^{'} X)^{- 1} X^{'} Y

$\hat{\boldsymbol \beta} = ({\bf X'X})^{-1}{\bf X'Y}$

\hat{β} = (X^{'} X)^{- 1} X^{'} y - (X^{'} X)^{- 1} X^{'} ϵ

$\hat{\mathbf{\beta}} = (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{y} - (\mathbf{X}^{\prime} \mathbf{X})^{-1} \mathbf{X}^{\prime} \mathbf{\epsilon}$

— গাং

আপনার কোনও অনুমানকারীও নয়, কারণ পর্যবেক্ষণযোগ্য নয়!

\hat{β}

$\hat\beta$

ϵ

$\epsilon$

— শুক্র

এটি এই

— ভিডিওতেও