Lm ব্যবহার করার সময় আর-তে ওজন যুক্তির পিছনে তত্ত্ব

Grad স্কুল এক বছর পরে, "পরিমেয় লিস্ট স্কোয়ার" এর আমার বোঝার নিম্নলিখিত হল: দিন $\mathbf{y} \in \mathbb{R}^n$ , $\mathbf{X}$ কিছু হতে $n \times p$ নকশা ম্যাট্রিক্স, একটি প্যারামিটার হতে ভেক্টর, একটি ত্রুটি ভেক্টর হতে যেমন যে , যেখানে এবং । তারপরে $\boldsymbol\beta \in \mathbb{R}^p$ $\boldsymbol\epsilon \in \mathbb{R}^n$ $\boldsymbol\epsilon \sim \mathcal{N}(\mathbf{0}, \sigma^2\mathbf{V})$ $\mathbf{V} = \text{diag}(v_1, v_2, \dots, v_n)$ $\sigma^2 > 0$

y = X β + ϵ

$\mathbf{y} = \mathbf{X}\boldsymbol\beta + \boldsymbol\epsilon$ অনুমানের অধীনে "ওজনযুক্ত সর্বনিম্ন স্কোয়ার" মডেল বলা হয়। ডাব্লুএলএস সমস্যাটি সমাপ্তি করুন

, এবং

\arg min_{β} {(y - X β)}^{T} V^{- 1} (y - X β) .

$\begin{equation} \arg\min_{\boldsymbol \beta}\left(\mathbf{y}-\mathbf{X}\boldsymbol\beta\right)^{T}\mathbf{V}^{-1}\left(\mathbf{y}-\mathbf{X}\boldsymbol\beta\right)\text{.} \end{equation}$

y = {[\begin{matrix} y_{1} & \dots & y_{n} \end{matrix}]}^{T}

$\mathbf{y} = \begin{bmatrix} y_1 & \dots & y_n\end{bmatrix}^{T}$

β = {[\begin{matrix} β_{1} & \dots & β_{p} \end{matrix}]}^{T}

$\boldsymbol\beta = \begin{bmatrix} \beta_1 & \dots & \beta_p\end{bmatrix}^{T}$

X = [\begin{matrix} x_{11} & \dots & x_{1 p} \\ x_{21} & \dots & x_{2 p} \\ ⋮ & ⋮ & ⋮ \\ x_{n 1} & \dots & x_{n p} \end{matrix}] = [\begin{matrix} x_{1}^{T} \\ x_{2}^{T} \\ ⋮ \\ x_{n}^{T} \end{matrix}] .

$\mathbf{X} = \begin{bmatrix} x_{11} & \cdots & x_{1p} \\ x_{21} & \cdots & x_{2p} \\ \vdots & \vdots & \vdots \\ x_{n1} & \cdots & x_{np} \end{bmatrix} = \begin{bmatrix} \mathbf{x}_{1}^{T} \\ \mathbf{x}_{2}^{T} \\ \vdots \\ \mathbf{x}_{n}^{T} \end{bmatrix}\text{.}$

x_{i}^{T} β \in R^{1}

$\mathbf{x}_i^{T}\boldsymbol\beta\in \mathbb{R}^1$ , সুতরাং

y - X β = [\begin{matrix} y_{1} - x_{1}^{T} β \\ y_{2} - x_{2}^{T} β \\ ⋮ \\ y_{n} - x_{n}^{T} β \end{matrix}] .

$\mathbf{y}-\mathbf{X}\boldsymbol\beta = \begin{bmatrix} y_1-\mathbf{x}_{1}^{T}\boldsymbol\beta \\ y_2-\mathbf{x}_{2}^{T}\boldsymbol\beta \\ \vdots \\ y_n-\mathbf{x}_{n}^{T}\boldsymbol\beta \end{bmatrix}\text{.}$ এটি

gives দেয় gives

\begin{aligned} (y - X β)^{T} V^{- 1} & = [\begin{matrix} y_{1} - x_{1}^{T} β & y_{2} - x_{2}^{T} β & \dots & y_{n} - x_{n}^{T} β \end{matrix}] diag (v_{1}^{- 1}, v_{2}^{- 1}, \dots, v_{n}^{- 1}) \\ = [\begin{matrix} v_{1}^{- 1} (y_{1} - x_{1}^{T} β) & v_{2}^{- 1} (y_{2} - x_{2}^{T} β) & \dots & v_{n}^{- 1} (y_{n} - x_{n}^{T} β) \end{matrix}] \end{aligned}

$\begin{align} (\mathbf{y}-\mathbf{X}\boldsymbol\beta)^{T}\mathbf{V}^{-1} &= \begin{bmatrix} y_1-\mathbf{x}_{1}^{T}\boldsymbol\beta &y_2-\mathbf{x}_{2}^{T}\boldsymbol\beta & \cdots & y_n-\mathbf{x}_{n}^{T}\boldsymbol\beta \end{bmatrix}\text{diag}(v_1^{-1}, v_2^{-1}, \dots, v_n^{-1}) \\ &= \begin{bmatrix} v_1^{-1}(y_1-\mathbf{x}_{1}^{T}\boldsymbol\beta) &v_2^{-1}(y_2-\mathbf{x}_{2}^{T}\boldsymbol\beta) & \cdots & v_n^{-1}(y_n-\mathbf{x}_{n}^{T}\boldsymbol\beta) \end{bmatrix} \end{align}$ v_n ^ {- 1} (y_n- \ mathbf {x} _ {n} ^ {T} \ boldsymbol \ beta) \ শেষ {bmatrix \ \ end {align} এভাবে প্রদান

\arg min_{β} {(y - X β)}^{T} V^{- 1} (y - X β) = \arg min_{β} \sum_{i = 1}^{n} v_{i}^{- 1} (y_{i} - x_{i}^{T} β)^{2} .

$\begin{equation} \arg\min_{\boldsymbol \beta}\left(\mathbf{y}-\mathbf{X}\boldsymbol\beta\right)^{T}\mathbf{V}^{-1}\left(\mathbf{y}-\mathbf{X}\boldsymbol\beta\right) \end{equation} = \arg\min_{\boldsymbol \beta}\sum_{i=1}^{n}v_i^{-1}(y_i-\mathbf{x}^{T}_i\boldsymbol\beta)^2\text{.}$

β

$\boldsymbol\beta$ অনুমান করা হয়

\hat{β} = (X^{T} V^{- 1} X)^{- 1} X^{T} V^{- 1} y .

$\hat{\boldsymbol\beta} = (\mathbf{X}^{T}\mathbf{V}^{-1}\mathbf{X})^{-1}\mathbf{X}^{T}\mathbf{V}^{-1}\mathbf{y}\text{.}$ I আমি যে জ্ঞানের সাথে পরিচিত সেটির এটিই পরিধি। আমাকে কখনই শিখানো হয়নি যে কীভাবে

v_{1}, v_{2}, \dots, v_{n}

$v_1, v_2, \dots, v_n$ নির্বাচন করা উচিত, যদিও মনে হয়, এখানে বিচার করে , সাধারণত

Var (ϵ) = diag (σ_{1}^{2}, σ_{2}^{2}, \dots, σ_{n}^{2})

$\text{Var}(\boldsymbol\epsilon) = \text{diag}(\sigma^2_1, \sigma^2_2, \dots, \sigma^2_n)$ , যা স্বজ্ঞাত অর্থে তোলে। (ডাব্লুএলএস সমস্যায় অত্যন্ত পরিবর্তনশীল ওজন কম ওজন দিন এবং কম পরিবর্তনশীল বেশি ওজন সহ পর্যবেক্ষণ দিন))

আমি যে বিষয়ে বিশেষভাবে আগ্রহী তা হ'ল যখন ওজনকে পূর্ণসংখ্যার হিসাবে নির্ধারিত করা হয় তখন ফাংশনে Rওজন কীভাবে পরিচালনা করা lm()হয়। ব্যবহার থেকে ?lm:

অ- NULLওজনকে বিভিন্ন পর্যবেক্ষণের বিভিন্ন রূপ রয়েছে তা বোঝাতে ব্যবহার করা যেতে পারে (ওজনের মানগুলির সাথে বৈকল্পিকগুলির সাথে বিপরীত অনুপাত হয়); বা সমতুল্যভাবে, যখন ওজনের উপাদানগুলি ধনাত্মক পূর্ণসংখ্যার , প্রতিটি প্রতিক্রিয়া হ'ল ইউনিট-ওজন পর্যবেক্ষণের মাধ্যম (যে ক্ষেত্রে পর্যবেক্ষণ সমান এবং ডেটা সংক্ষিপ্ত করা হয়েছে) সহ) $w_i$ $y_i$ $w_i$ $w_i$ $y_i$

আমি এই অনুচ্ছেদটি বেশ কয়েকবার পুনরায় পড়েছি এবং এটি আমার কাছে বোধগম্য নয়। আমি উপরে যে ফ্রেমওয়ার্কটি বিকাশ করেছি তা ব্যবহার করে, ধরুন আমার কাছে নিম্নলিখিত সিমুলেটেড মান রয়েছে:

x <- c(0, 1, 2)
y <- c(0.25, 0.75, 0.85)
weights <- c(50, 85, 75)

lm(y~x, weights = weights)

Call:
lm(formula = y ~ x, weights = weights)

Coefficients:
(Intercept)            x  
     0.3495       0.2834

আমি উপরে যে কাঠামোটি তৈরি করেছি তা ব্যবহার করে, এই পরামিতিগুলি কীভাবে উত্পন্ন হয়? এখানে হাতে এই কাজ আমার প্রয়াস আছে: অভিমানী , আমরা এবং এটি প্রদান করে (নোট করুন যে ইনভার্টিবিলিটি এই ক্ষেত্রে কাজ করে না, তাই আমি একটি সাধারণ বিপরীত ব্যবহার করেছি): $\mathbf{V} = \text{diag}(50, 85, 75)$

\begin{aligned} [\begin{matrix} {\hat{β}}_{0} \\ {\hat{β}}_{1} \end{matrix}] = \\ {([\begin{matrix} 1 & 1 \\ 1 & 1 \\ 1 & 1 \end{matrix}] diag (1 / 50, 1 / 85, 1 / 75) {[\begin{matrix} 1 & 1 \\ 1 & 1 \\ 1 & 1 \end{matrix}]}^{T})}^{- 1} {[\begin{matrix} 1 & 1 \\ 1 & 1 \\ 1 & 1 \end{matrix}]}^{T} diag (1 / 50, 1 / 85, 1 / 75) [\begin{matrix} 0.25 \\ 0.75 \\ 0.85 \end{matrix}] \end{aligned}

$\begin{align}&\begin{bmatrix} \hat\beta_0 \\ \hat\beta_1 \end{bmatrix} = \\ &\left(\begin{bmatrix} 1 & 1\\ 1 & 1\\ 1 & 1 \end{bmatrix}\text{diag}(1/50, 1/85, 1/75)\begin{bmatrix} 1 & 1\\ 1 & 1\\ 1 & 1 \end{bmatrix}^{T} \right)^{-1}\begin{bmatrix} 1 & 1\\ 1 & 1\\ 1 & 1 \end{bmatrix}^{T}\text{diag}(1/50, 1/85, 1/75)\begin{bmatrix} 0.25 \\ 0.75 \\ 0.85 \end{bmatrix} \end{align}$ R

X <- matrix(rep(1, times = 6), byrow = T, nrow = 3, ncol = 2)
V_inv <- diag(c(1/50, 1/85, 1/75))
y <- c(0.25, 0.75, 0.85)

library(MASS)
ginv(t(X) %*% V_inv %*% X) %*% t(X) %*% V_inv %*% y

         [,1]
[1,] 0.278913
[2,] 0.278913

এগুলি lm()আউটপুট থেকে মানগুলির সাথে মেলে না । আমি কি ভুল করছি?

r linear-model weighted-regression

— Clarinetist
সূত্র

ম্যাট্রিক্স be হওয়া উচিত নয় এছাড়াও, আপনার হওয়া উচিত , না । $X$

[\begin{matrix} 1 & 0 \\ 1 & 1 \\ 1 & 2 \end{matrix}],

$\begin{bmatrix} 1 & 0\\ 1 & 1\\ 1 & 2 \end{bmatrix},$

[\begin{matrix} 1 & 1 \\ 1 & 1 \\ 1 & 1 \end{matrix}] .

$\begin{bmatrix} 1 & 1\\ 1 & 1\\ 1 & 1 \end{bmatrix}.$ V_invdiag(weights)diag(1/weights)

x <- c(0, 1, 2)
y <- c(0.25, 0.75, 0.85)
weights <- c(50, 85, 75)
X <- cbind(1, x)

> solve(t(X) %*% diag(weights) %*% X, t(X) %*% diag(weights) %*% y)
       [,1]
  0.3495122
x 0.2834146

— mark999
সূত্র

বিশেষ করে ভুল ডিজাইন ম্যাট্রিক্স পরিষ্কার করার জন্য আপনাকে ধন্যবাদ! আমি এই উপাদান উপর বেশ মরিচা। সুতরাং, একটি শেষ প্রশ্ন হিসাবে, এর অর্থ কি ডাব্লুএলএস অনুমানগুলিতে রয়েছে?

Var (ϵ) = diag (1 / weights)

$\text{Var}(\boldsymbol\epsilon) = \text{diag}(1/\text{weights})$

— Clarinetist

হ্যাঁ, যদিও ওজনগুলি কেবল 1 / বৈকল্পিকের সমানুপাতিক হতে হবে, অগত্যা সমান নয়। উদাহরণস্বরূপ, আপনি weights <- c(50, 85, 75)/2যদি আপনার উদাহরণ ব্যবহার করেন তবে আপনি একই ফলাফল পাবেন।

— 999

আরো সংক্ষেপে নিম্নোক্তভাবে এই উত্তর দেওয়ার জন্য ব্যবহার পরিমেয় লিস্ট স্কোয়ার রিগ্রেশন weightsমধ্যে Rনিম্নলিখিত অনুমানের তোলে: অনুমান করা আছে weights = c(w_1, w_2, ..., w_n)। যাক , একটি হতে নকশা ম্যাট্রিক্স, একটি প্যারামিটার ভেক্টর হতে, এবং mean গড় এবং ভেরিয়েন্স ম্যাট্রিক্স , যেখানে সাথে একটি ত্রুটি ভেক্টর হতে হবে । তারপরে, মূল পোস্টে একই পদক্ষেপগুলি অনুসরণ করে, $\mathbf{y} \in \mathbb{R}^n$ $\mathbf{X}$ $n \times p$ $\boldsymbol\beta\in\mathbb{R}^p$ $\boldsymbol\epsilon \in \mathbb{R}^n$ $\mathbf{0}$ $\sigma^2\mathbf{V}$ $\sigma^2 > 0$

V = diag (1 / w_{1}, 1 / w_{2}, \dots, 1 / w_{n}) .

$\mathbf{V} = \text{diag}(1/w_1, 1/w_2, \dots, 1/w_n)\text{.}$

\begin{aligned} \arg min_{β} {(y - X β)}^{T} V^{- 1} (y - X β) & = \arg min_{β} \sum_{i = 1}^{n} (1 / w_{i})^{- 1} (y_{i} - x_{i}^{T} β)^{2} \\ = \arg min_{β} \sum_{i = 1}^{n} w_{i} (y_{i} - x_{i}^{T} β)^{2} \end{aligned}

$\begin{align} \arg\min_{\boldsymbol \beta}\left(\mathbf{y}-\mathbf{X}\boldsymbol\beta\right)^{T}\mathbf{V}^{-1}\left(\mathbf{y}-\mathbf{X}\boldsymbol\beta\right)&= \arg\min_{\boldsymbol \beta}\sum_{i=1}^{n}(1/w_i)^{-1}(y_i-\mathbf{x}^{T}_i\boldsymbol\beta)^2 \\ &= \arg\min_{\boldsymbol \beta}\sum_{i=1}^{n}w_i(y_i-\mathbf{x}^{T}_i\boldsymbol\beta)^2 \end{align}$ এবং অনুমান করা হয় using জিএলএস থেকে অনুমান ।

β

$\boldsymbol\beta$

\hat{β} = (X^{T} V^{- 1} X)^{- 1} X^{T} V^{- 1} y

$\hat{\boldsymbol\beta} = (\mathbf{X}^{T}\mathbf{V}^{-1}\mathbf{X})^{-1}\mathbf{X}^{T}\mathbf{V}^{-1}\mathbf{y}$

— Clarinetist
সূত্র