ডেটা ম্যাট্রিক্সটি তির্যক হলে লসো সমস্যার জন্য ফর্ম সমাধান বন্ধ

$\newcommand{\diag}{\operatorname{diag}}$ আমাদের সমস্যা রয়েছে:

min_{w \in R^{d}} (\frac{1}{n} \sum_{i = 1}^{n} {(⟨ w, x_{i} ⟩ - y_{i})}^{2} + 2 λ | | w | |_{1}),

$\min_{w\in\mathbb{R}^{d}}\left( \frac{1}{n}\sum_{i=1}^{n} \left( \langle w,x_{i}\rangle-y_{i} \right)^{2} +2\lambda||w||_1\right),$ এই অনুমান সহ:

\sum_{i = 1}^{n} x_{i} x_{i}^{T} = diag (σ_{1}^{2}, . . ., σ_{d}^{2}) .

$\sum_{i=1}^nx_ix_i^T=\diag(\sigma_1^2,...,\sigma_d^2).$

এক্ষেত্রে কি কোনও বন্ধ-ফর্ম সমাধান রয়েছে?

আমার কাছে এটি রয়েছে:

(X^{T} X)^{- 1} = diag (σ_{1}^{- 2}, . . ., σ_{d}^{- 2}),

$(X^TX)^{-1}=\diag\left(\sigma_1^{-2},...,\sigma_d^{-2}\right),$ এবং তাই আমার মনে হয় উত্তরটি :

w^{j} = y^{j} max {0, 1 - λ \frac{n}{| y^{j} |}},

$w\,^j=y\,^j\max\left\{0,1-\lambda \frac{n}{|y^j|}\right\},$ for

y^{j} = \sum_{i = 1}^{n} \frac{y_{i} x_{i}^{j}}{σ_{i}^{2}}

$y\,^j=\displaystyle\sum_{i=1}^n\frac{y_ix_i\,^j}{\sigma_i^2}$ , তবে আমি নিশ্চিত নই।

— আর্থার ডি।
সূত্র

আমি যখন $X^T X = I$ , ছোটখাট পরিবর্তনগুলি সহ এখানে পেয়েছি তখন বন্ধ ফর্ম ল্যাসো সমাধানের @ কার্ডিনাল এর ডেরাইভেশনটি যাচ্ছি ।

আমি যে অভিমানী হবেন সকলের জন্য । এটি ন্যায়সঙ্গত কারণ আমাদের যদি একটি তবে এটি আমাদেরকে বলে যে ম কলামটি সমস্ত 0, এবং আমি মনে করি যে এই জাতীয় কেস বাদ দেওয়া যুক্তিসঙ্গত। আমি । নোট করুন যে এর অর্থ এইও যে পূর্ণ পদমর্যাদার এবং ওএলএস দ্রবণ স্বতন্ত্রভাবে সংজ্ঞায়িত। $\sigma^2_i > 0$ $i$ $\sigma^2_i = 0$ $i$ $X$ $X^T X = D$ $X$ $\hat \beta$

আমি উল্লেখ করছি যে উত্তরে আমি উল্লেখ করছি আরও ভাল মেলে আপনার স্বীকৃতি পরিবর্তন করতে যাচ্ছি। সেই লক্ষ্যে, আমি

{\hat{β}}_{λ} = {argmin}_{β \in R^{p}} \frac{1}{2} | | Y - X β | |_{2}^{2} + λ | | β | |_{1} .

$\hat \beta_\lambda = \text{argmin}_{\beta \in \mathbb R^p } \frac 12 \vert \vert Y - X\beta\vert \vert^2_2 + \lambda \vert \vert \beta \vert \vert_1.$

এটি আপনার সমস্যার অনুরূপ তবে আপনি চাইলে আমি এখানে আরও বিশদ যুক্ত করতে পারি।

@ কার্ডিনালের অনুসরণ করার পরে, আমাদের কাছে সমাধান করা দরকার

{\hat{β}}_{λ} = argmin \frac{1}{2} (Y^{T} Y - 2 Y^{T} X β + β^{T} X^{T} X β) + λ | | β | |_{1}

$\hat \beta_\lambda = \text{argmin } \frac 12 (Y^T Y - 2 Y^T X \beta + \beta^T X^T X \beta) + \lambda \vert \vert \beta \vert \vert_1$

= argmin - Y^{T} X β + \frac{1}{2} β^{T} D β + λ | | β | |_{1} .

$= \text{argmin } -Y^T X \beta + \frac 12 \beta^T D \beta + \lambda \vert \vert \beta \vert \vert_1.$

ওএলএস দ্রবণটি হ'ল , আমাদের কাছে $\hat \beta = (X^T X)^{-1} X^T Y = D^{-1}X^T Y$

{\hat{β}}_{λ} = argmin - {\hat{β}}^{T} D β + \frac{1}{2} β^{T} D β + λ | | β | |_{1}

$\hat \beta_\lambda = \text{argmin } -\hat \beta^T D \beta + \frac 12 \beta^T D \beta + \lambda \vert \vert \beta \vert \vert_1$

= argmin \sum_{j = 1}^{p} - {\hat{β}}_{j} β_{j} σ_{j}^{2} + \frac{σ_{j}^{2}}{2} β_{j}^{2} + λ | β_{j} | .

$= \text{argmin } \sum_{j=1}^p -\hat \beta_j \beta_j \sigma^2_j + \frac{\sigma^2_j}2 \beta_j^2 + \lambda | \beta_j|.$

আমরা প্রতিটি আলাদাভাবে অপ্টিমাইজ করছি , যাতে আমরা এই যোগফলের প্রতিটি পদ পৃথকভাবে সমাধান করতে পারি। এর অর্থ আমাদের যেখানে $\beta_j$ $\mathcal L_j$

L_{j} = - {\hat{β}}_{j} β_{j} σ_{j}^{2} + \frac{σ_{j}^{2}}{2} β_{j}^{2} + λ | β_{j} | .

$\mathcal L_j = -\hat \beta_j \beta_j \sigma^2_j + \frac{\sigma^2_j}2 \beta_j^2 + \lambda | \beta_j|.$

উত্তরের সম্পূর্ণ অ্যানালগাস যুক্তি অনুসরণ করে আমরা দেখতে যে

({\hat{β}}_{λ})_{j} = s g n ({\hat{β}}_{j}) {(| {\hat{β}}_{j} | - \frac{λ}{σ_{j}^{2}})}^{+} .

$(\hat \beta_\lambda)_j = \mathrm{sgn}(\hat \beta_j) \left(|\hat \beta_j| - \frac{\lambda}{\sigma^2_j}\right)^+.$

তদুপরি, সুতরাং আমাদের কাছে $\hat \beta = D^{-1} X^T Y \implies \hat \beta_j = \frac{X_j^T Y}{\sigma_j^2}$

{(| {\hat{β}}_{j} | - \frac{λ}{σ_{j}^{2}})}^{+} = \frac{1}{σ_{j}^{2}} {(| X_{j}^{T} Y | - λ)}^{+}

$\left(|\hat \beta_j| - \frac{\lambda}{\sigma^2_j}\right)^+ = \frac 1 {\sigma^2_j} \left(|X_j^T Y| - \lambda\right)^+$

সুতরাং দেখা যাচ্ছে যে কোনও ভবিষ্যদ্বাণীকারী ঠিক তখনই শূন্য হয়ে যায় যখন ডিজাইন ম্যাট্রিক্স কেবল অরথোগোনাল নয়, ছিল। সুতরাং আমরা দেখতে পাচ্ছি যে , পরিবর্তনশীল নির্বাচনটি চেয়ে আলাদা নয়, তবে আসল সহগ অনুযায়ী হয়। $X_j$ $X^T X = D \neq I$ $X^T X = I$ $\hat \beta_\lambda$

চূড়ান্ত দ্রষ্টব্য হিসাবে, আমি এই সমাধানটিকে আপনার মতো দেখায় এমন একটিতে পরিণত করব যার অর্থ পাওয়ার জন্য আমাদের কিছু দিয়ে গুণ করা দরকার । যদি তবে আমাদের কাছে এটি $\hat \beta$ $\hat \beta_\lambda$ $(\hat \beta_\lambda)_j \neq 0$

({\hat{β}}_{λ})_{j} = sgn ({\hat{β}}_{j}) (| {\hat{β}}_{j} | - \frac{λ}{σ_{j}^{2}}) = {\hat{β}}_{j} - sgn ({\hat{β}}_{j}) \frac{λ}{σ_{j}^{2}}

$(\hat \beta_\lambda)_j = \text{sgn}(\hat \beta_j) \left( \vert \hat \beta_j \vert - \frac{\lambda}{\sigma^2_j} \right) = \hat \beta_j - \text{sgn}(\hat \beta_j) \frac{\lambda}{\sigma^2_j}$

= {\hat{β}}_{j} (1 - \frac{λ}{σ_{j}^{2} | {\hat{β}}_{j} |})

$= \hat \beta_j \left( 1 - \frac{\lambda}{\sigma^2_j \vert \hat \beta_j \vert} \right)$

যেহেতু । $\frac{a}{\vert a \vert} = \text{sgn}(a)$

উল্লেখ্য ঠিক যখন $(\hat \beta_\lambda)_j = 0$

| {\hat{β}}_{j} | - \frac{λ}{σ_{j}^{2}} \leq 0 ⟺ | {\hat{β}}_{j} | \leq \frac{λ}{σ_{j}^{2}} ⟺ 1 \leq \frac{λ}{σ_{j}^{2} | {\hat{β}}_{j} |} ⟺ 1 - \frac{λ}{σ_{j}^{2} | {\hat{β}}_{j} |} \leq 0,

$\vert \hat \beta_j \vert - \frac{\lambda}{\sigma^2_j} \leq 0 \iff \vert \hat \beta_j \vert \leq \frac{\lambda}{\sigma^2_j} \iff 1 \leq \frac{\lambda}{\sigma^2_j \vert \hat \beta_j \vert} \iff 1 - \frac{\lambda}{\sigma^2_j \vert \hat \beta_j \vert} \leq 0,$

আমরা দেখতে পাচ্ছি যে আমরা বিকল্প হিসাবে $\hat \beta_\lambda$

({\hat{β}}_{λ})_{j} = {\hat{β}}_{j} {(1 - \frac{λ}{σ_{j}^{2} | {\hat{β}}_{j} |})}^{+} .

$(\hat \beta_\lambda)_j = \hat \beta_j \left( 1 - \frac{\lambda}{\sigma^2_j \vert \hat \beta_j \vert} \right)^+.$

সুতরাং এটি আপনার কাছে যা ছিল খুব কাছাকাছি কিন্তু ঠিক এক রকম নয়।

আমি সর্বদা সুপরিচিত গ্রন্থাগারগুলির থেকে এর বিপরীতে যদি পরীক্ষা করা যায় তা পরীক্ষা করতে পছন্দ করি, সুতরাং এখানে আর এর একটি উদাহরণ রয়েছে:

## generating `x`
set.seed(1)
n = 1000
p = 5
sigma2s = 1:p
x = svd(matrix(rnorm(n * p), n, p))$u %*% diag(sqrt(sigma2s))

## check this
# t(x) %*% x

## generating `y`
betas = 1:p
y = x %*% betas + rnorm(nrow(x), 0, .5)

lambda = 2

## using a well-known library to fit lasso
library(penalized)
penalized(y, x, lambda1 = lambda)@penalized


## using closed form solution
betahat = lm(y ~ x - 1)$coef
ifelse(betahat > 0, 1, -1) * sapply(abs(betahat) - lambda / sigma2s, function(v) max(c(0, v)))

— jld
সূত্র