গ্ল্যামনেট রিজ রিগ্রেশন আমাকে ম্যানুয়াল গণনার চেয়ে আলাদা উত্তর দিচ্ছে কেন?

রিজ রিগ্রেশন অনুমান গণনা করতে আমি গ্ল্যামনেট ব্যবহার করছি। আমি এমন কিছু ফলাফল পেয়েছি যা আমাকে সন্দেহজনক করে তুলেছিল যে গ্ল্যামনেট সত্যই আমার মনে হয় যা এটি করে। এটি যাচাই করার জন্য আমি একটি সাধারণ আর স্ক্রিপ্ট লিখেছিলাম যেখানে আমি সমাধানের মাধ্যমে রিজ রিগ্রেশন এবং গ্ল্যামনেটের একটির ফলাফলের সাথে তুলনা করি, পার্থক্যটি উল্লেখযোগ্য:

n    <- 1000
p.   <-  100
X.   <- matrix(rnorm(n*p,0,1),n,p)
beta <- rnorm(p,0,1)
Y    <- X%*%beta+rnorm(n,0,0.5)

beta1 <- solve(t(X)%*%X+5*diag(p),t(X)%*%Y)
beta2 <- glmnet(X,Y, alpha=0, lambda=10, intercept=FALSE, standardize=FALSE, 
                family="gaussian")$beta@x
beta1-beta2

পার্থক্যটির আদর্শটি প্রায় 20 টির কাছাকাছি থাকে যা সংখ্যাগতভাবে বিভিন্ন অ্যালগোরিদমের কারণে হতে পারে না, আমার অবশ্যই কিছু ভুল হচ্ছে। glmnetরিজের সাথে একই ফলাফল পাওয়ার জন্য আমার কী সেটিংস সেট করতে হবে?

r ridge-regression glmnet

— জন
সূত্র

আপনি এই প্রশ্নটি দেখেছেন ?

— cdeterman

হ্যাঁ, তবে আমি এখনও সাধারণীকরণ ব্যবহার করে একই ফলাফল পাই না।

— জন

আপনি কি তখন আপনার কোড পোস্ট করতে পারেন?

— শ্যাডটলকার

আমি ঠিক একই সমস্যা ছিল! a = data.frame (a = jitter (1:10), b = jitter (1:10), c = jitter (1:10), d = jitter (1:10), e = jitter (1:10) , এফ = জিটার (1:10), জি = নমুনা (জিটার (1:10)), y = সিক (10,100,10)); কোফ (lm.ridge (y ~ a + b + c + d + e + f + g, a, ল্যাম্বদা = 2.57%)); কোফ (গ্ল্যামনেট (as.matrix (a [, 1: 7]), a $ y, পরিবার = "গাউসিয়ান", আলফা = 0, ল্যাম্বদা = 2.57 / 10)) ফলাফলগুলি কিছুটা আলাদা হয় এবং অনেক বেশি মিল হয় যখন আমি গ্ল্যামনেটের জন্য অনেক বেশি ল্যাম্বডাস ব্যবহার করি।

— a11msp

কুচুটে।

— গুণফলগুলি

উত্তর:

আপনি যে পার্থক্যটি পর্যবেক্ষণ করছেন তা পর্যবেক্ষণের সংখ্যা দ্বারা অতিরিক্ত বিভাগের কারণে, এন, যা GLMNET তাদের উদ্দেশ্যমূলক কার্যক্রমে ব্যবহার করে এবং ওয়াইয়ের নিখরচায় মানক বিচ্যুতি দ্বারা তার নিখরচায় মানককরণের নীচে দেখায়।

\frac{1}{2 N} {‖ \frac{y}{s_{y}} - X β ‖}_{2}^{2} + λ ‖ β ‖_{2}^{2} / 2

$\frac{1}{2N}\left\|\frac{y}{s_y}-X\beta\right\|^2_{2}+\lambda\|\beta\|^2_{2}/2$

যেখানে আমরা ব্যবহার স্থানে জন্য , $1/n$ $1/(n-1)$ $s_y$

s_{y} = \frac{\sum_{i} (y_{i} - \bar{y})^{2}}{n}

$s_y=\frac{\sum_i(y_i-\bar{y})^2}{n}$

বিটার প্রতি শ্রদ্ধার সাথে পার্থক্য করে, সমীকরণটি শূন্যে সেট করে,

X^{T} X β - \frac{X^{T} y}{s_{y}} + N λ β = 0

$X^TX\beta-\frac{X^Ty}{s_y}+N\lambda\beta =0$

এবং বিটার জন্য সমাধান, আমরা অনুমানটি পাই,

{\tilde{β}}_{G L M N E T} = (X^{T} X + N λ I_{p})^{- 1} \frac{X^{T} y}{s_{y}}

$\tilde{\beta}_{GLMNET}= (X^TX+N\lambda I_p)^{-1}\frac{X^Ty}{s_y}$

ওয়াই মূল মেট্রিক উপর অনুমান (এবং তাদের সংশ্লিষ্ট জরিমানা) পুনরুদ্ধার করার জন্য, GLMNET তা বৃদ্ধি পায় উভয় প্রাক্কলন ও lambdas দ্বারা এবং ব্যবহারকারীতে আয় এই ফলাফল, $s_y$

{\hat{β}}_{G L M N E T} = s_{y} {\tilde{β}}_{G L M N E T} = (X^{T} X + N λ I_{p})^{- 1} X^{T} y

$\hat{\beta}_{GLMNET}=s_y\tilde{\beta}_{GLMNET}= (X^TX+N\lambda I_p)^{-1}X^Ty$

λ_{u n s t d .} = s_{y} λ

$\lambda_{unstd.}=s_y\lambda$

এই দ্রবণটির সাথে রিজ রিগ্রেশনটির স্ট্যান্ডার্ড ডেরিভেশনের সাথে তুলনা করুন।

\hat{β} = (X^{T} X + λ I_{p})^{- 1} X^{T} y

$\hat{\beta}= (X^TX+\lambda I_p)^{-1}X^Ty$

লক্ষ্য করুন যে এন এর একটি অতিরিক্ত ফ্যাক্টর দ্বারা অতিরিক্তভাবে, আমরা যখন বা ফাংশনটি ব্যবহার করি , তখন জরিমানা দ্বারা । এর অর্থ হ'ল, যখন আমরা কিছু অনুমানের জন্য এই ফাংশনগুলি ব্যবহার করি , আমরা কার্যকরভাবে । $\lambda$ predict()coef() $1/s_y$ $\lambda^*$ $\lambda=\lambda^*/s_y$

এই পর্যবেক্ষণগুলির উপর ভিত্তি করে, GLMNET এ ব্যবহৃত পেনাল্টিটি এর একটি গুণক দ্বারা মাপানো দরকার । $s_y/N$

set.seed(123)

n    <- 1000
p   <-  100
X   <- matrix(rnorm(n*p,0,1),n,p)
beta <- rnorm(p,0,1)
Y    <- X%*%beta+rnorm(n,0,0.5)

sd_y <- sqrt(var(Y)*(n-1)/n)[1,1]

beta1 <- solve(t(X)%*%X+10*diag(p),t(X)%*%(Y))[,1]

fit_glmnet <- glmnet(X,Y, alpha=0, standardize = F, intercept = FALSE, thresh = 1e-20)
beta2 <- as.vector(coef(fit_glmnet, s = sd_y*10/n, exact = TRUE))[-1]
cbind(beta1[1:10], beta2[1:10])

           [,1]        [,2]
[1,]  0.23793862  0.23793862
[2,]  1.81859695  1.81859695
[3,] -0.06000195 -0.06000195
[4,] -0.04958695 -0.04958695
[5,]  0.41870613  0.41870613
[6,]  1.30244151  1.30244151
[7,]  0.06566168  0.06566168
[8,]  0.44634038  0.44634038
[9,]  0.86477108  0.86477108
[10,] -2.47535340 -2.47535340

ফলাফলগুলি একটি বিরতি এবং মানকৃত এক্স ভেরিয়েবলগুলির অন্তর্ভুক্তিতে সাধারণীকরণ করে। [১,১] অবস্থানে অতিরিক্ত শূন্য প্রবেশের জন্য (যেমন ইন্টারসেপ্টটিকে শাস্তি দেবেন না) একটি কলাম এবং তির্যক ম্যাট্রিক্স অন্তর্ভুক্ত করার জন্য আমরা একটি প্রমিত X ম্যাট্রিক্স পরিবর্তন করেছি। তারপরে আপনি তাদের নিজ নিজ নমুনা স্ট্যান্ডার্ড বিচ্যুতি দ্বারা অনুমানগুলি আনস্ট্যান্ডার্ড করতে পারেন (আবার নিশ্চিত করুন যে আপনি স্ট্যান্ডার্ড বিচ্যুতি গণনার সময় 1 / এন ব্যবহার করছেন)।

{\hat{β}}_{j} = \frac{\tilde{β_{j}}}{s_{x_{j}}}

$\hat\beta_{j}=\frac{\tilde{\beta_j}}{s_{x_j}}$

{\hat{β}}_{0} = \tilde{β_{0}} - {\bar{x}}^{T} \hat{β}

$\hat\beta_{0}=\tilde{\beta_0}-\bar{x}^T\hat{\beta}$

mean_x <- colMeans(X)
sd_x <- sqrt(apply(X,2,var)*(n-1)/n)
X_scaled <- matrix(NA, nrow = n, ncol = p)
for(i in 1:p){
    X_scaled[,i] <- (X[,i] - mean_x[i])/sd_x[i] 
}
X_scaled_ones <- cbind(rep(1,n), X_scaled)

beta3 <- solve(t(X_scaled_ones)%*%X_scaled_ones+1000*diag(x = c(0, rep(1,p))),t(X_scaled_ones)%*%(Y))[,1]
beta3 <- c(beta3[1] - crossprod(mean_x,beta3[-1]/sd_x), beta3[-1]/sd_x)

fit_glmnet2 <- glmnet(X,Y, alpha=0, thresh = 1e-20)
beta4 <- as.vector(coef(fit_glmnet2, s = sd_y*1000/n, exact = TRUE))

cbind(beta3[1:10], beta4[1:10])
             [,1]        [,2]
 [1,]  0.24534485  0.24534485
 [2,]  0.17661130  0.17661130
 [3,]  0.86993230  0.86993230
 [4,] -0.12449217 -0.12449217
 [5,] -0.06410361 -0.06410361
 [6,]  0.17568987  0.17568987
 [7,]  0.59773230  0.59773230
 [8,]  0.06594704  0.06594704
 [9,]  0.22860655  0.22860655
[10,]  0.33254206  0.33254206

বিনা বাধা ছাড়াই মানকযুক্ত এক্স দেখানোর জন্য কোড যুক্ত করা হয়েছে:

set.seed(123)

n <- 1000
p <-  100
X <- matrix(rnorm(n*p,0,1),n,p)
beta <- rnorm(p,0,1)
Y <- X%*%beta+rnorm(n,0,0.5)

sd_y <- sqrt(var(Y)*(n-1)/n)[1,1]

mean_x <- colMeans(X)
sd_x <- sqrt(apply(X,2,var)*(n-1)/n)

X_scaled <- matrix(NA, nrow = n, ncol = p)
for(i in 1:p){
    X_scaled[,i] <- (X[,i] - mean_x[i])/sd_x[i] 
}

beta1 <- solve(t(X_scaled)%*%X_scaled+10*diag(p),t(X_scaled)%*%(Y))[,1]

fit_glmnet <- glmnet(X_scaled,Y, alpha=0, standardize = F, intercept = 
FALSE, thresh = 1e-20)
beta2 <- as.vector(coef(fit_glmnet, s = sd_y*10/n, exact = TRUE))[-1]
cbind(beta1[1:10], beta2[1:10])

             [,1]        [,2]
 [1,]  0.23560948  0.23560948
 [2,]  1.83469846  1.83469846
 [3,] -0.05827086 -0.05827086
 [4,] -0.04927314 -0.04927314
 [5,]  0.41871870  0.41871870
 [6,]  1.28969361  1.28969361
 [7,]  0.06552927  0.06552927
 [8,]  0.44576008  0.44576008
 [9,]  0.90156795  0.90156795
[10,] -2.43163420 -2.43163420

— skijunkie
সূত্র

+6। সিভিতে আপনাকে স্বাগতম এবং এই পুরানো প্রশ্নের উত্তরটি পরিষ্কারভাবে দেওয়ার জন্য ধন্যবাদ।

— অ্যামিবা বলেছেন মনিকাকে

এটা তোলে পরিচয় ম্যাট্রিক্স পরিবর্তে হওয়া উচিত এর দ্রবণে , সঠিক?

β

$\beta$

\tilde{β}

$\tilde{\beta}$

— ব্যবহারকারী 1769197

আমি আরও লক্ষ্য করেছি যে দ্বিতীয় অংশের জন্য যেখানে আপনি বলেছিলেন "ফলাফলগুলি একটি ইন্টারসেপ্ট এবং স্ট্যান্ডার্ডাইজড এক্স ভেরিয়েবলগুলি অন্তর্ভুক্তিকে সাধারণীকরণ করে"; এই অংশের জন্য, আপনি যদি ইন্টারসেপটি বাদ দেন, তবে একই গণনা অনুসরণ করে, গ্ল্যামনেটের ফলাফলগুলি ম্যানুয়াল গণনা থেকে আলাদা হয়ে যায়।

— ব্যবহারকারী 1769197

সঠিক, আমি প্রয়োজন হিসাবে as জায়গায় পরিচয় ম্যাট্রিক্সের সাথে সমাধানটি আপডেট করেছি । আমি স্ট্যান্ডার্ডাইজড এক্স এর সমাধানটি কোনও বিরতি ছাড়াই পরীক্ষা করে দেখেছি এবং এখনও অভিন্ন ফলাফল পেয়েছি (উপরে অতিরিক্ত কোড দেখুন)।

β

$\beta$

— স্কিজুঙ্কি

Https://web.stanford.edu/~hastie/glmnet/glmnet_alpha.html এর মতে , পরিবারটি যখন gaussian, glmnet()কমপক্ষে

\begin{matrix} (1) & \frac{1}{2 n} \sum_{i = 1}^{n} (y_{i} - β_{0} - x_{i}^{T} β)^{2} + λ \sum_{j = 1}^{p} (α | β_{j} | + (1 - α) β_{j}^{2} / 2) . \end{matrix}

$\frac{1}{2n} \sum_{i=1}^n (y_i-\beta_0-x_i^T\beta)^2 +\lambda\sum_{j=1}^p(\alpha|\beta_j| +(1-\alpha)\beta_j^2/2). \tag{1}$

যখন ব্যবহার glmnet(x, y, alpha=1)কলাম সঙ্গে Lasso মাপসই আদর্শায়িত, রিপোর্ট শাস্তি সমাধান কমানোর জন্য সমাধান যাইহোক, অন্তত যখন ব্যবহার হইয়া শৈলশিরা রিগ্রেশন, একটি রিপোর্ট শাস্তি সমাধান কমানোর জন্য সমাধান যেখানে হ'ল মানক বিচ্যুতি । এখানে, জরিমানাটি হিসাবে জানা উচিত ছিল । $x$ $\lambda$

\frac{1}{2 n} \sum_{i = 1}^{n} (y_{i} - β_{0} - x_{i}^{T} β)^{2} + λ \sum_{j = 1}^{p} | β_{j} | .

$\frac{1}{2n} \sum_{i=1}^n (y_i-\beta_0-x_i^T\beta)^2 +\lambda \sum_{j=1}^p |\beta_j|.$ glmnet_2.0-13glmnet(x, y, alpha=0)

λ

$\lambda$

\frac{1}{2 n} \sum_{i = 1}^{n} (y_{i} - β_{0} - x_{i}^{T} β)^{2} + λ \frac{1}{2 s_{y}} \sum_{j = 1}^{p} β_{j}^{2} .

$\frac{1}{2n} \sum_{i=1}^n (y_i-\beta_0-x_i^T\beta)^2 +\lambda \frac{1}{2s_y} \sum_{j=1}^p \beta_j^2.$

s_{y}

$s_y$

y

$y$

λ / s_{y}

$\lambda/s_y$

যা ঘটতে পারে তা হ'ল ফাংশনটি প্রথমে কে মান এবং তারপরে যা কার্যকরভাবে হ্রাস করতে হবে বা সমতুল্য, $y$ $y_0$

\begin{matrix} (2) & \frac{1}{2 n} \sum_{i = 1}^{n} (y_{0 i} - x_{i}^{T} γ)^{2} + η \sum_{j = 1}^{p} (α | γ_{j} | + (1 - α) γ_{j}^{2} / 2), \end{matrix}

$\frac{1}{2n} \sum_{i=1}^n (y_{0i}-x_i^T\gamma)^2 +\eta \sum_{j=1}^p(\alpha|\gamma_j| +(1-\alpha)\gamma_j^2/2), \tag{2}$

\frac{1}{2 n s_{y}^{2}} \sum_{i = 1}^{n} (y_{i} - β_{0} - x_{i}^{T} β)^{2} + η \frac{α}{s_{y}} \sum_{j = 1}^{p} | β_{j} | + η \frac{1 - α}{2 s_{y}^{2}} \sum_{j = 1}^{p} β_{j}^{2},

$\frac{1}{2n s_y^2} \sum_{i=1}^n (y_i-\beta_0-x_i^T\beta)^2 +\eta \frac{\alpha}{s_y} \sum_{j=1}^p |\beta_j| +\eta \frac{1-\alpha}{2s_y^2} \sum_{j=1}^p \beta_j^2,$

\frac{1}{2 n} \sum_{i = 1}^{n} (y_{i} - β_{0} - x_{i}^{T} β)^{2} + η s_{y} α \sum_{j = 1}^{p} | β_{j} | + η (1 - α) \sum_{j = 1}^{p} β_{j}^{2} / 2.

$\frac{1}{2n} \sum_{i=1}^n (y_i-\beta_0-x_i^T\beta)^2 +\eta s_y \alpha \sum_{j=1}^p |\beta_j| +\eta (1-\alpha) \sum_{j=1}^p \beta_j^2/2.$

লাসোর জন্য ( ), স্কেলিং পিছনে হিসাবে রিপোর্ট করুন । তারপরে সমস্ত , কে জুড়ে ফলাফলের ধারাবাহিকতা বজায় রাখার জন্য শাস্তি হিসাবে রিপোর্ট করতে হবে । এটি সম্ভবত উপরের সমস্যার কারণ। এটি আংশিকভাবে (1) সমাধান করার জন্য (2) ব্যবহারের কারণে। কেবলমাত্র যখন বা সমস্যা (1) এবং (2) (যেমন, (1) এবং ইন (2)) এর মধ্যে একটি সামঞ্জস্য রয়েছে । অন্য যে কোনও For এর জন্য $\alpha=1$ $\eta$ $\eta s_y$ $\alpha$ $\eta s_y$ $\alpha$ $\alpha=0$ $\alpha=1$ $\lambda$ $\eta$ $\alpha\in(0,1)$ , সমস্যা (1) এবং (2) দুটি পৃথক অপ্টিমাইজেশান সমস্যা, এবং ইন (1) এবং (2) এর মধ্যে একের সাথে কোনও যোগাযোগ নেই । $\lambda$ $\eta$

— চুন লি
সূত্র

আপনার উত্তরটি আগের উত্তর থেকে কোথায় পৃথক হয় তা আমি দেখতে পাচ্ছি না। আপনি দয়া করে ব্যাখ্যা করতে পারেন?

— ফায়ারব্যাগ

@ ফায়ারবাগ আমি ল্যাম্বডাকে কেন এইভাবে রিপোর্ট করি সে বিষয়ে আলোকপাত করতে চেয়েছিলাম, যা সম্পূর্ণরূপে রিজ রিগ্রেশনের দৃষ্টিকোণ থেকে দেখা গেলে অপ্রাকৃত, তবে পুরো বর্ণালীটির দৃষ্টিকোণ থেকে দেখার সময় এটি বুদ্ধিমান হয় (বা এইভাবে হতে হবে) উভয় রিজ এবং লাসো সহ।

— চুন লি