বাড়লে কি বাড়ানো যায় ?

11

যদি $\beta^*=\mathrm{arg\,min}_{\beta} \|y-X\beta\|^2_2+\lambda\|\beta\|_1$ , $\|\beta^*\|_2$ বৃদ্ধি করতে পারে $\lambda$ বাড়ে?

আমি মনে করি এটি সম্ভব। যদিও $\|\beta^*\|_1$ বাড়ে না যখন $\lambda$ বৃদ্ধি (আমার প্রমাণ ), $\|\beta^*\|_2$ বৃদ্ধি করতে পারেন। নীচের চিত্রটি একটি সম্ভাবনা দেখায়। যখন $\lambda$ বেড়ে যায়, যদি $\beta^*$ ভ্রমনের (সুসংগত) থেকে $P$ থেকে $Q$ , তারপর $\|\beta^*\|_2$ বৃদ্ধির যখন $\|\beta^*\|_1$ হ্রাস পায়। তবে আমি কীভাবে একটি কংক্রিট উদাহরণ তৈরি করতে জানি না (যেমন, $X$ এবং নির্মাণ করা $y$ ), যাতে এর প্রোফাইলটি $\beta^*$ এই আচরণটি প্রদর্শন করে। কোন ধারনা? ধন্যবাদ.

এখানে চিত্র বর্ণনা লিখুন

lasso

— ziyuang
সূত্র

10

উত্তর হ্যাঁ, এবং ঠিক আছে আপনার গ্রাফিকাল প্রমাণ রয়েছে। $\ell_2$

ভেক্টরের নিয়মের সমতার সংজ্ঞাটি দেখুন up আপনি দেখতে পাবেন যে যেখানে ভেক্টরের এর মাত্রা । অত: পর, কিছু হয় আন্দোলিত রুম জন্য তুলনায় আদর্শ, আদর্শ।

‖ x ‖_{2} \leq ‖ x ‖_{1} \leq \sqrt{n} ‖ x ‖_{2},

$\|x\|_2 \leq \|x\|_1 \leq \sqrt{n}\|x\|_2,$

n

$n$

x

$x$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

আসলে, আপনি যে সমস্যাটি সমাধান করতে চান তা নিম্নরূপ বলা যেতে পারে:

এই যেমন যে একই সাথে $d$

‖ x + d ‖_{2} > ‖ x ‖_{2}

$\|x + d\|_2 > \|x\|_2$

‖ x + d ‖_{1} < ‖ x ‖_{1} .

$\|x + d\|_1 < \|x\|_1.$

প্রথম অসমতার স্কোয়ারটি প্রসারিত করুন এবং দেখুন যে এবং যে, এবং ধরে ধরে আমরা আমাদের দ্বিতীয় বৈষম্য থেকে পাই যে আমাদের অবশ্যই যে কোনও যা এই প্রতিবন্ধকতাগুলি পূরণ করে তা আদর্শকে হ্রাস করার সাথে সাথে আদর্শকে ।

2 \sum_{i} x_{i} d_{i} > - \sum_{i} d_{i}^{2}

$2\sum_i x_id_i > -\sum_i d_i^2$

x_{i} \geq 0

$x_i\geq0$

x_{i} + d_{i} \geq 0

$x_i+d_i\geq0$

\sum_{i} d_{i} < 0.

$\sum_i d_i < 0.$

d

$d$

ℓ_{2}

$\ell_2$

ℓ_{1}

$\ell_1$

আপনার উদাহরণে, , , এবং এবং $d\approx[-0.4, 0.3]^T$ $x:=P\approx[0.5, 0.6]^T$

\sum_{i} d_{i} \approx - 0.1 < 0,

$\sum_i d_i\approx-0.1<0,$

2 \sum_{i} P_{i} d_{i} \approx - 0.04 > - 0.25 \approx - \sum_{i} d_{i}^{2} .

$2\sum_i P_id_i\approx-0.04 > -0.25 \approx -\sum_i d_i^2.$

— টমি এল
সূত্র

তবে এটি এবং নির্মাণের সাথে কীভাবে সম্পর্কিত ?

X

$X$

y

$y$

— জিয়ুয়াং

3

জন্য @ TommyL এর উত্তর ধন্যবাদ, কিন্তু তার উত্তর নির্মাণের সরাসরি নয় এবং । আমি নিজেই এটিকে "সমাধান" করি। প্রথমত, যখন বাড়বে, each বৃদ্ধি পাবে না যখন প্রতিটি একঘেয়েমি হ্রাস পায়। অर्थনোর্মাল হলে এটি ঘটে থাকে , যেখানে আমাদের রয়েছে $X$ $y$ $\lambda$ $\|\beta^*\|_2$ $\beta^*_i$ $X$

β_{i}^{*} = s i g n (β_{i}^{L S}) (β_{i}^{L S} - λ)_{+}

$\beta^*_i=\mathrm{sign}(\beta_i^{\mathrm{LS}})(\beta_i^{\mathrm{LS}}-\lambda)_+$

জ্যামিতিকভাবে, এই পরিস্থিতিতে আদর্শের কনট্যুরের উপর চলে যায় , তাই বৃদ্ধি করতে পারে না। $\beta^*$ $\ell_1$ $\|\beta^*\|_2$

আসলে, হাস্টি এট আল। কাগজে ফরোয়ার্ড স্টেজওয়াইজ রিগ্রেশন এবং মোনোটোন লাসো উল্লেখ করা হয়েছে , প্রোফাইল পাথগুলির একঘেয়েমিটির প্রয়োজনীয় এবং পর্যাপ্ত শর্ত:

এখানে চিত্র বর্ণনা লিখুন

কাগজের সেকশন 6-এ তারা টুকরোগুলি-রৈখিক ভিত্তিক ক্রিয়াগুলির উপর ভিত্তি করে একটি কৃত্রিম ডেটা সেট তৈরি করেছেন যা উপরের শর্তটি লঙ্ঘন করে অ-একঘেয়েমি দেখিয়ে। তবে আমাদের ভাগ্য থাকলে আমরাও এলোমেলোভাবে একটি ডেটা সেট তৈরি করতে পারি যা একই রকম আচরণটি প্রদর্শন করে তবে একটি সহজ উপায়ে। আমার আর কোডটি এখানে:

library(glmnet)
set.seed(0)
N <- 10
p <- 15
x1 <- rnorm(N)
X <- mat.or.vec(N, p)
X[, 1] <- x1
for (i in 2:p) {X[, i] <- x1 + rnorm(N, sd=0.2)}
beta <- rnorm(p, sd=10)
y <- X %*% beta + rnorm(N, sd=0.01)
model <- glmnet(X, y, family="gaussian", alpha=1, intercept=FALSE)

আমি ইচ্ছাকৃতভাবে এর কলামগুলিকে অত্যন্ত সংযুক্ত হতে দিলাম (অরথনরমাল কেস থেকে অনেক দূরে), এবং সত্য বড় ধরণের ইতিবাচক এবং নেতিবাচক এন্ট্রি রয়েছে। এখানে এর প্রোফাইল (আশ্চর্যজনকভাবে কেবল 5 টি ভেরিয়েবল সক্রিয় নয়): $X$ $\beta$ $\beta^*$

এখানে চিত্র বর্ণনা লিখুন

এবং এবং মধ্যে সম্পর্ক : $\lambda$ $\|\beta^*\|_2$

এখানে চিত্র বর্ণনা লিখুন

সুতরাং আমরা কিছু বিরতি জন্য দেখতে পারেন , যেমন বাড়ে বাড়ে। $\lambda$ $\|\beta^*\|_2$ $\lambda$

— ziyuang
সূত্র