শর্তগুলির কোন স্পষ্ট সেট রয়েছে যার অধীনে লসো, রিজ বা ইলাস্টিক নেট সলিউশন পাথগুলি একঘেয়ে?

18

প্রশ্ন এই Lasso চক্রান্ত (glmnet) থেকে উপসংহার Lasso মূল্নির্ধারক যে একঘেয়ে নয় সমাধান পাথ প্রমান। এটি হ'ল কিছু কফিশিয়েন্ট সঙ্কুচিত হওয়ার আগেই পরম মানে বৃদ্ধি পায়।

আমি এই মডেলগুলিকে বিভিন্ন ধরণের ডেটা সেটগুলিতে প্রয়োগ করেছি এবং "বন্যের মধ্যে" এই আচরণটি কখনও দেখিনি এবং আজ অবধি তারা ধরেই নিয়েছিল যে তারা সর্বদা একঘেয়ে থাকে।

শর্তগুলির একটি সুস্পষ্ট সেট রয়েছে যার অধীনে সমাধান পথগুলি একঘেয়ে হওয়ার নিশ্চয়তা দেয়? পথগুলি দিক পরিবর্তন করলে এটি ফলাফলের ব্যাখ্যাগুলিকে প্রভাবিত করে?

lasso ridge-regression elastic-net

— shadowtalker
সূত্র

মনোটোন কী অর্থে? আপনি যদি এটি কোনও ফাংশনের গ্রাফ হিসাবে বিবেচনা করতে চান তবে এটি আমার কাছে খুব অর্থবহ বলে মনে হচ্ছে না।

— হেনরি.এল

4

যখন সত্য নিম্নলিখিত: জন্য @ Henry.L প্রশ্ন যেমন পুনরায় তৈরি করা যেতে পারে

, আমরা আছে

সবার জন্য

, যেখানে

λ_{1} \geq λ_{2}

$\lambda_1 \ge \lambda_2$

({\hat{β}}_{λ_{2}})_{j} \geq ({\hat{β}}_{λ_{1}})_{j}

$(\hat\beta_{\lambda_2})_j \ge (\hat\beta_{\lambda_1})_j$

j

$j$

। যে, লাসো একইভাবে উপাদান দিক সঙ্কুচিত। আপনি সন্দেহজনক অর্থ কি তা দয়া করে ব্যাখ্যা করতে পারেন?

{\hat{β}}_{λ} = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\hat\beta_\lambda = \arg\min_\beta \frac{1}{2n}\|y-X\beta\|_2^2 + \lambda \|\beta\|_1$

— ব্যবহারকারী795305

2

দ্রষ্টব্য: যেভাবে লাসো সহগকে

— ব্যবহারকারী 795305

1

আমি জানি না কীভাবে আমি এটির আগে মিস করেছি, উপরের প্রশ্নে ওপির নিজের প্রশ্নের জবাব লসোর জন্য প্রশ্নের উত্তর দেওয়া হয়েছে।

— ব্যবহারকারী795305

উত্তর:

2

পথটি একঘেয়ে হয়ে উঠার জন্য আমি আপনাকে পর্যাপ্ত শর্ত দিতে পারি : একটি orthonormal নকশা । $X$

ধরুন একটি অরথনোরমাল ডিজাইনের ম্যাট্রিক্স, অর্থাৎ ভেরিয়েবলের সাথে আমাদের সেই $p$ $X$ । সঙ্গে একটি OLS ঔজ্জ্বল্যের প্রেক্ষাপটে ডিজাইন orthonormal রিগ্রেশন কোফিসিয়েন্টস কেবল হয় $\frac{X'X}{n} = I_p$ । $\hat{\beta}^{ols} = \frac{X'y}{n}$

লাসো-এর জন্য কারুশ-খুন-টকার শর্তগুলি এভাবে সহজ করে:

\frac{X^{'} y}{n} = {\hat{β}}^{l a s s o} + λ s ⟹ {\hat{β}}^{o l s} = {\hat{β}}^{l a s s o} + λ s

$\frac{X'y}{n} = \hat{\beta}^{lasso} + \lambda s \implies \hat{\beta}^{ols} = \hat{\beta}^{lasso} + \lambda s$

যেখানে হল সাব গ্রেডিয়েন্ট। তাই, প্রত্যেকের জন্য আমরা আছে , এবং আমরা Lasso অনুমান একটি বদ্ধ ফর্ম সমাধান আছে: $s$ $j\in \{1, \dots, p\}$ $\hat{\beta}_j^{ols} = \hat{\beta}_j^{lasso} + \lambda s_j$

{\hat{β}}_{j}^{l a s s o} = s i g n ({\hat{β}}_{j}^{o l s}) {(| {\hat{β}}_{j}^{o l s} | - λ)}_{+}

$\hat{\beta}_j^{lasso} = sign\left(\hat{\beta}_j^{ols}\right)\left(|\hat{\beta}_j^{ols}| - \lambda \right)_{+}$

$\lambda$ $X$

— কার্লোস সিনেলি
সূত্র

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।

Licensed under cc by-sa 3.0 with attribution required.