লারসের জন্য লাসো পরিবর্তন

12

আমি বুঝতে চেষ্টা করছি যে কীভাবে লাসোর উত্পন্ন করতে লার্স অ্যালগরিদম পরিবর্তন করা যেতে পারে। আমি যখন লারসকে বুঝতে পারি, তিবশিরানী এট আল দ্বারা আমি পেপার থেকে লাসো পরিবর্তনটি দেখতে পাচ্ছি না। বিশেষত আমি দেখতে পাচ্ছি না যে শূন্য-স্থানাঙ্কের সাইনটিতে সাইন শর্তটি অবশ্যই বর্তমান পারস্পরিক সম্পর্কের চিহ্নের সাথে একমত হতে হবে। কেউ কি আমাকে এই সাহায্য করতে পারেন? আমি অনুমান করি যে আমি আসল এল -1 নরমাল সমস্যা অর্থাৎ লাসোতে কেকেটি শর্ত ব্যবহার করে একটি গাণিতিক প্রমাণ খুঁজছি। অনেক ধন্যবাদ!

lasso

— newbiequant
সূত্র

আপনি কি ইফ্রন এট আল এর স্ট্যানফোর্ড.ইডু / ~হস্টি / পেপারস / লারস / লেস্ট অ্যানগল_2002.pdf এর কথা উল্লেখ করছেন ? এটি 5 বিভাগের লেমায় 8 এ প্রমাণিত হয়েছে বা আমি আপনার প্রশ্নের ভুল বোঝাবুঝি করছি?

— পিটার এলিস

1

আমি এই প্রশ্ন সম্পর্কেও নিশ্চিত নই, তবে বাস্তবে লাসো লার্সের সরলকরণ: লাসোর জন্য আপনি কেবলমাত্র অবশিষ্ট অবশিষ্টাংশ এবং বাকী ভিত্তিক ক্রিয়াকলাপগুলির মধ্যে ইতিবাচক পারস্পরিক সম্পর্ক খুঁজছেন, যেহেতু কেবল ইতিবাচক পারস্পরিক সম্পর্কই ইতিবাচক দিকে পরিচালিত করে (~ অ-নেতিবাচক) সহগ।

— মিঃ হোয়াইট

2

যাক (আকার ) মান ইনপুট একটি সেট বোঝায় (আকার ) প্রতিক্রিয়া, কেন্দ্রিক (আকার ) রিগ্রেশন ওজন ও একটি -norm penalisation সহগ। $X$ $n\times p$ $y$ $n \times 1$ $\beta$ $p \times 1$ $\lambda > 0$ $l_1$

লাসো সমস্যা তারপরে লিখেছে

\begin{aligned} β^{*} & = {argmin}_{β} L (β, λ) \\ L (β, λ) & = ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \end{aligned}

$\begin{align} \beta^* &= \text{argmin}_{\beta}\ L(\beta,\lambda) \\ L(\beta,\lambda) &= \Vert y-X\beta \Vert_2^2 + \lambda \Vert \beta \Vert_1 \end{align}$

সমস্ত মানের জন্য এটি সমাধান করার ফলে তথাকথিত লাসো নিয়মিতকরণের পথ । $\lambda > 0$ $\beta^*(\lambda)$

জরিমানার সহগ ল্যাম্বদা এর একটি নির্দিষ্ট মানের জন্য (যেমন সক্রিয় পূর্বাভাসকারীদের স্থির সংখ্যা = এলএআরএস অ্যালগরিদমের স্থির পদক্ষেপ), show সন্তুষ্ট হওয়া (কেবল কেকেটি স্টেশনারিটির শর্তটি কেবল এই হিসাবে লিখুন) দেখানো সম্ভব উত্তর ) $\lambda^*$ $\beta^*$

λ^{*} = 2 sign (β_{a}^{*}) X_{a}^{T} (y - X β^{*}), \forall a \in A

$\lambda^* = 2 \ \text{sign}(\beta_a^*) X_a^T (y - X \beta^*),\ \ \ \forall a \in A$

সঙ্গে সক্রিয় ভবিষ্যতবক্তা সেট উপস্থাপন করে। $A$

যেহেতু mb ল্যাম্বদা অবশ্যই ইতিবাচক হতে হবে (এটি একটি শাস্তিমূলক সহগ) এটি স্পষ্ট যে (কোনও অ-শূন্যের ফলে সক্রিয় প্রেডিক্টরের ওজন) এর এর চেয়ে একই হওয়া উচিত) অর্থাৎ বর্তমান রিগ্রেশন অবশিষ্টাংশের সাথে সম্পর্কিত। $\lambda^*$ $\beta_a^*$ $X_a^T (y - X\beta^*) = X_{a}^T r$

— Quantuple
সূত্র

1

@ মিঃ_হাইট এলএআরএস এবং লাসোর মধ্যে প্রধান পার্থক্যের একটি দুর্দান্ত স্বজ্ঞাত ব্যাখ্যা প্রদান করেছে; আমি কেবল যুক্ত করতে চাই যে লাসো হ'ল (এক ধরণের) একটি পশ্চাৎপদ নির্বাচন পদ্ধতির মতো, প্রতিটি পদক্ষেপে একটি শব্দ ছিটকে যতক্ষণ না একটি শব্দ বিদ্যমান থাকে তাদের মধ্যে কোনটি ( উপরে "স্বাভাবিকীকরণ" ) পারস্পরিক সম্পর্ক বিদ্যমান। LARS সমস্ত কিছু সেখানে রাখে - মূলত প্রতিটি সম্ভাব্য ক্রমে লাসো সম্পাদন করে। এর অর্থ এই যে লাসোতে প্রতিটি পুনরাবৃত্তি নির্ভর করে যা ইতিমধ্যে পদগুলি সরানো হয়েছে। $X \times X$

এফ্রন এর প্রয়োগের মাধ্যমে পার্থক্যগুলি ভালভাবে পরিবর্তিত হয়েছে তা বোঝায়: লার্সের জন্য উত্স পিকেজিতে লার্স.আর । লক্ষ্য করুন ম্যাট্রিক্সের আপডেট পদক্ষেপ ম্যাট্রিক্স এবং লাইন 180 থেকে শুরু, এবং পদ ড্রপ, যার জন্য । আমি স্পেস থেকে উদ্ভূত কিছু অদ্ভুত পরিস্থিতিতে কল্পনা করতে পারেন যেখানে পদ ভারসাম্যহীন হয় ( এবং খুব সম্পর্কিত হয় কিন্তু অন্যদের সাথে সঙ্গে কিন্তু অন্যদের সঙ্গে না, ইত্যাদি) নির্বাচন অর্ডার বেশ পক্ষপাতমূলক যেতে পারে। $X \times X$ $\zeta$ $\zeta_{min} < \zeta_{current}$ $A$ $x_1$ $x_2$ $x_2$ $x_3$

— egbutter
সূত্র