কেকেটি বনাম লাসো রিগ্রেশন-এর নিয়ন্ত্রিত বিন্যাস

এল 1 পেনালাইজড রিগ্রেশন (ওরফে লাসো) দুটি ফর্মুলেশনে উপস্থাপিত হয়। দুটি উদ্দেশ্যমূলক ফাংশনটি তারপরে দুটি পৃথক সূত্রগুলি সাপেক্ষে এবং এবং, equivalently কারুশ-কুহান-টকার (কেকেটি) শর্তাবলী ব্যবহার করে, প্রথম সূত্রের স্থিতিস্থাপকতা দ্বিতীয় সূত্রের গ্রেডিয়েন্ট গ্রহণ করা এবং এটি 0 এর সমান স্থাপনের সমান, এটি সহজেই পাওয়া যায় যা আমি খুঁজে পাই না এবং খুঁজে বের করতে পারি না nor , প্রথম সূত্রের পরিপূরক স্লো অবস্থাটি কীভাবে,

Q_{1} = \frac{1}{2} | | Y - X β | |_{2}^{2} Q_{2} = \frac{1}{2} | | Y - X β | |_{2}^{2} + λ | | β | |_{1} .

$Q_1 = \frac{1}{2}||Y - X\beta||_2^2 \\ Q_2 =\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1.$

{argmin}_{β} Q_{1}

$\text{argmin}_\beta \; Q_1$

| | β | |_{1} \leq t,

$||\beta||_1 \leq t,$

{argmin}_{β} Q_{2} .

$\text{argmin}_\beta \; Q_2.$

λ (| | β | |_{1} - t) = 0

$\lambda\left(||\beta||_1 - t\right) = 0$ , দ্বিতীয় গঠনের সমাধানের মাধ্যমে পূরণের গ্যারান্টিযুক্ত।

regression lasso penalized

— goodepic
সূত্র

উত্তর:

দুই গঠন অর্থে যে প্রতিটি মান জন্য হয় সমতুল্য $t$ প্রথম সূত্র, সেখানে মান বিদ্যমান $\lambda$ যেমন যে দুই গঠন একই মিনিমাইজার আছে দ্বিতীয় সূত্র $\beta$ ।

এখানে ন্যায়সঙ্গততা রয়েছে:

লাসো গঠনের বিষয়টি বিবেচনা করুন: মিনিমাইজারটিহতেদিন এবং। আমার দাবি যে আপনি যদি সেটপ্রথম সূত্র, তারপরে প্রথম সূত্র সমাধান সেখানে থাকবে। প্রমাণ এখানে:

চ (β) = \frac{1}{2} | | ওয়াই - এক্স β | |_{2}^{2} + + λ | | β | |_{1}

$f(\beta)=\frac{1}{2}||Y - X\beta||_2^2 + \lambda ||\beta||_1$

β^{*}

$\beta^*$

b = | | β^{*} | |_{1}

$b=||\beta^*||_1$

t = b

$t=b$

β^{*}

$\beta^*$

সর্বনিম্ন \frac{1}{2} | | ওয়াই - এক্স β | |_{2}^{2} St | | β | |_{1} \leq খ

$\min \frac{1}{2}||Y - X\beta||_2^2 \text{ s.t.} ||\beta||_1\leq b$

\hat{β}

$\hat{\beta}$

| | \hat{β} | |_{1} < | | β^{*} | |_{1} = b

$||\hat{\beta}||_1<||\beta^*||_1=b$

f (\hat{β}) < f (β^{*})

$f(\hat{\beta})<f(\beta^*)$

β^{*}

$\beta^*$

β^{*}

$\beta^*$

যেহেতু , পরিপূরক স্লোনেস শর্তটি সমাধান পয়েন্ট এ সন্তুষ্ট । $t=b$ $\beta^*$

সুতরাং, সহ একটি লাসো সূত্র দেওয়া , আপনি আদর্শের মান সমান ব্যবহার করে একটি সীমাবদ্ধ সূত্র তৈরি করেন। বিপরীতে, দিয়ে একটি সীমাবদ্ধ সূত্র দেওয়া , আপনি একটি পাবেন যে লাসোর সমাধান সীমাবদ্ধ গঠনের সমাধানের সমান হবে। $\lambda$ $t$ $l_1$ $t$ $\lambda$

(আপনি যদি সাবগ্রেডিয়েন্টস সম্পর্কে জানেন তবে , যেখানে সমীকরণটি সমাধান করে আপনি এই ল্যাম্বদাটি খুঁজে পেতে পারেন $\lambda$ $X^T(y-X\beta^*)=\lambda z^*$ $z^* \in \partial ||\beta^*||_1)$

— elexhobby
সূত্র

চমৎকার। সমাধানটি একবার দেখলে নিজেকে সেখানে না পেয়ে সর্বদা বোবা মনে হয়। আমি ধরে নিলাম আপনার বিপরীত সন্ধানের জন্য, ধরুন আমরা একটি যেমন ?

\hat{β}

$\hat{\beta}$

| | \hat{β} | |_{1} < | | β^{*} | |_{1} = b

$||\hat{\beta}||_1 < ||\beta^*||_1 = b$

— গুডেপিক

ফ্ল্যাগগিন উত্তরটিকে সঠিক হিসাবে বিবেচনা করুন

— বিডিয়োনিভিক

f (\hat{β}) < f (β^{*})

$f(\hat{\beta}) < f(\beta^*)$

— goofd

এটি প্রমাণ করে যে প্রথম গঠনের সমাধানটিতে অবশ্যই বি এর এল 1-আদর্শ থাকতে হবে। এটি কীভাবে প্রমাণিত হয় যে দুটি সমাধান সত্যই এক?

— ব্রোনকোএবিয়ার্তো

উপরন্তু,, Lasso সবসময় একটি অনন্য সমাধান, তাই আমরা পড়ুন না পারেন, নেই মিনিমাইজার। arxiv.org/pdf/1206.0313.pdf । তবে আমরা মিনিমাইজারগুলির সেটটি উল্লেখ করতে এবং দেখাতে পারি যে কিছু অবশ্যই সেই সেটটির অন্তর্ভুক্ত।

\hat{β} \neq β^{*}

$\hat{\beta} \neq \beta^*$

— ব্রোঙ্কোএবিয়ার্তো

আমি মনে করি এই প্রমাণের জন্য ইলেকশোবীর ধারণাটি একটি ভাল, তবে আমি এটি পুরোপুরি সঠিক বলে মনে করি না।

$\hat{\beta}$ $\|\hat{\beta}\| < \|\beta^*\|$ $\|\hat{\beta}\| = \|\beta^*\|$ $\hat{\beta} = \beta^*$

পরিবর্তে, আমি পরামর্শ দিচ্ছি যে আমরা নিম্নলিখিত হিসাবে এগিয়ে চলছি:

সুবিধার জন্য, আসুন যথাক্রমে এবং দ্বারা প্রথম এবং দ্বিতীয় সূত্রটি চিহ্নিত করুন। আসুন অনুমান একটি অনন্য সমাধান আছে, , সঙ্গে । যাক একটি সমাধান আছে, । তারপরে, আমাদের সেই(সীমাবদ্ধতার কারণে এটি বৃহত্তর হতে পারে না) এবং সেইজন্য । যদি তবে সমাধান নয় , যা আমাদের অনুমানের সাথে । যদি $P_1$ $P_2$ $P_2$ $\beta^*$ $\|\beta^*\|=b$ $P_1$ $\hat{\beta} \neq \beta^*$ $\|\hat{\beta}\| \leq \|\beta^*\|$ $f(\hat{\beta}) \leq f(\beta^*)$ $f(\hat{\beta}) < f(\beta^*)$ $\beta^*$ $P_2$ $f(\hat{\beta}) = f(\beta^*)$ তারপরে , যেহেতু আমরা সমাধানটি অনন্য বলে ধরে নিয়েছি। $\hat{\beta} = \beta^*$

তবে লাসোর একাধিক সমাধান রয়েছে এমন ঘটনাও ঘটতে পারে। Arxiv.org/pdf/1206.0313.pdf এর লেমা 1 দ্বারা আমরা জানি যে এই সমস্ত সমাধানগুলির মধ্যে একই রকম ll -norm (এবং একই ন্যূনতম মান, অবশ্যই) রয়েছে। আমরা সেই সীমাবদ্ধতা হিসাবে সেট করেছি এবং এগিয়ে । $\ell 1$ $P_1$

মাধ্যমে with সহ 2 এর সমাধানগুলির সেটটি দ্বারা চিহ্নিত করুন । যাক একটি সমাধান আছে, । তারপরে, আমাদের সেই এবং সেইজন্য । যদি কিছু for এর জন্য (এবং তাই তাদের সকলের জন্য) হয় তবে , যা আমাদের অনুমানের সাথে বিরোধী। যদি কিছু for এর জন্য হয় তবে এর সমাধানের সেট নয় $S$ $P_2$ $\|\beta\|=b \mbox{ } \forall \beta \in S$ $P_1$ $\hat{\beta} \notin S$ $\|\hat{\beta}\| \leq \|\beta\| \forall \beta \in S$ $f(\hat{\beta}) \leq f(\beta) \forall \beta \in S$ $f(\hat{\beta}) = f(\beta)$ $\beta \in S$ $\hat{\beta} \in S$ $f(\hat{\beta}) < f(\beta)$ $\beta \in S$ $S$ $P_2$ । অতএব, প্রতিটি সমাধান হয় অর্থাৎ কোনো সমাধান এছাড়াও একটি সমাধান পাওয়া যাবে । এটি পরিপূরককেও ধরে রাখে তা প্রমাণ করতে থাকবে। $P_1$ $S$ $P_1$ $P_2$

— broncoAbierto
সূত্র