বদ্ধ ফর্মের লসো দ্রবণটি বের করা

$\min_\beta (Y-X\beta)^T(Y-X\beta)$ $\|\beta\|_1 \leq t$

β_{j}^{lasso} = s g n (β_{j}^{LS}) (| β_{j}^{LS} | - γ)^{+}

$\beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\gamma)^+$

X

$X$

lasso

— গ্যারি
সূত্র

এটি কিছুটা বিভ্রান্ত বলে মনে হচ্ছে। শুরুতে আপনি একটি প্রতিবন্ধকতা

t

$t$ এবং সমাধানে আপনি একটি প্যারামিটার

পরিচয় করিয়ে দিন

γ

$\gamma$ । আমি অনুমান করছি যে আপনি এই দু'টি দ্বৈত সমস্যার মাধ্যমে সম্পর্কিত হতে চান, তবে আপনি কী সন্ধান করছেন তা আপনি পরিষ্কার করে দিতে পারেন।

— কার্ডিনাল

আংশিকভাবে খোঁজার, @cardinal সাড়া

β

$\beta$ যে ছোট

(Y - X β)^{'} (Y - X β)

$(Y-X\beta )'(Y-X\beta )$ সাপেক্ষে

‖ β ‖_{1} \leq t

$\|\beta\|_1 \leq t$ খোঁজার সমতূল্য

β

$\beta$ যে ছোট

(Y - X β)^{'} (Y - X β) + γ \sum_{j} | β_{j} |

$(Y-X\beta )'(Y-X\beta )+\gamma\sum_j |\beta_j |$ ।

t

$t$ এবং

মধ্যে 1-1

সম্পর্ক রয়েছে

γ

$\gamma$ । নরম-চৌম্বকীয় ফলাফলটি কেন 'সহজে' তা দেখতে, আমি দ্বিতীয় প্রকাশটি (আমার মন্তব্যে) সমাধান করার পরামর্শ দিই।

আরেকটি নোট, যখন খোঁজার

β

$\beta$ যে ছোট

(Y - X β)^{'} (Y - X β) + γ \sum_{j} | β_{j} |

$(Y-X\beta )'(Y-X\beta )+\gamma\sum_j |\beta_j |$ , সমস্যাটিকে

β_{j} > 0

$\beta_j >0$ ,

β_{j} < 0

$\beta_j<0$ , এবং

β = 0

$\beta=0$ ।

@ কার্ডিনাল আহ হ্যাঁ, 1-1 টি ভুল। সংশোধন: প্রতিটি

t \geq 0

$t\geq0$ , আপনি একটি

খুঁজে পেতে পারেন

γ \geq 0

$\gamma\geq 0$ ।

একটি দুর্দান্ত আলোচনার জন্য ধন্যবাদ! আমি এই ভিডিওটি অবশ্যই পাঠাতে পেরেছি - লাসো সমন্বয় বংশোদ্ভূত আপডেট আবিষ্কার করা , যা এই আলোচনার সাথে অত্যন্ত প্রাসঙ্গিক এবং খুব সুন্দরভাবে সমাধানের মধ্য দিয়ে চলে। ভবিষ্যতের দর্শকদের জন্য সহায়ক হতে পারে :-)

— জোরবার

উত্তর:

কারুশ-কুহান-টাকার অবস্থার মধ্য দিয়ে মোটামুটি অর্থনৈতিক পন্থা সহ এটি বেশ কয়েকটি উপায়ে আক্রমণ করা যেতে পারে ।

নীচে একটি বেশ কয়েকটি প্রাথমিক বিকল্প যুক্তি রয়েছে।

অরথোগোনাল ডিজাইনের জন্য সর্বনিম্ন স্কোয়ার সমাধান

ধরুন অर्थোগোনাল কলাম দ্বারা গঠিত। তারপরে, সর্বনিম্ন-স্কোয়ার সমাধান হ'ল $X$

{\hat{β}}^{LS} = (X^{T} X)^{- 1} X^{T} y = X^{T} y .

$\newcommand{\bls}{\hat{\beta}^{{\small \text{LS}}}}\newcommand{\blasso}{\hat{\beta}^{{\text{lasso}}}} \bls = (X^T X)^{-1} X^T y = X^T y \>.$

কিছু সমতুল্য সমস্যা

ল্যাঙ্গরজিয়ান ফর্মের মাধ্যমে, এটি দেখতে সহজবোধ্য যে প্রশ্নটিতে বিবেচিত একটি সমতুল্য সমস্যা হ'ল

min_{β} \frac{1}{2} ‖ y - X β ‖_{2}^{2} + γ ‖ β ‖_{1} .

$\min_\beta \frac{1}{2} \|y - X \beta\|_2^2 + \gamma \|\beta\|_1 \>.$

প্রথম পদটি প্রসারিত করার সাথে সাথে আমরা পেয়েছি এবং যেহেতু তেমন কিছু নেই আগ্রহের ভেরিয়েবলগুলির মধ্যে, আমরা এটিকে ত্যাগ করতে এবং আরও একটি সমতুল্য সমস্যা বিবেচনা করতে পারি, $\frac{1}{2} y^T y - y^T X \beta + \frac{1}{2}\beta^T \beta$ $y^T y$

min_{β} (- y^{T} X β + \frac{1}{2} ‖ β ‖^{2}) + γ ‖ β ‖_{1} .

$\min_\beta (- y^T X \beta + \frac{1}{2} \|\beta\|^2) + \gamma \|\beta\|_1 \>.$

হিসাবে উল্লেখ করে , পূর্ববর্তী সমস্যাটি আবার as হিসাবে লেখা যেতে পারে $\bls = X^T y$

min_{β} \sum_{i = 1}^{p} - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ | β_{i} | .

$\min_\beta \sum_{i=1}^p - \bls_i \beta_i + \frac{1}{2} \beta_i^2 + \gamma |\beta_i| \> .$

আমাদের উদ্দেশ্য ফাংশন এখন লক্ষ্যগুলির সমষ্টি, প্রতিটি পৃথক ভেরিয়েবল , যাতে সেগুলি পৃথকভাবে সমাধান করা যেতে পারে। $\beta_i$

সম্পূর্ণ তার অংশগুলির যোগফলের সমান

একটি নির্দিষ্ট করা । তারপরে, আমরা $i$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ | β_{i} | .

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 + \gamma |\beta_i| \> .$

যদি তবে আমাদের অবশ্যই থাকতে হবে অন্যথায় আমরা এর চিহ্নটি ফ্লিপ করতে পারি এবং উদ্দেশ্য ফাংশনের জন্য কম মান পেতে পারি। একইভাবে যদি তবে আমাদের অবশ্যই । $\bls_i > 0$ $\beta_i \geq 0$ $\bls_i < 0$ $\beta_i \leq 0$

কেস 1 : । যেহেতু , এবং এটি সমান করে এবং শূন্যের সমান , আমরা এবং ডান হাতের দিকটি যদি না হয় তবে এটি কেবল সম্ভব হয়, তবে এই ক্ষেত্রে আসল সমাধানটি হ'ল $\bls_i > 0$ $\beta_i \geq 0$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} + γ β_{i},

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 + \gamma \beta_i \> ,$

β_{i}

$\beta_i$

β_{i} = {\hat{β}}_{i}^{LS} - γ

$\beta_i = \bls_i - \gamma$

{\hat{β}}_{i}^{lasso} = ({\hat{β}}_{i}^{LS} - γ)^{+} = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)^{+} .

$\blasso_i = (\bls_i - \gamma)^+ = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)^+ \>.$

কেস 2 : । এর থেকে বোঝা যায় যে আমাদের অবশ্যই এবং সাথে সম্মান করে এবং শূন্যের সমান সেট করে আমরা get । তবে, আবার এটি সম্ভব হয়েছে তা নিশ্চিত করার জন্য আমাদের , যা $\bls_i \leq 0$ $\beta_i \leq 0$

L_{i} = - {\hat{β}}_{i}^{LS} β_{i} + \frac{1}{2} β_{i}^{2} - γ β_{i} .

$\mathcal L_i = -\bls_i \beta_i + \frac{1}{2}\beta_i^2 - \gamma \beta_i \> .$

β_{i}

$\beta_i$

β_{i} = {\hat{β}}_{i}^{LS} + γ = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)

$\beta_i = \bls_i + \gamma = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)$

β_{i} \leq 0

$\beta_i \leq 0$

{\hat{β}}_{i}^{lasso} = s g n ({\hat{β}}_{i}^{LS}) (| {\hat{β}}_{i}^{LS} | - γ)^{+} .

$\blasso_i = \mathrm{sgn}(\bls_i)(|\bls_i| - \gamma)^+ \>.$

উভয় ক্ষেত্রেই আমরা পছন্দসই ফর্মটি পাই, এবং তাই আমাদের কাজ শেষ।

চূড়ান্ত মন্তব্য

— মৌলিক
সূত্র

@ কার্ডিনাল দুর্দান্ত লেখা!

— গ্যারি

+1 পুরো দ্বিতীয়ার্ধটি সরল পর্যবেক্ষণ দ্বারা প্রতিস্থাপন করা যেতে পারে যে অবজেক্ট ফাংশন হয় at সহ দুটি উত্তল প্যারোবোলার অংশগুলির একটি ইউনিয়ন , যেখানে এবং the চিহ্নটি অন্যথায় নেওয়া হয়। সূত্রটি নীচের অংশটি বেছে নেওয়ার এক অভিনব উপায়।

β \to \frac{1}{2} β^{2} + (\pm γ - \hat{β}) β

$\beta\to\frac{1}{2}\beta^2+(\pm\gamma-\hat{\beta})\beta$

\pm γ - \hat{β}

$\pm\gamma-\hat{\beta}$

β < 0

$\beta\lt 0$

— whuber

যদি সম্ভব হয় তবে আমি কেকেটি-অনুকূলতা শর্তাদি ব্যবহার করে ডেরাইভেশনগুলি দেখতে চাই। এই ফলাফলটি অর্জনের আরও কী কী উপায় আছে?

— ব্যবহারকারী 1137731

@ কার্ডিনাল: একটি চমৎকার উদ্দীপনা জন্য ধন্যবাদ। একটি পর্যবেক্ষণ। যদি আমি মনে করি, অরথোগোনাল কলামগুলির সাথে ম্যাট্রিক্স অর্থ্থোনাল (ওরফে অর্থনরমাল) ম্যাট্রিক্সের মতো নয়। তারপরে কিছু তির্যক ম্যাট্রিক্স (অগত্যা পরিচয় ম্যাট্রিক্সের জন্য নয়)। অরথোগোনাল ম্যাট্রিক্স অনুমানের সাথে (মূল প্রশ্নে যেমন রয়েছে), আমাদের কাছে এবং সমস্ত দেখতে দুর্দান্ত :)

X^{'} X = D

$X'X=D$

D

$D$

X^{'} X = I

$X'X=I$

— ওলেগ মেল্নিকভ

@ কার্ডিনাল আপনি কেন বলছেন তা আমি পাই না "যেহেতু নাহলে আমরা এর চিহ্নটি ফ্লিপ করতে পারি এবং উদ্দেশ্যমূলক কার্যকারিতার জন্য কম মান পেতে পারি"। আমরা উদ্দেশ্যমূলক ফাংশনের ডেরাইভেটিভ নিচ্ছি। উদ্দেশ্যমূলক ফাংশনটি উচ্চতর বা কম হলে কী হয় who আমরা যে বিষয়টির যত্ন নিই তা হ'ল ডেরাইভেটিভ শূন্যে সেট করা আছে, আমরা এক্সট্রিমার বিষয়ে যত্নশীল। এটি ধ্রুবক দ্বারা উচ্চতর বা নিম্নতর কিনা আরগমিনকে প্রভাবিত করে না।

— 13985

অনুমান covariates , এর কলাম , এছাড়াও যাতে মান হয় । এটি কেবল পরে সুবিধার জন্য: এটি ছাড়াই, স্বীকৃতিটি আরও ভারী হয় যেহেতু কেবল তির্যক। আরও ধরে যে । ফলাফলটি ধরে রাখার জন্য এটি একটি প্রয়োজনীয় অনুমান। সর্বনিম্ন স্কোয়ারের অনুমানকারী । তারপরে, লাসো অনুমানকারী (ল্যাঙ্গরজিয়ান ফর্ম) $x_j$ $X \in \mathbb{R}^{n \times p}$ $X^T X = I$ $X^T X$ $n \geq p$ $\hat\beta_{OLS} = \arg\min_\beta \|y - X \beta\|_2^2$

\begin{aligned} (defn.) & {\hat{β}}_{λ} & = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (OLS is projection) & = \arg min_{β} \frac{1}{2 n} ‖ X {\hat{β}}_{O L S} - X β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (X^{T} X = I) & = \arg min_{β} \frac{1}{2 n} ‖ {\hat{β}}_{O L S} - β ‖_{2}^{2} + λ ‖ β ‖_{1} \\ (algebra) & = \arg min_{β} \frac{1}{2} ‖ {\hat{β}}_{O L S} - β ‖_{2}^{2} + n λ ‖ β ‖_{1} \\ (defn.) & = {p r o x}_{n λ ‖ \cdot ‖_{1}} ({\hat{β}}_{O L S}) \\ (takes some work) & = S_{n λ} ({\hat{β}}_{O L S}), \end{aligned}

$\begin{align*} \hat\beta_\lambda & = \arg\min_{\beta} \frac{1}{2n} \|y - X \beta\|_2^2 + \lambda \|\beta\|_1 \tag{defn.} \\ & = \arg\min_\beta \frac{1}{2n} \|X \hat\beta_{OLS} - X \beta\|_2^2 + \lambda \|\beta\|_1 \tag{OLS is projection} \\ & = \arg\min_\beta \frac{1}{2n} \|\hat\beta_{OLS} - \beta\|_2^2 + \lambda \|\beta\|_1 \tag{$X^TX=I$} \\ & = \arg\min_\beta \frac{1}{2} \|\hat\beta_{OLS} - \beta\|_2^2 + n \lambda \|\beta\|_1 \tag{algebra} \\ & = \mathrm{prox}_{n \lambda \|\cdot\|_1} \left( \hat\beta_{OLS} \right) \tag{defn.} \\ & = S_{n \lambda} \left( \hat\beta_{OLS} \right) \tag{takes some work}, \end{align*}$ \ end {align *} যেখানে একটি ফাংশনের প্রক্সিমাল অপারেটর এবং নরম প্রান্তিক

{p r o x}_{f}

$\mathrm{prox}_f$

f

$f$

S_{α}

$S_{\alpha}$

α

$\alpha$ ।

এটি এমন একটি ডেরাইভেশন যা কার্ডিনাল কাজ করে এমন প্রক্সিমাল অপারেটরের বিশদ বিবরণকে এড়িয়ে যায়, তবে, আমি আশা করি, একটি বদ্ধ ফর্মকে সম্ভব করে তোলে এমন প্রধান পদক্ষেপগুলি স্পষ্ট করে।

— user795305
সূত্র