আমার বদ্ধ ফর্মের লসো সমাধানের ডেরাইভেশনটি ভুল কেন?

লাসো সমস্যা এর বন্ধ ফর্ম সমাধান রয়েছে: যদি অরথনোরমাল কলাম থাকে। এটি এই থ্রেডে দেখানো হয়েছিল: বদ্ধ ফর্ম লসো দ্রবণটির ব্যয় ।

β^{lasso} = \underset{β}{argmin} ‖ y - X β ‖_{2}^{2} + α ‖ β ‖_{1}

$\beta^{\text{lasso}}= \operatorname*{argmin}_\beta \| y-X\beta\|^2_2 + \alpha \| \beta\|_1$

β_{j}^{lasso} = s g n (β_{j}^{LS}) (| β_{j}^{LS} | - α)^{+}

$\beta_j^{\text{lasso}}= \mathrm{sgn}(\beta^{\text{LS}}_j)(|\beta_j^{\text{LS}}|-\alpha)^+$

X

$X$

তবে আমি কেন বুঝতে পারি না কেন সাধারণভাবে কোনও বন্ধ ফর্ম সমাধান নেই। মহকুমা ব্যবহার করে আমি নিম্নলিখিতটি পেয়েছি।

( $X$ একটি $n \times p$ ম্যাট্রিক্স)

f (β) = ‖ y - X β ‖_{2}^{2} + α ‖ β ‖_{1}

$f(\beta)=\|{y-X\beta}\|_2^2 + \alpha\|{\beta}\|_1$

= \sum_{i = 1}^{n} (y_{i} - X_{i} β)^{2} + α \sum_{j = 1}^{p} | β_{j} |

$=\sum_{i=1}^n (y_i-X_i\beta)^2 + \alpha \sum_{j=1}^p |\beta_j|$ (

X_{i}

$X_i$ হ'ল

এর আই-তম সারি

X

$X$ )

= \sum_{i = 1}^{n} y_{i}^{2} - 2 \sum_{i = 1}^{n} y_{i} X_{i} β + \sum_{i = 1}^{n} β^{T} X_{i}^{T} X_{i} β + α \sum_{j = 1}^{p} | β_{j} |

$= \sum_{i=1}^n y_i^2 -2\sum_{i=1}^n y_i X_i \beta + \sum_{i=1}^n \beta^T X_i^T X_i \beta + \alpha \sum_{j=1}^p |\beta_j|$

\Rightarrow \frac{\partial f}{\partial β_{j}} = - 2 \sum_{i = 1}^{n} y_{i} X_{i j} + 2 \sum_{i = 1}^{n} X_{i j}^{2} β_{j} + \frac{\partial}{\partial β_{j}} (α | β_{j} |)

$\Rightarrow \frac{\partial f}{\partial \beta_j}= -2\sum_{i=1}^ny_i X_{ij} + 2 \sum_{i=1}^n X_{ij}^2\beta_j + \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|)$

= {\begin{cases} - 2 \sum_{i = 1}^{n} y_{i} X_{i j} + 2 \sum_{i = 1}^{n} X_{i j}^{2} β_{j} + α for β_{j} > 0 \\ - 2 \sum_{i = 1}^{n} y_{i} X_{i j} + 2 \sum_{i = 1}^{n} X_{i j}^{2} β_{j} - α for β_{j} < 0 \\ [- 2 \sum_{i = 1}^{n} y_{i} X_{i j} - α, - 2 \sum_{i = 1}^{n} y_{i} X_{i j} + α] for β_{j} = 0 \end{cases}

$= \begin{cases} -2\sum_{i=1}^ny_i X_{ij} + 2 \sum_{i=1}^n X_{ij}^2\beta_j + \alpha \text{ for } \beta_j > 0 \\ -2\sum_{i=1}^ny_i X_{ij} + 2 \sum_{i=1}^n X_{ij}^2\beta_j - \alpha \text{ for } \beta_j < 0 \\ [-2\sum_{i=1}^ny_i X_{ij} - \alpha, -2\sum_{i=1}^ny_i X_{ij} + \alpha] \text{ for } \beta_j = 0 \end{cases}$ সাথে

\frac{\partial f}{\partial β_{j}} = 0

$\frac{\partial f}{\partial \beta_j} = 0$ আমরা পাই

β_{j} = {\begin{cases} (2 (\sum_{i = 1}^{n} y_{i} X_{i j}) - α) / 2 \sum_{i = 1}^{n} X_{i j}^{2} & for \sum_{i = 1}^{n} y_{i} X_{i j} > α \\ (2 (\sum_{i = 1}^{n} y_{i} X_{i j}) + α) / 2 \sum_{i = 1}^{n} X_{i j}^{2} & for \sum_{i = 1}^{n} y_{i} X_{i j} < - α \\ 0 & for \sum_{i = 1}^{n} y_{i} X_{i j} \in [- α, α] \end{cases}

$\beta_j = \begin{cases} \left( 2(\sum_{i=1}^ny_i X_{ij}) - \alpha \right)/ 2\sum_{i=1}^n X_{ij}^2 &\text{for } \sum_{i=1}^ny_i X_{ij} > \alpha \\ \left( 2(\sum_{i=1}^ny_i X_{ij}) + \alpha \right)/ 2\sum_{i=1}^n X_{ij}^2 &\text{for } \sum_{i=1}^ny_i X_{ij} < -\alpha \\ 0 &\text{ for }\sum_{i=1}^ny_i X_{ij} \in [-\alpha, \alpha] \end{cases}$

আমি কোথায় ভুল করেছি কেউ কি দেখতে পাবে?

উত্তর:

আমরা যদি ম্যাট্রিক্সের ক্ষেত্রে সমস্যাটি লিখি তবে খুব সহজেই আমরা দেখতে পাচ্ছি কেন একটি বন্ধ ফর্মের সমাধানটি কেবলমাত্র সাথে অर्थনোরমাল ক্ষেত্রে রয়েছে $X^TX= I$ :

f (β) = ‖ y - X β ‖_{2}^{2} + α ‖ β ‖_{1}

$f(\beta)= \| y-X\beta\|^2_2 + \alpha \| \beta\|_1$

= y^{T} y - 2 β^{T} X^{T} y + β^{T} X^{T} X β + α ‖ β ‖_{1}

$= y^Ty -2\beta^TX^Ty + \beta^TX^TX\beta + \alpha \| \beta\|_1$

\Rightarrow \nabla f (β) = - 2 X^{T} y + 2 X^{T} X β + \nabla (α | β ‖_{1})

$\Rightarrow \nabla f(\beta)=-2X^Ty + 2X^TX\beta + \nabla(\alpha| \beta\|_1)$ (আমি একবারে এখানে অনেক পদক্ষেপ নিয়েছি However তবে, এই বিন্দু অবধি সর্বনিম্ন স্কোয়ার সমাধানের

সাথে এটি সম্পূর্ণভাবে অ্যানালগ there সুতরাং আপনার অনুপস্থিত পদক্ষেপগুলি খুঁজে পেতে সক্ষম হওয়া উচিত))

\Rightarrow \frac{\partial f}{\partial β_{j}} = - 2 X_{j}^{T} y + 2 (X^{T} X)_{j} β + \frac{\partial}{\partial β_{j}} (α | β_{j} |)

$\Rightarrow \frac{\partial f}{\partial \beta_j}=-2X^T_{j} y + 2(X^TX)_j \beta + \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|)$

সঙ্গে $\frac{\partial f}{\partial \beta_j} = 0$ আমরা পেতে

2 (X^{T} X)_{j} β = 2 X_{j}^{T} y - \frac{\partial}{\partial β_{j}} (α | β_{j} |)

$2(X^TX)_j \beta =2X^T_{j} y - \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|)$

\Leftrightarrow 2 (X^{T} X)_{j j} β_{j} = 2 X_{j}^{T} y - \frac{\partial}{\partial β_{j}} (α | β_{j} |) - 2 \sum_{i = 1, i \neq j}^{p} (X^{T} X)_{j i} β_{i}

$\Leftrightarrow 2(X^TX)_{jj} \beta_j = 2X^T_{j} y - \frac{\partial}{\partial \beta_j}(\alpha |\beta_j|) - 2\sum_{i=1,i\neq j}^p(X^TX)_{ji}\beta_i$

আমরা এখন দেখতে পাচ্ছি যে আমাদের এক সমাধান অন্যান্য সমস্ত upon এর উপর নির্ভরশীল তাই এখান থেকে কীভাবে এগিয়ে যাওয়া যায় তা পরিষ্কার নয়। যদি আমাদের কাছে তাই এই ক্ষেত্রে অবশ্যই একটি বদ্ধ ফর্ম সমাধান উপস্থিত রয়েছে। $\beta_j$ $\beta_{i\neq j}$ $X$ $2(X^TX)_j \beta = 2(I)_j \beta = 2\beta_j$

গুরমুন্ডুর আইনারসনকে তার উত্তরের জন্য ধন্যবাদ, যার ভিত্তিতে আমি এখানে বিস্তারিত বর্ণনা করেছি। আমি আশা করি এবার সঠিক হবে :-)

regression lasso regularization

— norbert
সূত্র

ক্রসভিলেটেডে স্বাগতম, এবং একটি খুব সুন্দর প্রথম পোস্টে অভিনন্দন !

— এস। কোলাসা - মনিকা পুনরায় ইনস্টল করুন

এটি সাধারণত সর্বনিম্ন কোণ রিগ্রেশন দিয়ে করা হয়, আপনি এখানে কাগজটি খুঁজে পেতে পারেন ।

শুরুতে আমার বিভ্রান্তির জন্য দুঃখিত, আমি এটির জন্য আরও একটি চেষ্টা করতে যাচ্ছি।

সুতরাং আপনার ফাংশনটি প্রসারিত হওয়ার পরে আপনি পাবেন $f(\beta)$

f (β) = \sum_{i = 1}^{n} y_{i}^{2} - 2 \sum_{i = 1}^{n} y_{i} X_{i} β + \sum_{i = 1}^{n} β^{T} X_{i}^{T} X_{i} β + α \sum_{j = 1}^{p} | β_{j} |

$f(\beta)=\sum_{i=1}^n y_i^2 -2\sum_{i=1}^n y_i X_i \beta + \sum_{i=1}^n \beta^T X_i^T X_i \beta + \alpha \sum_{j=1}^p |\beta_j|$

তারপরে আপনি সম্মানের সাথে আংশিক ডেরাইভেটিভ গণনা করুন । আমার উদ্বেগটি আপনার 1-আদর্শের আগে অর্থাত্ চতুর্ভুজ শর্তের আগে শেষ পদের আংশিক ডেরাইভেটিভের গণনায় is এর আরও পরীক্ষা করা যাক। আমাদের তা আছে: $\beta_j$

X_{i} β = β^{T} X_{i}^{T} = (β_{1} X_{i 1} + β_{2} X_{i 2} + \dots + β_{p} X_{i p})

$X_i\beta = \beta^T X_i^T = (\beta_1 X_{i1}+\beta_2 X_{i2}+\cdots+ \beta_p X_{ip})$ সুতরাং আপনি মূলত আপনার চতুর্ভুজ শব্দটি আবার লিখতে পারেন: এখন আমরা এই :

\sum_{i = 1}^{n} β^{T} X_{i}^{T} X_{i} β = \sum_{i = 1}^{n} (X_{i} β)^{2}

$\sum_{i=1}^n \beta^T X_i^T X_i \beta = \sum_{i=1}^n (X_i \beta)^2$

β_{j}

$\beta_j$

\frac{\partial}{\partial β_{j}} \sum_{i = 1}^{n} (X_{i} β)^{2} = \sum_{i = 1}^{n} \frac{\partial}{\partial β_{j}} (X_{i} β)^{2} = \sum_{i = 1}^{n} 2 (X_{i} β) X_{i j}

$\frac{\partial }{\partial \beta_j} \sum_{i=1}^n (X_i \beta)^2 = \sum_{i=1}^n \frac{\partial }{\partial \beta_j} (X_i \beta)^2 = \sum_{i=1}^n 2(X_i \beta)X_{ij}$

সুতরাং এখন আপনার সমস্যাটি খুব সহজেই সহজ হয় না, কারণ আপনার কাছে প্রতিটি সমীকরণে সমস্ত সহগ রয়েছে। $\beta$

এটি কেন লাসোর কোনও বন্ধ ফর্ম সমাধান নেই সে সম্পর্কে আপনার প্রশ্নের উত্তর দেয় না, আমি পরে এটি যুক্ত করতে পারি।

— Gumeo
সূত্র

অনেক ধন্যবাদ. আমি এখনই দেখতে পাচ্ছি কেন কোনও বন্ধ ফর্ম সমাধান নেই (আমার সম্পাদনা দেখুন)।

— নরবার্ট

খুব সুন্দর! দুর্দান্ত কাজ :)

— গুমেও