লাসোর জন্য সরল সাবগ্রেডিয়েন্ট পদ্ধতির পরিবর্তে কেন প্রক্সিমাল গ্রেডিয়েন্ট বংশোদ্ভূত?

Question

আমি ভ্যানিলা সাবগ্রেডিয়েন্ট পদ্ধতিগুলির মাধ্যমে লাসো সমাধান করার চিন্তা করছিলাম। তবে আমি লোকদের প্রক্সিমাল গ্রেডিয়েন্ট বংশোদ্ভূত ব্যবহারের পরামর্শ দিয়েছি। লাসোর জন্য কেন ভ্যানিলা সাবগ্রেডিয়েন্ট পদ্ধতিগুলির পরিবর্তে প্রক্সিমাল জিডি ব্যবহার করা যেতে পারে তা কেউ কেউ হাইলাইট করতে পারে?

Answer 1

উপজাতীয় পদ্ধতি ব্যবহার করে লসোর পক্ষে একটি আনুমানিক সমাধান পাওয়া যায়। উদাহরণস্বরূপ, বলুন যে আমরা নিম্নলিখিত ক্ষতি ফাংশনটি হ্রাস করতে চাই:

$$f(w; \lambda) = \| y - Xw \|_2^2 + \lambda \|w\|_1$$

শাস্তি মেয়াদ গ্রেডিয়েন্ট হয় $-\lambda$ জন্য $w_i < 0$ এবং $\lambda$ জন্য $w_i > 0$ , কিন্তু শাস্তি মেয়াদ এ nondifferentiable হয় $0$ । এর পরিবর্তে, আমরা subgradient ব্যবহার করতে পারেন $\lambda \text{sgn}(w)$ , যা একই কিন্তু একটি মান আছে $0$ জন্য $w_i = 0$ ।

ক্ষতির কার্যের জন্য সংশ্লিষ্ট সাবগ্রেডিয়েন্টটি হ'ল:

$$g(w; \lambda) = -2X^T (y - X w) + \lambda \text{sgn}(w)$$

গ্রেডিয়েন্ট বংশদ্ভুতের অনুরূপ একটি পদ্ধতির সাহায্যে আমরা ক্ষতির ফাংশনটি হ্রাস করতে পারি , তবে সাবগ্রেডিয়েন্ট ব্যবহার করে (যা গ্রেডিয়েন্টের সমান সমান , যেখানে গ্রেডিয়েন্ট অপরিজ্ঞাত )। সমাধানটি সত্যিকারের লাসো সমাধানের খুব কাছাকাছি হতে পারে তবে সঠিক জিরো নাও থাকতে পারে - যেখানে ওজন শূন্য হওয়া উচিত ছিল, তারা পরিবর্তে অত্যন্ত ছোট মান গ্রহণ করে। সত্য স্পারসিটির এই অভাব লাসোর জন্য সাবগ্রেডিয়েন্ট পদ্ধতি ব্যবহার না করার একটি কারণ। উত্সর্গীকৃত solvers একটি গাণনামূলকভাবে দক্ষ উপায়ে সত্যই বিরল সমাধান উত্পাদন সমস্যা কাঠামোর সুবিধা গ্রহণ করে। এই পোস্ট$0$বলেছে যে, বিচ্ছিন্ন সমাধান উত্পাদন করার পাশাপাশি উত্সর্গীকৃত পদ্ধতির তুলনায় উত্সর্গীকৃত পদ্ধতিগুলির (প্রক্সিমাল গ্রেডিয়েন্ট পদ্ধতিগুলি সহ) দ্রুত অভিযোজনের হার রয়েছে। তিনি কিছু রেফারেন্স দেন।