লাসো মডেলটিতে ইটারেটিভলি রিয়েইটেড লেস্ট স্কোয়ারস (আইআরএলএস) পদ্ধতিটি কীভাবে প্রয়োগ করবেন?

Question

আমি IRLS অ্যালগরিদম ব্যবহার করে একটি লজিস্টিক রিগ্রেশন প্রোগ্রাম করেছি । সঠিক বৈশিষ্ট্যগুলি স্বয়ংক্রিয়ভাবে নির্বাচন করার জন্য আমি একটি লাসো শাস্তি প্রয়োগ করতে চাই । প্রতিটি পুনরাবৃত্তিতে নিম্নলিখিতগুলি সমাধান করা হয়:

$$\mathbf{\left(X^TWX\right) \delta\hat\beta=X^T\left(y-p\right)}$$

আসুন একটি অ-নেতিবাচক আসল সংখ্যা । দ্য এলিমেন্টস এর পরামর্শ অনুসারে আমি ইন্টারসেপ্টটিকে শাস্তি দিচ্ছি না । পরিসংখ্যান শেখার । ইতিমধ্যে শূন্য সহগের জন্য ডিট্টো। অন্যথায়, আমি ডান হাত থেকে একটি শব্দ বিয়োগ:$\lambda$

$$\mathbf{X^T\left(y-p\right)-\lambda\times \mathrm{sign}\left(\hat\beta\right)}$$

তবে আমি আইআরএলএস অ্যালগরিদমের পরিবর্তন সম্পর্কে নিশ্চিত নই। এটা কি সঠিক উপায়?

---

সম্পাদনা: যদিও আমি এটি সম্পর্কে আত্মবিশ্বাসী ছিলাম না, শেষ পর্যন্ত আমি যে সমাধানগুলি নিয়ে এসেছি তার মধ্যে একটি এখানে। মজার বিষয় হল এই সমাধানটি এখন আমি লাসো সম্পর্কে যা বুঝি তার সাথে মিলে যায়। সেখানে নিশ্চয়ই দুই নিছক এক পরিবর্তে প্রতিটি পুনরাবৃত্তির এ ধাপ:

• প্রথম পদক্ষেপটি আগের মতোই: আমরা অ্যালগরিদমের একটি পুনরাবৃত্তি করি (যেমন above উপরের গ্রেডিয়েন্টের সূত্রে),$\lambda=0$
• দ্বিতীয় ধাপটি প্রথম ধাপে প্রাপ্ত ভেক্টর আমরা প্রতিটি উপাদানকে (উপাদান component , যা ইন্টারসেপ্টের সাথে মিলে যায়) বাদে নরম-প্রান্তিককরণ প্রয়োগ করি । একে আইট্রেটিভ সফট-থ্রেশহোল্ডিং অ্যালগোরিদম বলে ।$\beta_0$$\beta$

$$\forall i \geq 1, \beta_{i}\leftarrow\mathrm{sign}\left(\beta_{i}\right)\times\max\left(0,\,\left|\beta_{i}\right|-\lambda\right)$$

Comments

তবুও আইআরএলএস মানিয়ে আরও ভাল রূপান্তর পেতে পারেনি। : '(

— Wok

Answer 1

এই সমস্যাটি সাধারণত সমন্বিত বংশদ্ভুত দ্বারা ফিট দ্বারা সমাধান করা হয় ( এখানে দেখুন )। এই পদ্ধতিটি উভয়ই সাংখ্যিকভাবে আরও কার্যকর, আলগোরিদমিকভাবে প্রয়োগ করা আরও সহজ এবং আরও সাধারণ মডেলের মডেলগুলিতে (কক্স রিগ্রেশন সহ) প্রযোজ্য। একটি আর বাস্তবায়ন আর প্যাকেজ গ্ল্যামনেটে উপলব্ধ । কোডগুলি ওপেন সোর্স (আংশিকভাবে সি তে এবং আংশিক আর), যাতে আপনি এগুলি ব্লুপ্রিন্ট হিসাবে ব্যবহার করতে পারেন।

Comments

@ নাহোক, বিজ্ঞান.লাইন প্যাকেজটি এই ধরণের স্টাফের জন্য পাইথনে দক্ষ প্রয়োগের প্রস্তাব দেয়।

— chl

সমন্বিত বংশদ্ভুত অ্যালগরিদম আকর্ষণীয়। ধন্যবাদ। এখনও এটি সম্পর্কে চিন্তা।

— উইক

Answer 2

লাসসো ক্ষতির ফাংশনটির প্রতিটি অক্ষের সাথে শূন্যের বিরতি রয়েছে, তাই আইআরএলএস এর সাথে সমস্যা হতে চলেছে। আমি একটি ক্রমিক নূন্যতম অপ্টিমাইজেশন (এসএমও) ধরণের পদ্ধতির খুব কার্যকর খুঁজে পেয়েছি, উদাহরণস্বরূপ দেখুন see

http://bioinformatics.oxfordjournals.org/content/19/17/2246

ম্যাটল্যাব সফ্টওয়্যার সহ একটি সংস্করণ

http://bioinformatics.oxfordjournals.org/content/22/19/2348

সফ্টওয়্যারটি এখানে উপলব্ধ:

http://theoval.cmp.uea.ac.uk/~gcc/cbl/blogreg/

বুনিয়াদি ধারণাটি হ'ল সহগকে একবারে অনুকূলিত করা এবং আপনি একবারে বিচ্ছিন্নতাটি একটি সহগকে অতিক্রম করেছেন কিনা তা পরীক্ষা করে দেখার জন্য, যা আপনি স্কেলার অপ্টিমাইজেশানকে সুগন্ধযুক্ত করছেন তা সহজ। এটি ধীর গতিতে শোনায় তবে এটি আসলে বেশ দক্ষ (যদিও আমি আশা করি যেহেতু আরও ভাল অ্যালগরিদমগুলি তখন থেকেই বিকশিত হয়েছে - সম্ভবত কের্তি বা চিহ-জেন লিন যারা দুজনেই এই ধরণের ক্ষেত্রে অগ্রণী বিশেষজ্ঞ)।

Comments

ধন্যবাদ। আমি এটি পড়ছি এবং এটি সম্পর্কে চিন্তা করছি। তবে এটি বর্তমান অ্যালগরিদমের বিশাল পরিবর্তন হবে mod

— উইক

Answer 3

আপনি কাগজটি পরীক্ষা করতে পারেন: কার্যকর এল 1-নিয়মিত লজিস্টিক রিগ্রেশন, যা লাসো-র জন্য একটি আইআরএলএস-ভিত্তিক অ্যালগরিদম। বাস্তবায়ন সম্পর্কিত, লিঙ্কটি আপনার জন্য কার্যকর হতে পারে (http://ai.stanford.edu/~silee/softwares/irlslar.htm)।

Answer 4

লাসো সমস্যার জন্য আইআরএলএস নীচে রয়েছে:

$$\arg \min_{x} \frac{1}{2} \left\| A x - b \right\|_{2}^{2} + \lambda \left\| x \right\|_{1} = \arg \min_{x} \frac{1}{2} \left\| A x - b \right\|_{2}^{2} + \lambda {x}^{T} W {x}$$

যেখানে একটি তির্যক ম্যাট্রিক্স - । এটি থেকে আসে ।$W$${W}_{i, i} = \frac{1}{ \left| {x}_{i} \right| }$
$\left\| x \right\|_{1} = \sum_{i} \left| {x}_{i} \right| = \sum_{i} \frac{ {x}_{i}^{2} } { \left| {x}_{i} \right| }$

এখন, উপরেরটি কেবল তিকনভ নিয়মিতকরণ ।
তবুও, যেহেতু উপর নির্ভর করে এক এটি iteratively সমাধান হবে (এছাড়াও এই Tikhonov নিয়মিতকরণ 2 ফ্যাক্টর বাতিল, ডেরিভেটিভ হিসাবে ব্যাপারে যখন অধিষ্ঠিত ধ্রুবক হিসাবে যা সমান ):$W$$x$${x}^{T} W x$$x$$x$$\operatorname{diag} \left( \operatorname{sign} \left( x \right) \right)$$W x$

$${x}^{k + 1} = \left( {A}^{T} A + \lambda {W}^{k} \right)^{-1} {A}^{T} b$$

যেখানে ।${W}_{i, i}^{K} = \frac{1}{ \left| {x}^{k}_{i} \right| }$

সূচনাটি দ্বারা হতে পারে ।$W = I$

পে মনোযোগ এই ভাল বৃহৎ মানের জন্য কাজ করে না পাওয়াকে ও সর্বোত্তম ব্যবহার ADMM বা বংশদ্ভুত স্থানাঙ্ক।$\lambda$