চতুষ্কোণ প্রোগ্রামিং এবং লাসো

আমি লসো রিগ্রেশন সম্পাদন করার চেষ্টা করছি, যার নিম্নলিখিত রূপ রয়েছে:

ছোট করুন মধ্যে $w$ $(Y - Xw)'(Y - Xw) + \lambda \;|w|_1$

একটি , আমাকে চতুর্ভুজ প্রোগ্রামিংয়ের সাহায্যে অনুকূল সন্ধান করার পরামর্শ দেওয়া হয়েছিল , যা নিম্নলিখিত ফর্মটি গ্রহণ করে: $\lambda$ $w$

ছোট করুন মধ্যে , এর বিষয় $x$ $\frac{1}{2} x'Qx + c'x$ $Ax \le b.$

এখন আমি বুঝতে পারি যে মেয়াদ বাধ্যতা শব্দটি রূপান্তরিত হবে , যা বরং সহজবোধ্য। তবে আমি কোনওভাবে কেবল দেখতে পাচ্ছি না যে আমি প্রথম সমীকরণের প্রথম শব্দটিকে দ্বিতীয়টির প্রথম পর্বে কীভাবে স্থানান্তর করতে পারি। নেটে এটি সম্পর্কে আমি খুব বেশি কিছু খুঁজে পাইনি, তাই আমি এখানে জিজ্ঞাসা করার সিদ্ধান্ত নিয়েছি। $\lambda$ $Ax \le b$

regression lasso quadratic-form

— spurra
সূত্র

উত্তর:

মনে রাখা যে আমরা সাথে কাজ করছি 'হিসেবে মান আকারে' পরিবর্তনশীল, প্রসারিত এবং সংগ্রহ পদ এবং এবং , এবং ধ্রুবক। $w$ $x$ $(Y - Xw)'(Y - Xw)$ $w'\, [\,_{^{^\text{something}}}]\,w$ $w'$ $w$

কেন আপনি ধ্রুবক উপেক্ষা করতে পারেন তা ব্যাখ্যা করুন।

আপনি এবং শর্তগুলি কেন একত্র করতে পারেন তা ব্যাখ্যা করুন । $w'$ $w$

যেহেতু কানাডোড এখন পথের কিছু অগ্রণী হয়েছে তা আবিষ্কার করে আপনি এবং বা আরও সহজভাবে লিখতে পারেন, আপনি কেবল এবং (যেহেতু এবং কেএফ যে কোনও জন্য একই আর্গমিন রয়েছে )। $Q=2X'X$ $c=-2X'Y$ $Q=X'X$ $c=-X'Y$ $f(x)$ $kf(x)$ $k>0$

— গ্লেন_বি -রাইনস্টেট মনিকা
সূত্র

ধ্রুবকগুলিকে উপেক্ষা করা যায়, কারণ x_ যদি সর্বনিম্ন f (x) হয় তবে x_ + c সর্বনিম্ন f (x) + c হয়, সুতরাং আমরা ধ্রুবকটিকে উপেক্ষা করতে পারি। আমি কোথায় আটকেছি তা দেখাতে আমার প্রশ্নটি সম্পাদনা করব।

— স্পুরা

কলা কোড আপনার ব্যাখ্যা বিভিন্ন ত্রুটি আছে। দ্বারা যদি "ন্যূনতম হয় " আপনি কি বলতে চান "এ যা যুক্তি ছোট করা", আপনি বলতে ভালো কিছু " হয় এর "। তবে আপনার উপসংহারটি ভুল। আপনি যদি তে যোগ করেন , আপনি আরগমিনে যোগ করবেন না ।

f (x)

$f(x)$

f (x)

$f(x)$

x^{*}

$x^*$

argmin

$\text{argmin}$

f

$f$

c

$c$

f

$f$

c

$c$

— গ্লেন_বি -মিনিকা

আমার উত্তরটিতে লিখলাম কোথায় দেখুন ? কি কিছু আপনি এখন মধ্যবর্তী আছে এবং আপনার প্রশ্নের নীচের অংশে অবস্থিত ??

w^{'} [something] w

$w'\, [\,\text{something}]\,w$

w^{'}

$w'$

w

$w$

— গ্লেন_বি -রিনস্টেট মনিকা

হ্যাঁ, আমি বোঝানো হয় এর । আমার উপসংহারটি ভুল যেখানে আপনি একটি উদাহরণ দিতে পারেন? হয় ম্যাট্রিক্স আমি গঠনের চেষ্টা করছি। যদি আমি প্রসারিত আমি পেতে । প্রথম অংশটি ম্যাট্রিক্সের ফর্মকে উপস্থাপন করবে , তবে আমি দ্বিতীয় মেয়াদ মুক্তি পেতে পারি না ।

x *

$x*$

a r g m i n

$argmin$

f

$f$

[s o m e t h i n g]

$[something]$

Q

$Q$

w^{'} (X^{'} X w - X^{'} Y)

$w'(X'Xw - X'Y)$

w^{'} X^{'} X w - w^{'} X^{'} Y

$w'X'Xw - w'X'Y$

Q

$Q$

- w^{'} X^{'} Y

$-w'X'Y$

— স্পুরা

@ AD.Net সীমাবদ্ধতাগুলি বেশিরভাগ উত্তরটিতে আবৃত।

— গ্লেন_বি -রিনস্টেট মনিকা

আমি সীমাবদ্ধভাবে সীমাবদ্ধতাগুলি কীভাবে পরিবর্তন করতে হবে তা সমাধান করতে চাই চতুষ্কোণ প্রোগ্রামিংয়ের জন্য ব্যবহারযোগ্য ফর্ম হিসাবে নিয়েছি, কারণ এটি ভেবেছিলাম ততটা সোজা নয়। এটা একটা বাস্তব ম্যাট্রিক্স এটি সম্ভব নয় যেমন যে । $\sum |w_i| \le s$ $A$ $Aw \le s \leftrightarrow \sum |w_i| \le s$

পদ্ধতির আমি ব্যবহৃত বিভক্ত করতে উপাদান ছিল ভেক্টরের মধ্যে এবং , যাতে । যদি , আপনার have এবং অন্যথায় আপনার কাছেএবং । বা আরও গাণিতিক পদগুলিতে, এবং Both এবং Both উভয়ই অ-নেতিবাচক সংখ্যা। সংখ্যাগুলি বিভক্ত করার পিছনে ধারণাটি এখন আপনার $w_i$ $w$ $w_i^+$ $w_i^-$ $w_i = w_i^+ - w_i^-$ $w_i \ge 0$ $w_i^+ = w_i$ $w_i^- = 0$ $w_i^- = |w_i|$ $w_i^+ = 0$ $w_i^+ = \frac{|w_i| + w_i}{2}$ $w_i^- = \frac{|w_i| - w_i}{2}.$ $w_i^-$ $w_i^+$ $|w_i| = w_i^+ + w_i^-$ কার্যকরভাবে পরম মানগুলি থেকে মুক্তি পাওয়া।

অনুকূলকরণের জন্য ফাংশনটি রূপান্তরিত করে: , বিষয় থেকে $\frac{1}{2}(w^+ - w^-)^TQ(w^+ - w^-) + c^T(w^+ - w^-)$ $w_i^+ + w_i^- \le s, \\ w_i^+,w_i^- \ge 0$

কোথায় এবং যেমন Glen_b দ্বারা উপরে বর্ণিত দেওয়া হয় $Q$ $c$

এটি একটি ব্যবহারযোগ্য আকারে রূপান্তরিত হওয়া প্রয়োজন, অর্থাত আমাদের একটি ভেক্টর দরকার। এটি নিম্নলিখিত উপায়ে করা হয়:

$\frac{1}{2} \bigg[ \begin{array}{c} w^+ \\ w^- \end{array} \bigg]^T \bigg[ \begin{array}{cc} Q & -Q \\ -Q & Q \end{array} \bigg] \bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg] + \big[ \begin{array}{cc} c^T & -c^T \end{array} \big] \bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg]$

বিষযে

$\bigg[ \begin{array}{cc} I_D & I_D \\ -I_{2D} \end{array} \bigg]\bigg[ \begin{array}{c} w^+ \\ w^- \end{array}\bigg] \le \bigg[ \begin{array}{c} s_D \\ 0_{2D} \end{array}\bigg]$

কোথায় হয় -dimensional ইউনিট ম্যাট্রিক্স, একটি -dimensional ভেক্টর শুধুমাত্র মান নিয়ে গঠিত এবং একটি -dimensional শূন্য ভেক্টর। প্রথমার্ধটি নিশ্চিত করে , দ্বিতীয় এখন এটা একটি ব্যবহারযোগ্য ফর্ম জন্য অনুসন্ধান করতে দ্বিঘাত প্রোগ্রামিং ব্যবহার করবেন তা এবং দেওয়া । একবার যে কাজ করা হয়, সম্মান সঙ্গে আপনার অনুকূল পরামিতি হল । $I_D$ $D$ $s_D$ $D$ $s$ $0_D$ $2*D$ $|w_i| = w_i^+ + w_i^- \le s$ $w_i^+,w_i^- \ge 0$ $w^+$ $w^-$ $s$ $s$ $w = w^+ - w^-$

উত্স এবং আরও পড়ুন: চূড়ান্ত মানগুলি সহ রৈখিক সীমাবদ্ধতার সাথে চতুর্ভুজ প্রোগ্রামিংয়ের সমস্যা সমাধান করা

— spurra
সূত্র

ধরুন যে আমরা একটি অনুকূল পেয়েছি -dimensional ভেক্টর। এবং What কী কোনও ভেক্টর এর ইতিবাচক অংশ এবং নেতিবাচক অংশগুলি , অর্থাৎ তাদের প্রবেশের অবস্থানগুলি মিলেছে তা কী নিশ্চিত করে?

2 D

$2D$

(w^{+}, w^{-})

$(w^+, w^-)$

w^{+}

$w^+$

w^{-}

$w^-$

w

$w$

0

$0$

— মায়াথ

চূড়ান্ত অভিব্যক্তিতে ম্যাট্রিক্স এবং ভেক্টর আরও সহজ, এবং আসলে আরও সঠিক হতে পারে। [আইডি আইডি] [ডাব্লু + ডাব্লু ওয়াউ] '≤ এর পরিবর্তে আপনি কেবল [1 1 .... 1] [ডাব্লু + ডাব্লু-]' put গুলি রাখতে পারেন। এটি আক্ষরিক অর্থে ∑ | wi | = ∑ (wi + + wi−) ≤ গুলি ≤

— মার্কো