এটি @ মার্তিজানের সুন্দর জ্যামিতিক উত্তরের একটি বীজগণিত অংশ।
সবার আগে, যখন হয় প্রাপ্তি সহজ: সীমাতে, লোকসানের কার্যক্রমে প্রথম পদটি নগণ্য হয়ে যায় এবং এভাবে উপেক্ষা করা যায়। অপ্টিমাইজেশনের সমস্যাটি যা প্রথম প্রধান উপাদান
β^∗λ=argmin{∥y−Xβ∥2+λ∥β∥2}s.t.∥Xβ∥2=1
λ→∞limλ→∞β^∗λ=β^∗∞=argmin∥Xβ∥2=1∥β∥2∼argmax∥β∥2=1∥Xβ∥2,
X(যথাযথভাবে মাপা) এই প্রশ্নের উত্তর।
এখন আসুন আমি আমার প্রশ্নের # 2 পয়েন্টে উল্লেখ করা কোনও মানের সমাধান বিবেচনা করি। ক্ষতির ফাংশনে যোগ করার জন্য ল্যাঞ্জরেজ গুণক এবং পৃথকীকরণের মাধ্যমে আমরা পেয়েছিλμ(∥Xβ∥2−1)
β^∗λ=((1+μ)X⊤X+λI)−1X⊤ywith μ needed to satisfy the constraint.
ল্যাম্বদা শূন্য থেকে অসীমের দিকে বেড়ে গেলে এই সমাধানটি কীভাবে আচরণ করবে ?λ
যখন , আমরা একটি মাপের সংস্করণ পাই:λ=0
β^∗0∼β^0.
ধনাত্মক তবে ছোট মানগুলির জন্য , সমাধানটি কয়েকটি রিজ অনুমানের আকারযুক্ত সংস্করণ:λ
β^∗λ∼β^λ∗.
কখন, সীমাবদ্ধতা প্রয়োজনীয় মান । এর অর্থ হ'ল সমাধানটি প্রথম পিএলএস উপাদানটির একটি মাপা সংস্করণ (যার অর্থ সংশ্লিষ্ট রিজ অনুমানকারী ):λ=∥XX⊤y∥(1+μ)0λ∗∞
β^∗∥XX⊤y∥∼X⊤y.
যখন চেয়ে বড় হয়, প্রয়োজনীয় শব্দটি নেতিবাচক হয়ে যায়। এখন থেকে সমাধানটি হল সিউডো-রিজ অনুমানকটির একটি নেতিবাচক নিয়মিতকরণ প্যারামিটার ( নেতিবাচক রিজ ) এর একটি মাপা সংস্করণ । দিকনির্দেশের ক্ষেত্রে, আমরা এখন অসীম ল্যাম্বদা সহ অতীত রিজ রিগ্রেশন areλ(1+μ)
যখন , শব্দটি zero শূন্যে চলে যাবে (বা এতে বিভক্ত হবে) অনন্ত) যদি না যেখানে বৃহত্তম একক মান । এটি principal সীমাবদ্ধ এবং প্রথম মূল অক্ষের সাথে সমানুপাতিক । আমরা সেট করতে হবে বাধ্যতা সন্তুষ্ট। সুতরাং, আমরা সেইλ→∞((1+μ)X⊤X+λI)−1μ=−λ/s2max+αsmaxX=USV⊤β^∗λV1μ=−λ/s2max+U⊤1y−1
β^∗∞∼V1.
সামগ্রিকভাবে, আমরা দেখতে পাই যে এই সীমাবদ্ধ ন্যূনতমকরণ সমস্যাটি নিম্নলিখিত বর্ণালীতে ওএলএস, আরআর, পিএলএস এবং পিসিএর ইউনিট-ভেরিয়েন্স সংস্করণগুলিকে অন্তর্ভুক্ত করেছে:
OLS→RR→PLS→negative RR→PCA
এটি "কন্টিনিয়াম রিগ্রেশন" নামে পরিচিত একটি অস্পষ্ট (?) কেমোমেট্রিক্স কাঠামোর সমতুল্য বলে মনে হচ্ছে ( https://scholar.google.de/scholar?q="continuum+regression " , বিশেষত স্টোন এবং ব্রুকস 1990, সানডবার্গ 1993, Björkström & Sundberg 1999, ইত্যাদি) যা পূর্ণবিস্তার একই একীকরণ অনুমতি দেয় এমন একটি তদর্থক নির্ণায়কএটি স্পষ্টতই স্কেলড ওএলএস প্রদান করে যখন , পিএলএস যখন , পিসিএ যখন , এবং
T=corr2(y,Xβ)⋅Varγ(Xβ)s.t.∥β∥=1.
γ=0γ=1γ→∞0<γ<11<γ<∞ , দেখুন 1993 সালে সানডবার্গ।
আরআর / পিএলএস / পিসিএ / ইত্যাদির সাথে বেশ খানিকটা অভিজ্ঞতা থাকা সত্ত্বেও, আমি স্বীকার করতেই পারি যে আমি এর আগে "কন্টিনাম রিগ্রেশন" কখনও শুনিনি। আমার এও বলা উচিত যে আমি এই শব্দটিকে অপছন্দ করি।
একটি স্কিম্যাটিক যা আমি @ মার্টিজন এর একটি ভিত্তিতে করেছি:
আপডেট: চিত্রটি নেতিবাচক রিজ পাথের সাথে আপডেট হয়েছে, এটি কীভাবে দেখতে হবে তা প্রস্তাব দেওয়ার জন্য @ মার্তিজনকে বিশাল ধন্যবাদ। আরও তথ্যের জন্য নেতিবাচক রিজ রিগ্রেশন বোঝার জন্য আমার উত্তর দেখুন ।