নেতিবাচক রিজ রিগ্রেশন বোঝা

আমি নেতিবাচক রিজ রিগ্রেশন সম্পর্কে সাহিত্য খুঁজছি ।

সংক্ষেপে, এটি অনুমানক সূত্রে নেতিবাচক ব্যবহার করে লিনিয়ার রিজ রিগ্রেশনকে সাধারণীকরণ করা হয় :ইতিবাচক ক্ষেত্রে একটি দুর্দান্ত তত্ত্ব রয়েছে: ক্ষতির ফাংশন হিসাবে, বাধা হিসাবে, বেয়েস পূর্বের হিসাবে ... তবে আমি কেবল উপরের সূত্রটি সহ নেতিবাচক সংস্করণে হারিয়েছি বলে মনে করি। আমি যা করছি তার জন্য এটি কার্যকর হতে পারে তবে আমি এর স্পষ্ট ব্যাখ্যা দিতে ব্যর্থ হয়েছি। $\lambda$

\hat{β} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y .

$\hat\beta = ( X^\top X + \lambda I)^{-1} X^\top y.$

নেতিবাচক রিজ সম্পর্কে গুরুতর কোনও প্রাথমিক পাঠ্য জানেন? কীভাবে এটি ব্যাখ্যা করা যায়?

regression regularization ridge-regression

— বেনোইট সানচেজ
সূত্র

আমি এটি সম্পর্কে যে কোনও প্রবর্তনীয় পাঠ্য সম্পর্কে কথা বলি তা জানি না, তবে এই উত্সটি আলোকিত হতে পারে, বিশেষত ১৮ পৃষ্ঠার নীচে আলোচনা: jstor.org/stable/4616538?seq=1# পৃষ্ঠা_scan_tab_contents

— রায়ান সিমন্স

ভবিষ্যতে যদি সেই লিঙ্কটি মারা যায়, সম্পূর্ণ প্রশংসাপত্রটি হ'ল: বজর্কাস্ট্রোম, এ। ও সানডবার্গ, আর। "ধারাবাহিকতা প্রতিরোধের উপর একটি সাধারণ দৃষ্টিভঙ্গি"। স্ক্যান্ডিনেভিয়ান জার্নাল অফ স্ট্যাটিস্টিকস, 26: 1 (1999): পিপি 177-30

— রায়ান সিমন্স

অনেক ধন্যবাদ. এটি সিআর এর মাধ্যমে রিজের স্পষ্ট ব্যাখ্যা দেয় যখন । ( ম্যাট্রিক্সের বৃহত্তম )। এখনও ... দিয়ে ব্যাখ্যার সন্ধান করছেন

λ < - λ_{1}

$\lambda<-\lambda_1$

λ > - λ_{1}

$\lambda>-\lambda_1$

— বেনোইট সানচেজ

টিখোনভ নিয়মিতকরণ থেকে রিজ রিগ্রেশনটির এই বিকাশে নোট করুন যে টিখোনভ নিয়মিতকরণ রিজ রিগ্রেশন-এর জন্য হয়ে যায় । পরবর্তীকালে, সাধারণত দ্বারা প্রতিস্থাপিত হয় । এই নেতিবাচক করতে একমাত্র উপায় হয় , কল্পিত হতে অর্থাত, এর গুণিতক । ঠিক আছে, এখন কি? আপনি এটির সাথে কোথায় যেতে চান?

Γ^{T} Γ

$\Gamma^{T} \Gamma$

α^{2} I

$\alpha^2 I$

α^{2}

$\alpha^2$

λ

$\lambda$

α

$\alpha$

i = \sqrt{- 1}

$i=\sqrt{-1}$

— কার্ল

: নেতিবাচক শৈলশিরা এখানে উল্লেখ stats.stackexchange.com/questions/328630/... কিছু লিঙ্ক দিয়ে

— kjetil খ halvorsen

নেগেটিভ রিজ নিয়ে কী চলছে তার জ্যামিতিক চিত্র এখানে।

আমি ফর্মের অনুমানকারী বিবেচনা ক্ষতির ক্রিয়াকলাপ থেকে উদ্ভূতএখানে কি সঙ্গে একটি দ্বি-মাত্রিক ক্ষেত্রে ঘটে একটি বরং মান চিত্রণ । জিরো ল্যাম্বদা ওএলএস দ্রবণের সাথে মিলে যায়, অসীম ল্যাম্বদা অনুমান করা বিটাটিকে শূন্যে সঙ্কুচিত করে:

{\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y

$\hat{\boldsymbol\beta}_\lambda = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}\mathbf X^\top\mathbf y$

L_{λ} = ‖ y - X β ‖^{2} + λ ‖ β ‖^{2} .

$\mathcal L_\lambda = \|\mathbf y - \mathbf X\boldsymbol\beta\|^2 + \lambda \|\boldsymbol\beta\|^2.$

λ \in [0, \infty)

$\lambda\in[0,\infty)$

এখন বিবেচনা করুন যখন , যেখানে এর বৃহত্তম একক মান । খুব বড় নেতিবাচক জন্য , অবশ্যই শূন্যের কাছাকাছি। যখন , তখন শব্দটি এক একক মান পায় শূন্যের নিকটে, যার অর্থ হয় যে বিপরীতটির একক মান থাকে বিয়োগ অনন্তের দিকে। এই একক মানটি এর প্রথম মূল উপাদানটির সাথে সামঞ্জস্য করে , তাই সীমাতে একজন পিসি 1 এর দিকে নির্দেশ করে । ল্যাম্বদা পায় তবে পরম মানের সাথে অসীমের দিকে বেড়ে যায়। $\lambda\in(-\infty, -s^2_\max)$ $s_\mathrm{max}$ $\mathbf X$ $\hat{\boldsymbol\beta}_\lambda$ $-s^2_\max$ $(\mathbf X^\top \mathbf X + \lambda \mathbf I)$ $\mathbf X$ $\hat{\boldsymbol\beta}_\lambda$

আসলেই খুব সুন্দর, এটি কী একই চিত্রের উপর একইভাবে আঁকতে পারে: বিটাগুলি এমন বিন্দু দ্বারা দেওয়া হয় যেখানে বৃত্তগুলি ভিতর থেকে উপবৃত্তিকে স্পর্শ করে :

যখন- , তখন একইরকম যুক্তি প্রয়োগ হয়, ওএলএস অনুমানের অন্য পাশের অংশটি চালিয়ে যাওয়ার অনুমতি দেয় Now এখন চেনাশোনাগুলি বাইরে থেকে উপবৃত্তিকে স্পর্শ করে In সীমা, বিটাগুলি পিসি 2 দিকের দিকে এগিয়ে যায় (তবে এটি এই স্কেচের বাইরে খুব বেশি ঘটে): $\lambda\in(-s^2_\mathrm{min},0]$

সীমাতে একটি এর কিছু শক্তি ফাঁক : estimators একই বক্ররেখা নয় লাইভ না। $(-s^2_\mathrm{max}, -s^2_\mathrm{min})$

আপডেট: মন্তব্যগুলিতে @ মার্টিনএল ব্যাখ্যা করেছেন যে loss লোকসান ন্যূনতম নেই তবে তার সর্বোচ্চ রয়েছে। এবং এই সর্বাধিকটি । এ কারণেই বৃত্ত / উপবৃত্তাকার স্পর্শ সহ একই জ্যামিতিক নির্মাণ কাজ করে চলেছে: আমরা এখনও শূন্য-গ্রেডিয়েন্ট পয়েন্ট খুঁজছি। যখন , ক্ষতির পরিমাণ সর্বনিম্ন থাকে এবং এটি ঠিক যেমনটি কেস $\lambda<-s^2_\mathrm{max}$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$ $-s^2_\mathrm{min}<\lambda\le 0$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$ $\lambda>0$

কিন্তু যখন , ক্ষতির হয় সর্বোচ্চ বা সর্বনিম্ন নয়; একটি স্যাডল পয়েন্টের সাথে মিল রাখে। এটি "শক্তির ব্যবধান" ব্যাখ্যা করে। $-s^2_\mathrm{max}<\lambda<-s^2_\mathrm{min}$ $\mathcal L_\lambda$ $\hat{\boldsymbol\beta}_\lambda$

স্বাভাবিকভাবেই একটি নির্দিষ্ট সবাধ শৈলশিরা রিগ্রেশনের থেকে জাগে, দেখতে যখন "ইউনিট-ভ্যারিয়েন্স" শৈলশিরা রিগ্রেশন মূল্নির্ধারক সীমা । এটি কেমোমেট্রিক্স সাহিত্যে "কন্টিনিয়াম রিগ্রেশন" নামে পরিচিত, তার সাথে সম্পর্কিত, আমার উত্তরটি সংযুক্ত থ্রেডে দেখুন। $\lambda\in(-\infty, -s^2_\max)$ $\lambda\to\infty$

যেমন ঠিক একই ভাবে গ্রহণ করা যেতে পারে ক্ষতি ফাংশন থাকার বিষয়টি মতেই একই এবং শৈলশিরা মূল্নির্ধারক তার সর্বনিম্ন প্রদান করে:। $\lambda\in(-s^2_\mathrm{min},0]$ $\lambda>0$

— জীবাণুবিশেষ
সূত্র

আকর্ষণীয় গ্রাফগুলির জন্য আপনাকে ধন্যবাদ। যখন , আপনি যে সমাধানটি ব্যয় কার্যকারিতার গ্লোবাল সর্বাধিক , সর্বনিম্ন নয়। একইভাবে, যখন , আপনি যে পয়েন্টটি সেটি ব্যয় ক্রিয়াকলাপের স্যাডল পয়েন্ট হওয়া উচিত ।

λ < - s_{max}^{2}

$\lambda < -s_\text{max}^2$

- s_{max}^{2} < λ < 0

$-s_\text{max}^2 < \lambda < 0$

— মার্টিন এল

ব্যয় কার্যক্রমে কেবল চতুর্ভুজ শর্তাদি বিবেচনা করুন। হিসাবে লেখা যেতে পারে Let যাক , তবে প্রথম বন্ধনীগুলিতে ম্যাট্রিক্সের কেবল নেতিবাচক ইগেনভ্যালু রয়েছে। আসুন এবং ম্যাট্রিক্সের ইতিবাচক এবং negativeণাত্মক উভয় মান রয়েছে। এই ইগেনভ্যালুগুলি পয়েন্টটি একটি স্যাডল পয়েন্ট, ন্যূনতম বা ব্যয় কার্যকারিতার সর্বাধিক প্রভাবিত করে influence

β^{T} (X^{T} X + λ I) β .

$\beta^T (X^T X + \lambda I) \beta.$

λ < - s_{max}^{2}

$\lambda < - s_\text{max}^2$

- s_{max}^{2} < λ < 0

$- s_\text{max}^2 < \lambda < 0$

— মার্টিন এল

এটি খুব সহায়ক, অনেক অনেক ধন্যবাদ। আমি আমার উত্তরে একটি আপডেট করেছি।

— অ্যামিবা

ধন্যবাদ. বিশেষত উপলব্ধি করার জন্য যে স্যাডল পয়েন্টটি কেবল তখন । যখন , সমাধানটি তখনও বিশ্বব্যাপী সর্বনিম্ন ন্যূনতম, ইতিবাচক। আমার আগের মন্তব্যটি এইভাবে আংশিকভাবে ভুল ছিল।

- s_{max}^{2} < λ < - s_{min}^{2}

$-s_\text{max}^2 < \lambda < - s_\text{min}^2$

λ > - s_{min}^{2}

$\lambda > -s_\text{min}^2$

X^{T} X + λ I

$X^T X + \lambda I$

— মার্টিন এল