নিয়মিত রৈখিক বনাম আরকেএইচএস-রিগ্রেশন

আমি আরকেএইচএস রিগ্রেশন এবং লিনিয়ার রিগ্রেশন নিয়মিতকরণের মধ্যে পার্থক্যটি অধ্যয়ন করছি, তবে দুজনের মধ্যে গুরুত্বপূর্ণ পার্থক্যটি উপলব্ধি করতে আমার খুব কষ্ট হয়েছে।

ইনপুট-আউটপুট জোড়া দেওয়া , আমি নিম্নলিখিত হিসাবে একটি ফাংশন অনুমান করতে চাই যেখানে একটি কার্নেল ফাংশন। সহগ খুঁজে পাওয়া যাবে যেখানে কিছু স্বরলিপি অপব্যবহারের সাথে, কার্নেলের ম্যাট্রিক্স হয় । এটি $(x_i,y_i)$ $f(\cdot)$

f (x) \approx u (x) = \sum_{i = 1}^{m} α_{i} K (x, x_{i}),

$\begin{equation}f(x)\approx u(x)=\sum_{i=1}^m \alpha_i K(x,x_i),\end{equation}$

K (\cdot, \cdot)

$K(\cdot,\cdot)$

α_{m}

$\alpha_m$

min_{α \in R^{n}} \frac{1}{n} ‖ Y - K α ‖_{R^{n}}^{2} + λ α^{T} K α,

$\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}K\alpha},\end{equation}$

i, j

$i,j$

K

$K$

K (x_{i}, x_{j})

$K(x_{i},x_{j})$

α^{*} = (K + λ n I)^{- 1} Y .

$\begin{equation} \alpha^*=(K+\lambda nI)^{-1}Y. \end{equation}$ বিকল্পভাবে, আমরা সমস্যাটিকে একটি সাধারণ রিজ রিগ্রেশন / লিনিয়ার রিগ্রেশন সমস্যা হিসাবে বিবেচনা করতে পারি:

min_{α \in R^{n}} \frac{1}{n} ‖ Y - K α ‖_{R^{n}}^{2} + λ α^{T} α,

$\begin{equation} {\displaystyle \min _{\alpha\in R^{n}}{\frac {1}{n}}\|Y-K\alpha\|_{R^{n}}^{2}+\lambda \alpha^{T}\alpha},\end{equation}$ solution

solution সমাধান সহ

α^{*} = (K^{T} K + λ n I)^{- 1} K^{T} Y .

$\begin{equation} {\alpha^*=(K^{T}K +\lambda nI)^{-1}K^{T}Y}. \end{equation}$

এই দুটি পদ্ধতির এবং তাদের সমাধানগুলির মধ্যে গুরুত্বপূর্ণ পার্থক্য কী হবে?

— MthQ
সূত্র

stats.stackexchange.com/questions/79192/…

— Cagdas Ozgenc

@ এমটিএইচকিউ - আপনার 'স্বাভাবিক' রিজ রিগ্রেশনটির বিবরণটি কি এখনও দ্বৈততে কাজ করছে না? কেবলমাত্র স্পষ্ট করার জন্যই আমি মনে করি যে স্বাভাবিক রিজ রিগ্রেশন প্রাথমিক (যেখানে সুস্পষ্ট বৈশিষ্ট্যের উপস্থাপনা তৈরি করা হয়) সেখানে কাজ করে বলে মনে করা হচ্ছে।

— rnoodle

অপ্টিমাইজেশনের সমস্যাগুলি লেখার সময় আপনি সম্ভবত লক্ষ্য করেছেন যে, হিমবার্টের আদর্শকে শাস্তি দেওয়ার ক্ষেত্রে হ্রাস করার ক্ষেত্রে একমাত্র পার্থক্য। এটি, শাস্তি দেওয়ার উদ্দেশ্যে 'বৃহত্তর' মানগুলি কী পরিমাণ তা প্রমাণ করা। আরকেএইচএস সেটিং-এ আমরা আরকেএইচএস অভ্যন্তরীণ পণ্য, , যেখানে রিজ রিগ্রেশন জানিয়ে শাস্তি দেয়। $\alpha$ $\alpha^tK\alpha$

একটি আকর্ষণীয় তাত্ত্বিক পরিণতি হ'ল প্রতিটি পদ্ধতি কীভাবে প্রজনন কার্নেল এর বর্ণালীকে প্রভাবিত করে । আরকেএইচএস তত্ত্ব অনুসারে, আমাদের কাছে একসম্মত ইতিবাচক সুনির্দিষ্ট। বর্ণালী উপপাদ্য দ্বারা, আমরা লিখতে যেখানে হ'ল ইগেনভ্যালুগুলির তির্যক ম্যাট্রিক্স এবং হ'ল ম্যাট্রিক্স। ফলস্বরূপ, আরকেএইচএস সেটিং-এ, ল্যাম্বদা এনআই mb ল্যাম্বদা এনআই এদিকে, রিজ রিগ্রেশন সেটিং-এ, খেয়াল করুন যে প্রতিসাম্য দ্বারা, $K$ $K$ $K = U^tDU$ $D$ $U$

\begin{aligned} (K + λ n I)^{- 1} Y & = [U^{t} (D + λ n I) U]^{- 1} Y \\ = U^{t} [D + λ n I]^{- 1} U Y . \end{aligned}

$\begin{align} (K+\lambda nI)^{-1}Y &= [U^t(D+\lambda nI)U]^{-1}Y\\ &= U^t[D+\lambda nI]^{-1}UY. \end{align}$

K^{t} K = K^{2}

$K^tK=K^2$

\begin{aligned} (K^{2} + λ n I)^{- 1} K Y & = [U^{t} (D^{2} + λ n I) U]^{- 1} K Y \\ = U^{t} [D^{2} + λ n I]^{- 1} U K Y \\ = U^{t} [D^{2} + λ n I]^{- 1} D U Y \\ = U^{t} [D + λ n D^{- 1}]^{- 1} U Y . \end{aligned}

$\begin{align} (K^2+\lambda nI)^{-1}KY &= [U^t(D^2+\lambda nI)U]^{-1}KY\\ &= U^t[D^2+\lambda nI]^{-1}UKY\\ &= U^t[D^2+\lambda nI]^{-1}DUY\\ &= U^t[D+\lambda nD^{-1}]^{-1}UY. \end{align}$ এর বর্ণালী যাক হতে । আরকেএইচএস প্রতিরোধে, দ্বারা ইগেনভ্যালুগুলি স্থির হয় । রিজ রিগ্রেশন-এ, আমাদের কাছে । । ফলস্বরূপ, আরকেএইচএস সমানভাবে ইগেনভ্যালুগুলি পরিবর্তন করে এবং সংশ্লিষ্ট যদি ছোট হয় তবে রিজ একটি বৃহত্তর মান যুক্ত করে ।

K

$K$

ν_{1}, \dots, ν_{n}

$\nu_1,\ldots,\nu_n$

ν_{i} \to ν_{i} + λ n

$\nu_i\rightarrow\nu_i+\lambda n$

ν_{i} \to ν_{i} + λ n / ν_{i}

$\nu_i\rightarrow \nu_i + \lambda n/\nu_i$

ν_{i}

$\nu_i$

কার্নেলের পছন্দ অনুসারে, জন্য দুটি অনুমান একে অপরের কাছাকাছি বা দূরে হতে পারে। অপারেটরের আদর্শ জ্ঞানের দূরত্বটি হবে তবে এটি এখনও প্রদত্ত জন্য সীমাবদ্ধ $\alpha$

\begin{aligned} ‖ α_{RKHS} - α_{Ridge} ‖_{ℓ^{2}} & = ‖ A_{RKHS} Y - A_{Ridge} Y ‖_{ℓ^{2}} \\ \leq ‖ [D + λ n I]^{- 1} - [D + λ n D^{- 1}]^{- 1} ‖_{\infty} ‖ Y ‖_{ℓ^{2}} \\ \leq max_{i = 1, \dots, n} {| (ν_{i} + λ n)^{- 1} - (ν_{i} + λ n / ν_{i})^{- 1} |} ‖ Y ‖_{ℓ^{2}} \\ \leq max_{i = 1, \dots, n} {\frac{λ n | 1 - ν_{i} |}{(ν_{i} + λ n) (ν_{i}^{2} + λ n)}} ‖ Y ‖_{ℓ^{2}} \end{aligned}

$\begin{align} \|{\alpha_\text{RKHS}-\alpha_\text{Ridge}}\|_{\ell^2} &= \|{ A_\text{RKHS}Y-A_\text{Ridge}Y }\|_{\ell^2}\\ &\le \|[D+\lambda nI]^{-1}-[D+\lambda n D^{-1}]^{-1}\|_\infty\|Y\|_{\ell^2}\\ &\le \max_{i=1,\ldots,n}\left\{| (\nu_i+\lambda n)^{-1} - (\nu_i+\lambda n/\nu_i)^{-1} |\right\}\|Y\|_{\ell^2}\\ &\le \max_{i=1,\ldots,n}\left\{ \frac{\lambda n|1-\nu_i|}{(\nu_i+\lambda n)(\nu_i^2+\lambda n)} \right\}\|Y\|_{\ell^2}\\ \end{align}$

Y

$Y$ , সুতরাং আপনার দুটি অনুমানক নির্বিচারে দূরে করা যাবে না। অতএব, যদি আপনার কার্নেল পরিচয়ের খুব কাছাকাছি থাকে, তবে সম্ভবত পন্থাগুলিতে খুব কম পার্থক্য থাকবে। যদি আপনার কার্নেলগুলি পৃথকভাবে পৃথক হয় তবে দুটি পদ্ধতির ফলে একইরকম ফলাফল হতে পারে।

বাস্তবে, নির্দিষ্ট অবস্থার জন্য যদি একজনের চেয়ে অন্যটির থেকে ভাল হয় তবে স্পষ্ট করে বলা শক্ত। যেহেতু আমরা কার্নেল ফাংশনের ক্ষেত্রে ডেটা উপস্থাপন করার সময় স্কোয়ার ত্রুটির প্রতি শ্রদ্ধা রেখে কম করছি, কার্যকরভাবে হিলবার্টের কার্যকারিতা থেকে আমরা কার্যকরভাবে একটি সেরা রিগ্রেশন রেখা বেছে নিচ্ছি। অতএব, আরকেএইচএস অভ্যন্তরীণ পণ্যটির প্রতি শ্রদ্ধা জানানো প্রাকৃতিক উপায় বলে মনে হয়।

— আদম বি কাশলাক
সূত্র

আপনি কি এই জন্য একটি রেফারেন্স আছে?

— rnoodle