কার্নেল আনুমানিককরণের জন্য Nystroem পদ্ধতি

আমি নিম্ন র‌্যাঙ্কের কার্নেল এপ্রোক্সিমেশনের জন্য Nyström পদ্ধতি সম্পর্কে পড়ছি। এই পদ্ধতিটি সাইকিট-লার্নে প্রয়োগ করা হয়েছে [1] কার্নেল বৈশিষ্ট্য ম্যাপিংয়ের নিম্ন-স্তরের প্রাক্কলনে ডেটা নমুনাগুলি প্রজেক্ট করার পদ্ধতি হিসাবে।

আমার জ্ঞানের সেরা হিসাবে, একটি প্রশিক্ষণ সেট given এবং একটি কার্নেল ফাংশন দেওয়া হয়েছে, এটি এসভিডি প্রয়োগ করে একটি কার্নেল ম্যাট্রিক্স একটি নিম্ন-স্তরের সান্নিধ্য তৈরি করে এবং । $\{x_i\}_{i=1}^n$ $n \times n$ $K$ $W$ $C$

$K = \left [ \begin{array}{cc} W & K_{21}^T \\ K_{21} & K_{22} \end{array} \right ]$ $C = \left [\begin{array}{cc} W \\ K_{21} \end{array}\right ]$ , $W \in \mathbb{R}^{l\times l}$

তবে, আমি বুঝতে পারি না যে কার্নেল ম্যাট্রিক্সের নিম্ন-স্তরের আনুমানিকতা কার্নেল বৈশিষ্ট্য স্থানে নতুন নমুনা প্রজেক্ট করতে কীভাবে ব্যবহার করা যেতে পারে । আমি যে কাগজপত্রগুলি পেয়েছি (যেমন [2]) সেগুলি খুব বেশি কার্যকর নয়, কারণ সেগুলি সামান্য যুক্তিযুক্ত।

এছাড়াও, আমি প্রশিক্ষণের এবং পরীক্ষার উভয় পর্যায়ের ক্ষেত্রেই এই পদ্ধতির গণ্য জটিলতা সম্পর্কে আগ্রহী।

[1] http://scikit-learn.org/stable/modules/kernel_approximation.html#nystroem-kernel-approx

[২] http://www.jmlr.org/papers/volume13/kumar12a/kumar12a.pdf

— ড্যানিয়েল ল্যাপেজ
সূত্র

আসুন Nyström আনুমানিকতা এমনভাবে উপস্থাপন করুন যাতে আপনার প্রশ্নের উত্তরগুলি আরও পরিষ্কার করা উচিত।

Nyström এর মূল অনুমানটি হ'ল কার্নেল ফাংশনটি র‍্যাঙ্কের হয় । (সত্যিই আমরা ধরে নিই যে এটি প্রায় র‌্যাঙ্ক এর প্রায় , তবে সরলতার জন্য এখনকার জন্য ঠিক এটি র‌্যাঙ্ক ভান করা উচিত )) এর অর্থ হ'ল যে কোনও কার্নেল ম্যাট্রিক্সের বেশিরভাগ র‌্যাঙ্ক থাকবে এবং বিশেষত র‌্যাঙ্ক । সুতরাং ননজারো ইগেনভ্যালু রয়েছে এবং আমরা এর ইউজেনডেকপজিশন লাম্বদা হিসাবে লিখতে পারি $m$ $m$ $m$ $m$

K = [\begin{matrix} k (x_{1}, x_{1}) & \dots & k (x_{1}, x_{n}) \\ ⋮ & ⋱ & ⋮ \\ k (x_{n}, x_{1}) & \dots & k (x_{n}, x_{n}) \end{matrix}],

$K = \begin{bmatrix} k(x_1, x_1) & \dots & k(x_1, x_n) \\ \vdots & \ddots & \vdots \\ k(x_n, x_1) & \dots & k(x_n, x_n) \end{bmatrix} ,$

m

$m$

m

$m$

K

$K$

K = U Λ U^{T}

$K = U \Lambda U^T$ igen , একটি ডায়াগোনাল ম্যাট্রিক্সে সজ্জিত -আকৃতির, shape আকারের ইউজেনভেেক্টর সহ ।

U

$U$

n \times m

$n \times m$

Λ

$\Lambda$

m \times m

$m \times m$

সুতরাং, আসুন উপাদানগুলি চয়ন করুন, সাধারণত এলোমেলোভাবে তবে সম্ভবত অন্যান্য স্কিম অনুসারে - এই সরলীকৃত সংস্করণে যে সমস্ত বিষয় রয়েছে তা full সম্পূর্ণ পদমর্যাদার। একবার করার পরে, কেবলমাত্র পয়েন্টগুলি পুনর্বিবেচনা করুন যাতে আমরা ব্লকগুলিতে কার্নেল ম্যাট্রিক্সের সাথে শেষ করি: যেখানে আমরা (যা ) এবং ( ) এর প্রতিটি প্রবেশ মূল্যায়ন করি , কিন্তু কোনও মূল্যায়ন করতে চাই না । $m$ $K_{11}$

K = [\begin{matrix} K_{11} & K_{21}^{T} \\ K_{21} & K_{22} \end{matrix}],

$K = \begin{bmatrix} K_{11} & K_{21}^T \\ K_{21} & K_{22} \end{bmatrix} ,$

K_{11}

$K_{11}$

m \times m

$m \times m$

K_{21}

$K_{21}$

(n - m) \times m

$(n-m) \times m$

K_{22}

$K_{22}$

এখন, আমরা এই ব্লক স্ট্রাকচার অনুসারে ইজেনডিকোপজিশনটিও বিভক্ত করতে পারি: যেখানে হয় এবং হয় । তবে মনে রাখবেন যে এখন আমাদের । সুতরাং আমরা জানতে পারেন এবং পরিচিত ম্যাট্রিক্স eigendecomposing দ্বারা ।

\begin{aligned} K & = U Λ U^{T} \\ = [\begin{matrix} U_{1} \\ U_{2} \end{matrix}] Λ {[\begin{matrix} U_{1} \\ U_{2} \end{matrix}]}^{T} \\ = [\begin{matrix} U_{1} Λ U_{1}^{T} & U_{1} Λ U_{2}^{T} \\ U_{2} Λ U_{1}^{T} & U_{2} Λ U_{2}^{T} \end{matrix}], \end{aligned}

$\begin{align} K &= U \Lambda U^T \\&= \begin{bmatrix}U_1 \\ U_2\end{bmatrix} \Lambda \begin{bmatrix}U_1 \\ U_2\end{bmatrix}^T \\&= \begin{bmatrix} U_1 \Lambda U_1^T & U_1 \Lambda U_2^T \\ U_2 \Lambda U_1^T & U_2 \Lambda U_2^T \end{bmatrix} ,\end{align}$

U_{1}

$U_1$

m \times m

$m \times m$

U_{2}

$U_2$

(n - m) \times m

$(n-m) \times m$

K_{11} = U_{1} Λ U_{1}^{T}

$K_{11} = U_1 \Lambda U_1^T$

U_{1}

$U_1$

Λ

$\Lambda$

K_{11}

$K_{11}$

আমরা এও জানি যে । এখানে, আমরা ছাড়া এই সমীকরণ সবকিছু জানেন , তাই আমরা কি eigenvalues বোঝা যে জন্য সমাধান করতে পারে: ডান-সংখ্যাবৃদ্ধি দ্বারা উভয় পক্ষের পেতে : মূল্যায়নের জন্য আমাদের যা যা দরকার তা এখন রয়েছে $K_{21} = U_2 \Lambda U_1^T$ $U_2$ $(\Lambda U_1^T)^{-1} = U_1 \Lambda^{-1}$

U_{2} = K_{21} U_{1} Λ^{- 1} .

$U_2 = K_{21} U_1 \Lambda^{-1} .$

K_{22}

$K_{22}$

\begin{aligned} K_{22} & = U_{2} Λ U_{2}^{T} \\ = (K_{21} U_{1} Λ^{- 1}) Λ {(K_{21} U_{1} Λ^{- 1})}^{T} \\ = K_{21} U_{1} (Λ^{- 1} Λ) Λ^{- 1} U_{1}^{T} K_{21}^{T} \\ = K_{21} U_{1} Λ^{- 1} U_{1}^{T} K_{21}^{T} \\ (*) & = K_{21} K_{11}^{- 1} K_{21}^{T} \\ (**) & = (K_{21} K_{11}^{- \frac{1}{2}}) {(K_{21} K_{11}^{- \frac{1}{2}})}^{T} . \end{aligned}

$\begin{align} K_{22} &= U_2 \Lambda U_2^T \\&= \left(K_{21} U_1 \Lambda^{-1}\right) \Lambda \left(K_{21} U_1 \Lambda^{-1}\right)^T \\&= K_{21} U_1 (\Lambda^{-1} \Lambda) \Lambda^{-1} U_1^T K_{21}^T \\&= K_{21} U_1 \Lambda^{-1} U_1^T K_{21}^T \\&= K_{21} K_{11}^{-1} K_{21}^T \tag{*} \\&= \left( K_{21} K_{11}^{-\frac12} \right) \left( K_{21} K_{11}^{-\frac12} \right)^T \tag{**} .\end{align}$

(*) এ, আমরা সম্ভবত Nyström এমবেডিংয়ের একটি সংস্করণ পেয়েছি যা আপনি সম্ভবত সংজ্ঞা হিসাবে দেখতে পেয়েছেন। এটা আমাদের কার্যকর কার্নেল মান বলে যে আমরা ব্লক জন্য আরোপিত হিসাবের করছি । $K_{22}$

(**) এ, আমরা দেখতে পেলাম ম্যাট্রিক্স বৈশিষ্ট্যটি , যা আকার , এই নিষ্ক্রিয় কার্নেল মানগুলির সাথে মিলে যায়। যদি আমরা পয়েন্টগুলির জন্য ব্যবহার করি তবে আমাদের কাছে ডাইমেনশনাল বৈশিষ্ট্যগুলি রয়েছে আমরা কেবল তাড়াতাড়ি যাচাই করতে পারি যে সঠিক কার্নেল ম্যাট্রিক্সের সাথে মিলে যায়: $K_{21} K_{11}^{-\frac12}$ $(n-m) \times m$ $K_{11}^{\frac12}$ $m$ $m$

Φ = [\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}] .

$\Phi = \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix} .$

Φ

$\Phi$

\begin{aligned} Φ Φ^{T} & = [\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}] {[\begin{matrix} K_{11}^{\frac{1}{2}} \\ K_{21} K_{11}^{- \frac{1}{2}} \end{matrix}]}^{T} \\ = [\begin{matrix} K_{11}^{\frac{1}{2}} K_{11}^{\frac{1}{2}} & K_{11}^{\frac{1}{2}} K_{11}^{- \frac{1}{2}} K_{21}^{T} \\ K_{21} K_{11}^{- \frac{1}{2}} K_{11}^{\frac{1}{2}} & K_{21} K_{11}^{- \frac{1}{2}} K_{11}^{- \frac{1}{2}} K_{21}^{T} \end{matrix}] \\ = [\begin{matrix} K_{11} & K_{21}^{T} \\ K_{21} & K_{21} K_{11}^{- 1} K_{21}^{T} \end{matrix}] \\ = K . \end{aligned}

$\begin{align} \Phi \Phi^T &= \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix} \begin{bmatrix} K_{11}^{\frac12} \\ K_{21} K_{11}^{-\frac12} \end{bmatrix}^T \\&=\begin{bmatrix} K_{11}^{\frac12} K_{11}^{\frac12} & K_{11}^{\frac12} K_{11}^{-\frac12} K_{21}^T \\ K_{21} K_{11}^{-\frac12} K_{11}^{\frac12} & K_{21} K_{11}^{-\frac12} K_{11}^{-\frac12} K_{21}^T \end{bmatrix} \\&=\begin{bmatrix} K_{11} & K_{21}^T \\ K_{21} & K_{21} K_{11}^{-1} K_{21}^T \end{bmatrix} \\&= K .\end{align}$

সুতরাং, আমাদের কেবলমাত্র আমাদের নিয়মিত শেখার মডেলটিকে ডাইমেনশনাল বৈশিষ্ট্যগুলি সহ প্রশিক্ষণ করতে হবে । এই হতে হবে ঠিক (অনুমানের অধীনে আমরা তৈরি করেছি) একই সঙ্গে লার্নিং সমস্যার kernelized সংস্করণ হিসেবে । $m$ $\Phi$ $K$

এখন, পৃথক ডেটা পয়েন্ট , র বৈশিষ্ট্যগুলিপার্টিশন ২-এর একটি বিন্দু জন্য , ভেক্টর কেবল of এর প্রাসঙ্গিক সারি , যাতে স্ট্যাকিং এগুলি আমাদের - তাই বিভাজন 2 এর পয়েন্টগুলির সাথে একমত হয় এটি বিভাজন 1 এও কাজ করে: সেখানে, ভেক্টরটি সারি , সুতরাং তাদের , আবার সাথে একমত হয়ে $x$ $\Phi$

ϕ (x) = [\begin{matrix} k (x, x_{1}) & \dots & k (x, x_{m}) \end{matrix}] K_{11}^{- \frac{1}{2}} .

$\phi(x) = \begin{bmatrix} k(x, x_1) & \dots & k(x, x_m) \end{bmatrix} K_{11}^{-\frac12} .$

x

$x$

[\begin{matrix} k (x, x_{1}) & \dots & k (x, x_{m}) \end{matrix}]

$\begin{bmatrix} k(x, x_1) & \dots & k(x, x_m) \end{bmatrix}$

K_{21}

$K_{21}$

K_{21} K_{11}^{- \frac{1}{2}}

$K_{21} K_{11}^{-\frac12}$

ϕ (x)

$\phi(x)$

K_{11}

$K_{11}$

K_{11} K_{11}^{- \frac{1}{2}} = K_{11}^{\frac{1}{2}}

$K_{11} K_{11}^{-\frac12} = K_{11}^{\frac12}$

Φ

$\Phi$ । তাই ... এটা এখনও একটি অদেখা-অ্যাট-প্রশিক্ষণ-টাইম পরীক্ষা পয়েন্টের জন্য সত্য । আপনি কেবল একই কাজটি করেছেন: যেহেতু আমরা ধরে নিয়েছি যে কার্নেলটি র‌্যাঙ্ক , ম্যাট্রিক্স পদে হয় , এবং পুনর্গঠন হিসাবে ঠিক একই যুক্তি দ্বারা সঠিক এখনও ।

x_{new}

$x_\text{new}$

Φ_{test} = K_{test, 1} K_{11}^{- \frac{1}{2}} .

$\Phi_\text{test} = K_{\text{test},1} K_{11}^{-\frac12} .$

m

$m$

[\begin{matrix} K_{train} & K_{train,test} \\ K_{test,train} & K_{test} \end{matrix}]

$\begin{bmatrix}K_{\text{train}} & K_{\text{train,test}} \\ K_{\text{test,train}} & K_{\text{test}} \end{bmatrix}$

m

$m$

K_{test}

$K_\text{test}$

K_{22}

$K_{22}$

সর্বোপরি, আমরা অধিকৃত যে কার্নেল ম্যাট্রিক্স ছিল ঠিক র্যাঙ্ক । এটি সাধারণত ক্ষেত্রে হয় না; একটি গসিয়ান কার্নেল জন্য, উদাহরণস্বরূপ, হয় সবসময় র্যাঙ্ক কিন্তু আধুনিক eigenvalues সাধারণত প্রশংসনীয় দ্রুত ড্রপ বন্ধ তাই এটি হতে যাচ্ছে পাসে পদে একটি ম্যাট্রিক্স , এবং আমাদের পুনর্গঠন বা সত্য মানগুলির কাছাকাছি হতে চলেছে তবে ঠিক একই নয়। তারা ভাল পুনর্গঠন কাছাকাছি এর eigenspace হবেন যে পায়

K

$K$

m

$m$

K

$K$

n

$n$

m

$m$

K_{21}

$K_{21}$

K_{test, 1}

$K_{\text{test},1}$

K_{11}

$K_{11}$

K

$K$ সামগ্রিকভাবে, তাই সঠিক পয়েন্টগুলি নির্বাচন করা অনুশীলনে গুরুত্বপূর্ণ।

m

$m$

আরও মনে রাখবেন যে এর কোনও শূন্য ইগ্যালভ্যালু থাকলে আপনি বিপরীতগুলি সিউডোইনভার্সগুলি প্রতিস্থাপন করতে পারেন এবং সমস্ত কিছু এখনও কাজ করে; আপনি শুধু প্রতিস্থাপন পুনর্গঠন সঙ্গে । $K_{11}$ $K_{21}$ $K_{21} K_{11}^\dagger K_{11}$

আপনি চাইলে egendecomposition এর পরিবর্তে SVD ব্যবহার করতে পারেন; যেহেতু পিএসডি হয়, তারা একই জিনিস, তবে এসভিডি কার্নেল ম্যাট্রিক্স এবং এর মধ্যে সংখ্যাসূচক ত্রুটির তুলনায় আরও কিছুটা শক্তিশালী হতে পারে, তাই বিজ্ঞান-শিখাই তা করে। সাইকিট-শিখার আসল বাস্তবায়ন এটি করে, যদিও এটি সিউডোয়েন্টের পরিবর্তে বিপরীতে mb ল্যাম্বদা_আই ব্যবহার করে। $K$ $\max(\lambda_i, 10^{-12})$

— Dougal
সূত্র

যখন ইতিবাচক অর্ধবৃত্ত হয়, তখন Eigndecomposition osition SVD এর সাথে মিলে যায়। scikit-শিখতে, কারণ সংখ্যাসূচক ত্রুটির কারণে সামান্য অ পিএসডি হতে পারে, পরিবর্তে নির্ণয় , এবং ব্যবহার , তাই যে 'র বৈশিষ্ট্য হয়ে । মূলত এটি একই জিনিস।

A

$A$

U Λ U^{T}

$U \Lambda U^T$

A

$A$

U Σ V^{T}

$U \Sigma V^T$

A^{- \frac{1}{2}} = V Σ^{- \frac{1}{2}} V^{T}

$A^{-\frac12} = V \Sigma^{-\frac12} V^T$

A

$A$

A V Σ^{- \frac{1}{2}} V^{T} = U Σ V^{T} V Σ^{- \frac{1}{2}} V^{T} = U Σ^{\frac{1}{2}} V^{T} = A^{\frac{1}{2}}

$A V \Sigma^{-\frac12} V^T = U \Sigma V^T V \Sigma^{-\frac12} V^T = U \Sigma^{\frac12} V^T = A^{\frac12}$

— ডুগল

ওহো, দুঃখিত, হাঁ তারা ব্যবহার । এটা সব সত্যিই বিষয় যেহেতু না , কিন্তু যেহেতু তারা TRANSPOSE বৈশিষ্ট্যগুলিও চায় যেমন শেষ ।

U Σ^{- \frac{1}{2}} V^{T} = K^{- \frac{1}{2}}

$U \Sigma^{-\frac12} V^T = K^{-\frac12}$

U \approx V

$U \approx V$

K_{11}

$K_{11}$

U Σ V^{T} V Σ^{- \frac{1}{2}} U^{T} = U Σ^{\frac{1}{2}} U^{T}

$U\Sigma V^T V \Sigma^{-\frac12} U^T = U \Sigma^{\frac12} U^T$

— ডগল

একটি পাওয়ারে প্রতিটি উপাদানকে একটি শক্তিতে উত্থাপন করা এবং । ন্যালি সম্প্রচারিত স্বরলিপিতে, কোনও ভেক্টরের দ্বারা মৌলিক দিকের গুণটি একটি তির্যক ম্যাট্রিক্স দ্বারা ডান-গুণণের সমান। এছাড়াও, যে কোড ব্যবহার মানে কি আমি আহ্বান ছিল ।

x^{- \frac{1}{2}} = 1 / \sqrt{x}

$x^{-\frac12} = 1 / \sqrt x$

V

$V$

V^{T}

$V^T$

— ডুগল

ওফস, দুঃখিত, এটি কেবলমাত্র অবধি হওয়া উচিত (পুনরায় লেবেলযুক্ত , যাতে সেগুলি Nyström বেস পয়েন্ট)। ঠিক করবে.

x_{m}

$x_m$

— ডুগল

x

$x$ একটি ডেটা পয়েন্ট, এর মাত্রা এখানে নির্দিষ্ট করা হয়নি। হতে পারে , অথবা এটি একটি স্ট্রিং বা কিছু হতে পারে; কেবল , যাতে । তারপর শুধু stacks আপ জন্য বিভিন্ন ইনপুট।

x

$x$

R^{d}

$\mathbb R^d$

x \in X

$x \in \mathcal X$

k : X \times X \to R

$k : \mathcal X \times \mathcal X \to \mathbb R$

ϕ : X \to R^{m}

$\phi : \mathcal X \to \mathbb R^m$

k (x, x_{i})

$k(x, x_i)$

m

$m$

— ডুগল