কীভাবে প্রমাণ করতে হবে যে রেডিয়াল বেস ফাংশনটি কার্নেল?

35

কীভাবে প্রমাণ করতে হয় যে রেডিয়াল ভিত্তিক ফাংশন $k(x, y) = \exp(-\frac{||x-y||^2)}{2\sigma^2})$ একটি কর্নেল? আমি যতদূর বুঝতে পেরেছি, এটি প্রমাণ করতে আমাদের নীচের যে কোনও একটি প্রমাণ করতে হবে:

কোনও ভেক্টর সংস্থার জন্য $x_1, x_2, ..., x_n$ ম্যাট্রিক্স = positive ধনাত্মক অর্ধবৃত্তীয়। $K(x_1, x_2, ..., x_n)$ $(k(x_i, x_j))_{n \times n}$
একটি ম্যাপিং উপস্থাপন করা যেতে পারে যেমন = । $\Phi$ $k(x, y)$ $\langle\Phi(x), \Phi(y)\rangle$

কোন সাহায্য?

svm kernel-trick

— সিংহরাশি
সূত্র

1

এটি আরও স্পষ্টতই লিঙ্ক করার জন্য: বৈশিষ্ট্যটির মানচিত্রটিও এই প্রশ্নে আলোচিত হয়েছে , বিশেষত মার্ক ক্ল্যাসেনের উত্তর টেলর সিরিজ এবং আমার উপর ভিত্তি করে যা আরকেএইচএস এবং নীচে ডগলাস দ্বারা প্রদত্ত

L_{2}

$L_2$ এম্বেডিংয়ের সাধারণ সংস্করণ উভয়ই নিয়ে আলোচনা করেছে ।

— ডগল

26

জেন পদ্ধতি 1. ব্যবহৃত এখানে পদ্ধতি 2: ম্যাপ $x$ একটি spherically- প্রতিসম গসিয়ান কেন্দ্রীভূত বন্টন $x$ হিলবার্ট স্থান $L^2$ । এটি সঠিকভাবে কাজ করতে স্ট্যান্ডার্ড বিচ্যুতি এবং একটি ধ্রুবক ফ্যাক্টরটিকে টুইট করতে হবে। উদাহরণস্বরূপ, এক মাত্রায়,

\int_{- \infty}^{\infty} \frac{\exp [- (x - z)^{2} / (2 σ^{2})]}{\sqrt{2 π} σ} \frac{\exp [- (y - z)^{2} / (2 σ^{2})}{\sqrt{2 π} σ} d z = \frac{\exp [- (x - y)^{2} / (4 σ^{2})]}{2 \sqrt{π} σ} .

$\int_{-\infty}^\infty \frac{\exp[-(x-z)^2/(2\sigma^2)]}{\sqrt{2 \pi} \sigma} \frac{\exp[-(y-z)^2/(2 \sigma^2)}{\sqrt{2 \pi} \sigma} dz = \frac{\exp [-(x-y)^2/(4 \sigma^2)]}{2 \sqrt \pi \sigma}.$

সুতরাং, একটি মানক বিচ্যুতি ব্যবহার করুন এবং গসিয়ান বন্টন স্কেল পেতে। এই শেষ পুনরুদ্ধারটি ঘটে কারণএকটি সাধারণ বিতরণেরআদর্শসাধারণভাবেহয় না। $\sigma/\sqrt 2$ $k(x,y) = \langle \Phi(x), \Phi(y)\rangle$ $L^2$ $1$

— ডগলাস জারে
সূত্র

2

@ জেন, ডগলাস জারে: আপনার দুর্দান্ত উত্তরের জন্য আপনাকে ধন্যবাদ। আমি এখন অফিসিয়াল উত্তরটি কীভাবে নির্বাচন করব?

— লিও

23

আমি পদ্ধতিটি ব্যবহার করব। পদ্ধতি 2 ব্যবহার করে প্রমাণের জন্য ডগলাস জেরের উত্তরটি পরীক্ষা করুন।

আমি যদি যখন প্রমাণ করবে , বাস্তব সংখ্যার তাই । সাধারণ কেস একই যুক্তি থেকে মুতাটিস মিটানডিসকে অনুসরণ করে , এবং তা করার মতো। $x,y$ $k(x,y)=\exp(-(x-y)^2/2\sigma^2)$

সাধারণত্ব ক্ষতি ছাড়া, যে অনুমান করা । $\sigma^2=1$

লিখন , যেখানে $k(x,y)=h(x-y)$ বিতরণসহএকটি এলোমেলো পরিবর্তনশীলবৈশিষ্ট্যযুক্ত ফাংশন function

h (t) = \exp (- \frac{t^{2}}{2}) = E [e^{i t Z}]

$h(t)=\exp\left(-\frac{t^2}{2}\right)=\mathrm{E}\left[e^{itZ}\right]$

Z

$Z$

N (0, 1)

$N(0,1)$

বাস্তব সংখ্যার জন্য এবং , আমরা $x_1,\dots,x_n$ $a_1,\dots,a_n$ যা প্রেরণ করে যে একটি ধনাত্মক সেমিাইডাইফিনেট ফাংশন, ওরফে কার্নেল।

\sum_{j, k = 1}^{n} a_{j} a_{k} h (x_{j} - x_{k}) = \sum_{j, k = 1}^{n} a_{j} a_{k} E [e^{i (x_{j} - x_{k}) Z}] = E [\sum_{j, k = 1}^{n} a_{j} e^{i x_{j} Z} a_{k} e^{- i x_{k} Z}] = E [{| \sum_{j = 1}^{n} a_{j} e^{i x_{j} Z} |}^{2}] \geq 0,

$\sum_{j,k=1}^n a_j\,a_k\,h(x_j-x_k) = \sum_{j,k=1}^n a_j\,a_k\,\mathrm{E} \left[ e^{i(x_j-x_k)Z}\right] = \mathrm{E} \left[ \sum_{j,k=1}^n a_j\,e^{i x_j Z}\,a_k\,e^{-i x_k Z}\right] = \mathrm{E}\left[ \left| \sum_{j=1}^n a_j\,e^{i x_j Z}\right|^2\right] \geq 0 \, ,$

k

$k$

বৃহত্তর সাধারণতার এই ফলাফলটি বোঝার জন্য বোচনার উপপাদ্যটি দেখুন: http://en.wikedia.org/wiki/Positive-definite_function

— জেন
সূত্র

2

এটি দুটি দিকের সতর্কতার সাথে সঠিক দিকের দিকে শুরু করা: (ক)

প্রদর্শিত প্রত্যাশার সমতুল্য নয় (উদ্ঘাটিতের চিহ্নটি পরীক্ষা করুন) এবং (খ) এটি যেখানে মনোযোগ সীমাবদ্ধ করে বলে মনে হচ্ছে

এবং

স্কেলার এবং ভেক্টর নয়। আমি ইতিমধ্যে উত্সাহিত করেছি, কারণ প্রদর্শনটি সুন্দর এবং পরিষ্কার এবং আমি নিশ্চিত যে আপনি এই ছোট ফাঁকগুলি খুব দ্রুত প্লাগ করবেন। :-)

h (t)

$h(t)$

x

$x$

y

$y$

— কার্ডিনাল

1

Tks! আমি এখানে তাড়াহুড়া করছি। :-)

— জেন

1

মাফ করবেন, আমি কীভাবে আপনি এখানে মুত্তাতিস মুন্ডাডিস পরিচালনা করেন তা আমি সত্যিই দেখতে পাই না।

ফর্মে যাওয়ার আগে যদি আপনি আদর্শটি বিকাশ করেন তবে আপনি পণ্য পেয়েছেন এবং আপনি পণ্যগুলি এবং যোগফলকে পরিবর্তন করতে পারবেন না। এবং আমি সহজভাবে দেখতে পাই না যে কীভাবে একটি সুন্দর এক্সপ্রেশন পাওয়ার জন্য h ফর্মটিতে যাওয়ার পরে আদর্শটি বিকাশ করা যায়। আপনি কি আমাকে কিছুটা এখানে নিয়ে যেতে পারেন? :)

h

$h$

— Alburkerk

23

আমি একটি তৃতীয় পদ্ধতি যুক্ত করব, কেবল বিভিন্নতার জন্য: পিডি কার্নেলগুলি তৈরি করতে পরিচিত সাধারণ পদক্ষেপগুলির ক্রম থেকে কার্নেল তৈরি করা building যাক বোঝাতে নিচে এবং কার্নেলের ডোমেইনের বৈশিষ্ট্য মানচিত্র। $\mathcal X$ $\varphi$

Scalings: তাহলে একটি PD কার্নেল, তাই হয় কোনো ধ্রুবক জন্য । $\kappa$ $\gamma \kappa$ $\gamma > 0$

প্রুফ যদি জন্য বৈশিষ্ট্য মানচিত্র , $\varphi$ $\kappa$ জন্য একটি বৈধ বৈশিষ্ট্য মানচিত্র। $\sqrt\gamma \varphi$ $\gamma \kappa$
যোগফলগুলি: যদি এবং পিডি কার্নেল হয় তবে । $\kappa_1$ $\kappa_2$ $\kappa_1 + \kappa_2$

প্রুফ: পেতে বৈশিষ্ট্যটির মানচিত্রগুলি এবং । $\varphi_1$ $\varphi_2$ $x \mapsto \begin{bmatrix}\varphi_1(x) \\ \varphi_2(x)\end{bmatrix}$
সীমাবদ্ধতা: যদি পিডি কার্নেল হয় এবং সমস্ত জন্য থাকে , তবে পিডি হয়। $\kappa_1, \kappa_2, \dots$ $\kappa(x, y) := \lim_{n \to \infty} \kappa_n(x, y)$ $x, y$ $\kappa$

প্রুফ: প্রতিটি এবং প্রতি আমাদের আছে যে । যেমন সীমা গ্রহণ জন্য একই সম্পত্তি দেয় । $m, n \ge 1$ $\{ (x_i, c_i) \}_{i=1}^m \subseteq \mathcal{X} \times \mathbb R$ $\sum_{i=1}^m c_i \kappa_n(x_i, x_j) c_j \ge 0$ $n \to \infty$ $\kappa$
পণ্যগুলি: যদি এবং পিডি কার্নেল হয় তবে $\kappa_1$ $\kappa_2$ । $g(x, y) = \kappa_1(x, y) \, \kappa_2(x, y)$

প্রুফ: এটি শুর প্রোডাক্টের উপপাদ্য থেকে তাত্ক্ষণিকভাবে অনুসরণ করা হয়েছে , তবে শেলকপফ এবং স্মোলা (2002) নিম্নলিখিত সুন্দর, প্রাথমিক প্রমাণ দেয়। আসুন স্বতন্ত্র হন। এভাবে
$(V_{1}, \dots, V_{m}) \sim N (0, {[κ_{1} (x_{i}, x_{j})]}_{i j}) (W_{1}, \dots, W_{m}) \sim N (0, {[κ_{2} (x_{i}, x_{j})]}_{i j})$ $(V_1, \dots, V_m) \sim \mathcal{N}\left( 0, \left[ \kappa_1(x_i, x_j) \right]_{ij} \right) \\ (W_1, \dots, W_m) \sim \mathcal{N}\left( 0, \left[ \kappa_2(x_i, x_j) \right]_{ij} \right)$ কোভারিয়েন্স ম্যাট্রিক্স অবশ্যই পিএসডি হওয়া উচিত, সুতরাং এর কোভারিয়েন্স ম্যাট্রিক্স বিবেচনাকরে এটি প্রমাণিত হয়। $C o v (V_{i} W_{i}, V_{j} W_{j}) = C o v (V_{i}, V_{j}) C o v (W_{i}, W_{j}) = κ_{1} (x_{i}, x_{j}) κ_{2} (x_{i}, x_{j}) .$ $\mathrm{Cov}(V_i W_i, V_j W_j) = \mathrm{Cov}(V_i, V_j) \,\mathrm{Cov}(W_i, W_j) = \kappa_1(x_i, x_j) \kappa_2(x_i, x_j).$ $(V_1 W_1, \dots, V_n W_n)$
ক্ষমতা: তাহলে একটি PD কার্নেল, তাই হয় কোনো ধনাত্মক পূর্ণসংখ্যা জন্য । $\kappa$ $\kappa^n(x, y) := \kappa(x, y)^n$ $n$

প্রুফ: "পণ্য" সম্পত্তি থেকে তাত্ক্ষণিক।
বহিঃপ্রকাশ: তাহলে একটি PD কার্নেল, তাই হয় । $\kappa$ $e^\kappa(x, y) := \exp(\kappa(x, y))$

$e^\kappa(x, y) = \lim_{N \to \infty} \sum_{n=0}^N \frac{1}{n!} \kappa(x, y)^n$
$\kappa$ $f : \mathcal X \to \mathbb R$ $g(x, y) := f(x) \kappa(x, y) f(y)$

$x \mapsto f(x) \varphi(x)$

এখন, নোট করুন

\begin{aligned} k (x, y) & = \exp (- \frac{1}{2 σ^{2}} ‖ x - y ‖^{2}) \\ = \exp (- \frac{1}{2 σ^{2}} ‖ x ‖^{2}) \exp (\frac{1}{σ^{2}} x^{T} y) \exp (- \frac{1}{2 σ^{2}} ‖ y ‖^{2}) . \end{aligned}

$\begin{align*} k(x, y) &= \exp\left( - \tfrac{1}{2 \sigma^2} \lVert x - y \rVert^2 \right) \\&= \exp\left( - \tfrac{1}{2 \sigma^2} \lVert x \rVert^2 \right) \exp\left( \tfrac{1}{\sigma^2} x^T y \right) \exp\left( - \tfrac{1}{2 \sigma^2} \lVert y \rVert^2 \right) .\end{align*}$

κ (x, y) = x^{T} y

$\kappa(x, y) = x^T y$

\frac{1}{σ^{2}}

$\frac{1}{\sigma^2}$

x \mapsto \exp (- \frac{1}{2 σ^{2}} ‖ x ‖^{2})

$x \mapsto \exp\left( - \tfrac{1}{2 \sigma^2} \lVert x \rVert^2 \right)$

— Dougal
সূত্র