গাউসিয়ান কার্নেলের জন্য বৈশিষ্ট্যযুক্ত মানচিত্র

24

এসভিএম-এ, গাউসিয়ান কার্নেলটি সংজ্ঞায়িত করা হয়েছে: যেখানে । আমি এর সুস্পষ্ট সমীকরণ জানি না । আমি এটি জানতে চাই।

K (x, y) = \exp (- \frac{‖ x - y ‖_{2}^{2}}{2 σ^{2}}) = ϕ (x)^{T} ϕ (y)

$K(x,y)=\exp\left({-\frac{\|x-y\|_2^2}{2\sigma^2}}\right)=\phi(x)^T\phi(y)$

x, y \in R^{n}

$x, y\in \mathbb{R^n}$

ϕ

$\phi$

আমি আরও জানতে চাই যে

\sum_{i} c_{i} ϕ (x_{i}) = ϕ (\sum_{i} c_{i} x_{i})

$\sum_ic_i\phi(x_i)=\phi \left(\sum_ic_ix_i \right)$ যেখানে

c_{i} \in R

$c_i\in \mathbb R$ । আছে। এখন, আমি মনে করি এটি সমান নয়, কারণ কার্নেল ব্যবহার করে এমন পরিস্থিতি পরিচালনা করে যেখানে লিনিয়ার শ্রেণিবদ্ধ কাজ করে না। আমি জানি

ϕ

$\phi$ প্রকল্পগুলি এক্স

সীমাহীন স্থানে। সুতরাং যদি এটি এখনও রৈখিক থেকে যায় তবে এটি কতগুলি মাত্রা তা বিবেচনা করে না কেন, এসভিএম এখনও একটি ভাল শ্রেণিবদ্ধকরণ করতে পারে না।

machine-learning svm kernel-trick

— ভিভিয়ান
সূত্র

কেন এই কার্নেলটি রূপান্তর বোঝায়? বা আপনি সম্পর্কিত বৈশিষ্ট্য স্থান উল্লেখ করছেন?

— প্লাসিডিয়া

হ্যাঁ, ফিচার স্পেস

ϕ (\cdot)

$\phi(\cdot)$ তাই যাতে

ϕ^{T} (x) ϕ (x^{^{'}}) = e x p (- \frac{1}{2 σ^{2}} ‖ x - x^{^{'}} ‖^{2})

$\phi^T(x)\phi(x^{'}) = exp(-\frac{1}{2\sigma^2}\|x-x^{'}\|^2)$

— user27886

20

আপনি এর দর্জি সিরিজ সম্প্রসারণের মাধ্যমে গাউসিয়ান কার্নেলের জন্য এর সুস্পষ্ট সমীকরণ পেতে পারেন । স্বীকৃতিস্বরূপ সরলতার জন্য, : $\phi$ $e^x$ $x\in \mathbb{R}^1$

ϕ (x) = e^{- x^{2} / 2 σ^{2}} [1, \sqrt{\frac{1}{1! σ^{2}}} x, \sqrt{\frac{1}{2! σ^{4}}} x^{2}, \sqrt{\frac{1}{3! σ^{6}}} x^{3}, \dots]^{T}

$\phi(x) = e^{-x^2/2\sigma^2} \Big[ 1, \sqrt{\frac{1}{1!\sigma^2}}x,\sqrt{\frac{1}{2!\sigma^4}}x^2,\sqrt{\frac{1}{3!\sigma^6}}x^3,\ldots\Big]^T$

এনটিইউর চিহ-জেন লিন (বিশেষত স্লাইড ১১ টি) এই স্লাইডগুলিতে এটি আরও বিস্তারিতভাবে আলোচনা করেছেন । নোট করুন যে স্লাইডগুলিতে কার্নেল প্যারামিটার হিসাবে ব্যবহৃত হয়। $\gamma=\frac{1}{2\sigma^2}$

ওপিতে সমীকরণটি কেবল লিনিয়ার কার্নেলের জন্য ধারণ করে।

— মার্ক ক্লেসেন
সূত্র

2

হাই, তবে এই সমীকরণটি কেবলমাত্র একটি মাত্রার জন্য উপযুক্ত।

— ভিভিয়ান

সুতরাং, এখানে, পুনরুত্পাদন কার্নেল হিলবার্ট স্পেসটি স্থান , সঠিক?

ℓ^{2}

$\ell^2$

— The_Anmaly

Laplacian কার্নেলের একটি সুস্পষ্ট প্রতিনিধিত্ব আছে?

— ফেলিক্স ক্রেজোলারা

13

যে কোনও বৈধ পিএসডি কার্নেল একটি বৈশিষ্ট্য মানচিত্র exists যেমন । স্থান এবং এমবেডিং আসলে প্রয়োজন অনন্য হতে হবে, কিন্তু সেখানে একটি গুরুত্বপূর্ণ অনন্য জুড়ি প্রতিলিপি কার্নেল হিলবার্ট স্থান (RKHS) নামে পরিচিত। $k : \mathcal X \times \mathcal X \to \mathbb R$ $\varphi : \mathcal X \to \mathcal H$ $k(x, y) = \langle \varphi(x), \varphi(y) \rangle_{\mathcal H}$ $\mathcal H$ $\varphi$ $(\mathcal H, \varphi)$

আরকেএইচএস দ্বারা আলোচনা করা হয়েছে: স্টেইনওয়ার্ট, হুশ এবং স্কোভেল, গাউসিয়ান আরবিএফ কার্নেলের পুনরুত্পাদন কার্নেল হিলবার্ট স্পেসস, ইনফরমেশন থিওরী 2006 এর আইইইই লেনদেনের একটি স্পষ্ট বিবরণ ( doi , ফ্রি সিটিসিয়ার পিডিএফ ) discussed

এটি কিছুটা জটিল, তবে এটি এতে কে হিসাবে $e_n : \mathbb C \to \mathbb C$

e_{n} (z) := \sqrt{\frac{(2 σ^{2})^{n}}{n!}} z^{n} e^{- σ^{2} z^{2}} .

$e_n(z) := \sqrt{\frac{(2 \sigma^2)^n}{n!}} z^n e^{-\sigma^2 z^2} .$

আসুন হ'ল ননেজেটিভ পূর্ণসংখ্যার সমস্ত টিপলগুলির উপরের ক্রম ; যদি , সম্ভবত , , ইত্যাদি। বোঝাতে তম উপাদান দ্বারা তম tuple । $n : \mathbb{N}_0 \to \mathbb{N}_0^d$ $d$ $d = 3$ $n(0) = (0, 0, 0)$ $n(1) = (0, 0, 1)$ $n(2) = (0, 1, 1)$ $j$ $i$ $n_{ij}$

তারপরে এর ম উপাদানটি হ'ল । সুতরাং অসীম মাত্রিক জটিল ভেক্টরগুলিতে তে ভেক্টরকে মানচিত্র করে । $i$ $\varphi(x)$ $\prod_{j=1}^d e_{n_{ij}}(x_j)$ $\varphi$ $\mathbb R^d$

এটির মূল বিষয় হ'ল আমাদের আরও এই অনন্ত-মাত্রিক জটিল ভেক্টরগুলির একটি বিশেষ উপায়ে সংজ্ঞায়িত করতে হবে; বিশদ জন্য কাগজ দেখুন।

স্টেইনওয়ার্ট এট আল। মধ্যে এম্বেড করে আরও সরল (আমার চিন্তায়) দিন ,, : লক্ষ্য করুন নিজেই থেকে একটি ফাংশন করার । এটি মূলত ডাইমেনশনাল গউশিয়ান এর ঘনত্ব যার সাথে এবং covariance iance ; শুধুমাত্র স্বাভাবিককরণের ধ্রুবকটি আলাদা। সুতরাং যখন আমরা নিতে $L_2(\mathbb R^d)$ $\mathbb R^d \to \mathbb R$

Φ_{σ} (x) = \frac{(2 σ)^{\frac{d}{2}}}{π^{\frac{d}{4}}} e^{- 2 σ^{2} ‖ x - \cdot ‖_{2}^{2}} .

$\Phi_\sigma(x) = \frac{(2 \sigma)^{\frac{d}{2}}}{\pi^{\frac{d}{4}}} e^{- 2 \sigma^2 \lVert x - \cdot \rVert_2^2} .$

Φ_{σ} (x)

$\Phi_\sigma(x)$

R^{d}

$\mathbb R^d$

R

$\mathbb R$

d

$d$

x

$x$

\frac{1}{4 σ^{2}} I

$\frac{1}{4 \sigma^2} I$

⟨ Φ (x), Φ (y) ⟩_{L_{2}} = \int [Φ (x)] (t) [Φ (y)] (t) d t,

$\langle \Phi(x), \Phi(y) \rangle_{L_2} = \int [\Phi(x)](t) \; [\Phi(y)](t) \,\mathrm d t ,$ আমরা গাউসিয়ান ডেনসিটি ফাংশনগুলি গ্রহণ করছি , যা নিজেই গাউসীয় ঘনত্বের একটি নির্দিষ্ট সময়। আপনি যখন যে অবিচ্ছেদ্য কি , তারপর, ধ্রুবক আউট শেষ পর্যন্ত ঠিক হচ্ছে বৃক্ষের পতন যে ।

t

$t$

k (x, y)

$k(x, y)$

এগুলি কেবলমাত্র এমবেডিংগুলিই কাজ করে না।

আরেকটি ফুরিয়ার ট্রান্সফর্মের উপর ভিত্তি করে তৈরি করা হয়েছে, যা রহিমি এবং রেচেটের উদযাপন করা কাগজ ( বৃহত্তর স্কেল কার্নেল মেশিনগুলির জন্য র্যান্ডম ফিচারস , এনআইপিএস 2007) দুর্দান্ত প্রভাবের সাথে সংলগ্ন।

আপনি টেলর সিরিজটি ব্যবহার করে এটিও করতে পারেন: কার্যকরভাবে কোটার, কেশেট এবং স্রেব্রোর অসীম সংস্করণ, গাউসিয়ান কার্নেলের সুস্পষ্ট অনুমান , আরএক্সিভি: 1109.4603 ।

— Dougal
সূত্র

1

ডগলাস জের এখানে একটি আকর্ষণীয় থ্রেডে এমবেডিং "আরও সোজা" এর 1 ডি সংস্করণ দিয়েছে ।

— ডুগল

এখানে আপনি আরও একটি 'স্বজ্ঞাত' ব্যাখ্যা পেয়ে গেছেন যে hi প্রশিক্ষণের নমুনার আকারের সমান মাত্রার আকারের মানচিত্র করতে পারে এমনকি এমনকী অসীম প্রশিক্ষণের নমুনার জন্যও : stats.stackexchange.com/questions/80398/…

Φ

$\Phi$

6

এটা আমার মনে হচ্ছে যে আপনার দ্বিতীয় সমীকরণ একমাত্র সত্য হতে হবে যদি একটি হল রৈখিক ম্যাপিং (এবং অত: পর একটি রৈখিক কার্নেল যায়)। গাউসিয়ান কার্নেলটি অ-রৈখিক হওয়ায় সমতাটি ধরে রাখতে পারে না শূন্যের দিকে চলে যাওয়ার কারণে সীমা )। $\phi$ $K$ $\sigma$

— ডিকরান মার্সুপিয়াল
সূত্র

আপনার উত্তর করার জন্য আপনাকে ধন্যবাদ. যখন , তখন গাউসিয়ান কার্নেল প্রকল্পগুলির মাত্রা বৃদ্ধি পেতে পারে। এবং আপনার অনুপ্রেরণায়, এখন আমি মনে করি এটি সমান নয়। কারণ, কার্নেল ব্যবহার করে এমন পরিস্থিতি পরিচালনা করা হয় যে লিনিয়ার শ্রেণিবদ্ধকরণ কাজ করে না।

σ \to 0

$\sigma\rightarrow 0$

— ভিভিয়ান