পিসিএ এবং সাধারণভাবে গাউসিয়ান কর্নেলটিকে এত যাদু করে তোলে কী?

67

আমি গাউসিয়ান এবং বহুবর্ষীয় কার্নেলগুলির সাথে কার্নেল পিসিএ ( 1 , 2 , 3 ) সম্পর্কে পড়ছিলাম ।

গাউসিয়ান কার্নেল আপাতদৃষ্টিতে যে কোনও প্রকারের ননলাইনার তথ্য ব্যতিক্রমীভাবে ভালভাবে আলাদা করতে পারে? দয়া করে একটি স্বজ্ঞাত বিশ্লেষণ করুন, পাশাপাশি যদি সম্ভব হয় তবে একটি গাণিতিকভাবে জড়িত।
অন্যান্য কার্নেলের কাছে গাউসিয়ান কার্নেলের (আদর্শ ) সম্পত্তি কী ? নিউরাল নেটওয়ার্কগুলি, এসভিএম এবং আরবিএফ নেটওয়ার্কগুলি মাথায় আসে। $\sigma$
আমরা কেন কাউকে পিডিএফের মাধ্যমে আদর্শটি রাখি না এবং একই ফলাফল আশা করি না?

— সাইমন কুয়াং
সূত্র

1

+1 টি। আমি প্রায় অবহেলা করেছি এমন দুর্দান্ত প্রশ্ন, কারণ এতে কোনও [পিসিএ] ট্যাগ ছিল না! এখনই সম্পাদিত।

— অ্যামিবা

4

ভাল প্রশ্ন. আমি ভাবছি উত্তরটি "ওহ হ্যাঁ, অন্য অনেক কার্নেলগুলিও ঠিকঠাক কাজ করবে তবে গাউসিয়ান সুপরিচিত / সহজ পরিচিত"

— স্টম্পি জো পিট

@ স্টম্পি জোপিট আমার মনে হয় না যে এগুলি তুচ্ছ উত্তর। অন্যান্য বিতরণের লোকেশন প্যারামিটারটির অর্থ কী? অন্যান্য বিতরণের স্কেল পরামিতিও এর বৈকল্পিক? অন্য কোন বিতরণ এত সর্বজনজ্ঞ স্বজ্ঞাত? নিশ্চয় না কোশি বন্টন - এটা এমনকি না আছে একটি গড়!

— শ্যাডট্যালকার

3

@ এসএসডেকট্রোল ভুল প্রমাণিত হওয়ায় আমি খুশি; আমি প্রশ্ন এবং উত্তরগুলির মধ্যে উভয়কেই উত্সাহিত করেছি - আমার মনে হয় আমার বিরক্তিকর, হো-হম, ডিফ্লেশনারি উত্তরটি একটি ভাল ডিফল্ট করে তোলে যা একটি বাস্তব উত্তর অস্বীকার করা উচিত।

— স্ট্যাম্পি জো পিট

আমি মনে করি এটি এতে সহায়তা করতে পারে: stats.stackexchange.com/questions/168051/…

54

আমি মনে করি যাদুটির চাবিটি মসৃণতা। আমার দীর্ঘ উত্তর যা অনুসরণ করবে কেবল তা এই মসৃণতা সম্পর্কে ব্যাখ্যা করা। এটি আপনার প্রত্যাশিত উত্তর হতে পারে বা নাও হতে পারে।

সংক্ষিপ্ত উত্তর:

একটি ইতিবাচক নির্দিষ্ট কার্নেল দেওয়া , সেখানে ফাংশন এর সংশ্লিষ্ট স্থান উপস্থিত রয়েছে । ফাংশনগুলির বৈশিষ্ট্যগুলি কার্নেল দ্বারা নির্ধারিত হয়। দেখা যাচ্ছে যে যদি কোনও গাউসিয়ান কার্নেল হয় তবে in এর ফাংশনগুলি খুব মসৃণ। সুতরাং, একটি শিখানো ফাংশন (যেমন, একটি রিগ্রেশন ফাংশন, আরকেএইচএসে প্রধান উপাদান কার্নেল পিসিএ হিসাবে) খুব মসৃণ। সাধারণত মোকাবেলা করতে চাই এমন বেশিরভাগ ডেটাসেটের জন্য সাধারণত মসৃণতা অনুমান করা বোধগম্য। এটি ব্যাখ্যা করে যে কোনও গাউসিয়ান কার্নেল যাদুকরী। $k$ $\mathcal{H}$ $k$ $\mathcal{H}$

গাউসিয়ান কার্নেল কেন মসৃণ ফাংশন দেয় তার দীর্ঘ উত্তর:

একটি ধনাত্মক সুনির্দিষ্ট কার্নেল সংজ্ঞায়িত করে (অন্তর্নিহিতভাবে) একটি অভ্যন্তরীণ পণ্য বৈশিষ্ট্য ভেক্টর জন্য থেকে আপনার ইনপুট নির্মাণ , এবং একটি হিলবার্ট স্থান। স্বরলিপিটি মানে এবং মধ্যে একটি অভ্যন্তরীণ পণ্য । আমাদের উদ্দেশ্যে, আপনি কল্পনা করতে পারেন the সাধারণ ইউক্যালিডীয় স্থান হতে পারে তবে সম্ভবত অসীম সংখ্যার মাত্রা রয়েছে। মতো সাধারণ ভেক্টরটি অনন্তকাল দীর্ঘ বলে মনে করুন $k(x,y)$ $k(x,y)=\left\langle \phi(x),\phi(y)\right\rangle _{\mathcal{H}}$ $\phi(x)$ $x$ $\mathcal{H}$ $\left\langle \phi(x),\phi(y)\right\rangle$ $\phi(x)$ $\phi(y)$ $\mathcal{H}$ $\phi(x)=\left(\phi_{1}(x),\phi_{2}(x),\ldots\right)$ । কার্নেল পদ্ধতিতে, functions এমন একটি ফাংশনের স্থান যা পুনরায় উত্পাদন কর্নেল হিলবার্ট স্পেস (আরকেএইচএস) নামে পরিচিত। এই স্পেসটির special `পুনরুত্পাদন সম্পত্তি '' নামে একটি বিশেষ সম্পত্তি রয়েছে যা । এটি বলে যে মূল্যায়ন করতে , প্রথমে আপনি জন্য একটি বৈশিষ্ট্য ভেক্টর (অসীম দীর্ঘ হিসাবে উল্লিখিত) তৈরি করেন । তারপরে আপনি for (অসীম দীর্ঘ) দ্বারা চিহ্নিত জন্য আপনার বৈশিষ্ট্য ভেক্টরটি নির্মাণ করেন । এর মূল্যায়ন অভ্যন্তরীণ পণ্য গ্রহণ করে দেওয়া হয়। স্পষ্টতই, অনুশীলনে, কেউ অসীম দীর্ঘ ভেক্টর তৈরি করবে না। যেহেতু আমরা কেবল এর অভ্যন্তরীণ পণ্য সম্পর্কে যত্ন নিই, আমরা কেবল সরাসরি কার্নেল মূল্যায়ন করি $\mathcal{H}$ $f(x)=\left\langle f,\phi(x)\right\rangle$ $f(x)$ $f$ $x$ $\phi(x)$ $f(x)$ $k$ । সুস্পষ্ট বৈশিষ্ট্যগুলির গণনা বাইপাস করা এবং এর অভ্যন্তরীণ পণ্যটিকে সরাসরি গণনা করা "কার্নেল ট্রিক" হিসাবে পরিচিত।

বৈশিষ্ট্যগুলি কী কী?

আমি বৈশিষ্ট্যগুলি kept সেগুলি নির্দিষ্ট করে না রেখে বলেছি । একটি কার্নেল , বৈশিষ্ট্যগুলি অনন্য নয়। তবে অনন্যভাবে নির্ধারিত। ফাংশনগুলির স্বচ্ছতা ব্যাখ্যা করার জন্য আসুন আমরা ফুরিয়ার বৈশিষ্ট্যগুলি বিবেচনা করি। একটি অনুবাদ অদলীয় কার্নেল ধরুন , যার অর্থ অর্থাৎ কার্নেলটি কেবল দুটি আর্গুমেন্টের পার্থক্যের উপর নির্ভর করে। গাউসিয়ান কার্নেলের এই সম্পত্তি রয়েছে। যাক বোঝাতে ফুরিয়ার এর রুপান্তর । $\phi_{1}(x),\phi_{2}(x),\ldots$ $k$ $\left\langle \phi(x),\phi(y)\right\rangle$ $k$ $k(x,y)=k(x-y)$ $\hat{k}$ $k$

এই ফুরিয়ার দৃষ্টিভঙ্গিতে, এর বৈশিষ্ট্যগুলি দ্বারা দেওয়া হয়েছে । এই বলে আসে যে, তোমাদের ফাংশনের বৈশিষ্ট্য উপস্থাপনা তার ফুরিয়ার দেওয়া হয় Fourer দ্বারা বিভক্ত রুপান্তর কার্নেলের রুপান্তর । বৈশিষ্ট্য উপস্থাপনা , যা হয় যেখানে । যে কেউ পুনরুত্পাদন সম্পত্তি হ'ল (পাঠকদের জন্য অনুশীলন) ধরে রাখতে পারে। $f$ $f:=\left(\cdots,\hat{f}_{l}/\sqrt{\hat{k}_{l}},\cdots\right)$ $f$ $k$ $x$ $\phi(x)$ $\left(\cdots,\sqrt{\hat{k}_{l}}\exp\left(-ilx\right),\cdots\right)$ $i=\sqrt{-1}$

যে কোনও হিলবার্ট স্পেসের মতো, স্থানের সাথে যুক্ত সমস্ত উপাদানগুলির একটি সীমাবদ্ধ আদর্শ থাকতে হবে। আসুন আমরা একটি of এর বর্গাকার আদর্শটি বিবেচনা করি : $f\in\mathcal{H}$

$\|f\|_{\mathcal{H}}^{2}=\left\langle f,f\right\rangle _{\mathcal{H}}=\sum_{l=-\infty}^{\infty}\frac{\hat{f}_{l}^{2}}{\hat{k}_{l}}.$

সুতরাং যখন এই আদর্শ সসীম অর্থাত হয়, স্থান জন্যে? এটা তোলে যখন যতো তাড়াতাড়ি ড্রপ যাতে সমষ্টি এগোয়। এখন, গাউসিয়ান কার্নেল এর ফুরিয়ার রূপান্তর $f$ $\hat{f}_{l}^{2}$ $\hat{k}_{l}$ $k(x,y)=\exp\left(-\frac{\|x-y\|^{2}}{\sigma^{2}}\right)$

অন্য গাউসিয়ান যেখানে where সাথে দ্রুত গতিতে কমতে পারে । সুতরাং যদি এই স্থানটিতে হয় তবে এর ফুরিয়ার রূপান্তরটি চেয়ে আরও দ্রুত গতিতে হবে । এর অর্থ হ'ল ফাংশনটিতে উচ্চ ওজন সহ কার্যকরভাবে কয়েকটি কম ফ্রিকোয়েন্সি উপাদান থাকবে। শুধুমাত্র কম ফ্রিকোয়েন্সি উপাদান সহ একটি সংকেত `` উইগল '' করে না। এটি ব্যাখ্যা করে যে কোনও গাউসিয়ান কার্নেল আপনাকে একটি মসৃণ ফাংশন দেয়। $\hat{k}_{l}$ $l$ $f$ $k$

অতিরিক্ত: একটি ল্যাপ্লেস কার্নেল সম্পর্কে কী?

যদি আপনি একটি ল্যাপ্লেস কার্নেল , তবে এর ফুরিয়ার রূপান্তরটি একটি কাচির বিতরণ যা ক্ষতিকারক চেয়ে অনেক ধীর গতিতে নামবে is গাউসিয়ান কার্নেলের ফুরিয়ার ট্রান্সফর্মে ফাংশন। এর অর্থ একটি ফাংশন আরও উচ্চ-ফ্রিকোয়েন্সি উপাদান থাকবে। ফলস্বরূপ, একটি ল্যাপ্লেস কার্নেলের দ্বারা প্রদত্ত ফাংশনটি গাউসিয়ান কার্নেলের দ্বারা প্রদত্ত than। রাউগার ''। $k(x,y)=\exp\left(-\frac{\|x-y\|}{\sigma}\right)$ $f$

গাউসিয়ান কার্নেলের একটি সম্পত্তি যা অন্যান্য কার্নেলের কাছে নেই?

গাউসিয়ান প্রস্থ নির্বিশেষে, একটি সম্পত্তি হ'ল গাউসিয়ান কার্নেলটি `` সর্বজনীন ''। স্বজ্ঞাতভাবে, এর অর্থ, একটি সীমানা অবিচ্ছিন্ন ফাংশন (নির্বিচারে) দেওয়া আছে, সেখানে একটি ফাংশন উপস্থিত রয়েছে যা এবং নিকটবর্তী ( of অর্থে স্বেচ্ছাচারিত নির্ভুলতা প্রয়োজন। মূলত, এর অর্থ গাউসিয়ান কর্নেল এমন ফাংশন দেয় যা আনুমানিকভাবে "সুন্দর" (সীমানাযুক্ত, ধারাবাহিক) ফাংশনগুলি আনতে পারে। গাউসিয়ান এবং ল্যাপ্লেস কার্নেলগুলি সর্বজনীন। একটি বহুবর্ষীয় কার্নেল, উদাহরণস্বরূপ, এটি নয়। $g$ $f\in\mathcal{H}$ $f$ $g$ $\|\cdot\|_{\infty})$

আমরা কেন কাউকে পিডিএফের মাধ্যমে আদর্শটি রাখি না এবং একই ফলাফল আশা করি না?

সাধারণভাবে, আপনি যতদিন ফলে যেমন পছন্দ কিছু করতে পারেন ইতিবাচক নির্দিষ্ট হয়। ইতিবাচক সুনির্দিষ্টতাটিকে all , এবং সমস্ত (প্রাকৃতিক সংখ্যার সেট) এর জন্য সমস্ত । যদি ইতিবাচক সুনির্দিষ্ট না হয়, তবে এটি কোনও অভ্যন্তরীণ পণ্যের জায়গার সাথে মিলবে না। সমস্ত বিশ্লেষণ ভেঙে গেছে কারণ আপনি যেমন উল্লেখ করেছেন তেমন functions functions এর কার্যকারিতা নেই । তবুও, এটি অনুগতভাবে কাজ করতে পারে। উদাহরণস্বরূপ, হাইপারবোলিক ট্যানজেন্ট কার্নেল ( এই পৃষ্ঠায় number নম্বর দেখুন ) $k$ $\sum_{i=1}^{N}\sum_{j=1}^{N}k(x_{i},x_{j})\alpha_{i}\alpha_{j}>0$ $\alpha_{i}\in\mathbb{R}$ $\{x_{i}\}_{i=1}^{N}$ $N\in\mathbb{N}$ $k$ $\mathcal{H}$

$k(x,y) = tanh(\alpha x^\top y + c)$

যা স্নায়ুর নেটওয়ার্ক সিগমা অ্যাক্টিভেশন ইউনিট অনুকরণ করার দেয়ার উদ্দেশ্যে করা হচ্ছে, শুধুমাত্র এর কিছু সেটিংস জন্য ইতিবাচক নির্দিষ্ট হয় এবং । তবুও জানা গেছে যে এটি অনুশীলনে কাজ করে। $\alpha$ $c$

অন্যান্য ধরণের বৈশিষ্ট্য সম্পর্কে কী?

আমি বলেছিলাম বৈশিষ্ট্যগুলি অনন্য নয়। গাউসিয়ান কার্নেলের জন্য, বৈশিষ্ট্যগুলির একটি আরও সেট মার্সার সম্প্রসারণ দ্বারা দেওয়া হয়েছে । বিখ্যাত ধারা 4.3.1 দেখুন গসিয়ান প্রক্রিয়া বই । এই ক্ষেত্রে, বৈশিষ্ট্যগুলি হ্যার্মাইট পলিনোমিয়ালগুলি এ মূল্যায়ন করা হয় । $\phi(x)$ $x$

— wij
সূত্র

2

আমি এখনও এই

— অনুগ্রহটি

শেষ পর্যন্ত এই প্রশ্নের একটি দুর্দান্ত উত্তর পেল! (+1) আপনি এখানে ব্যবহার করেছেন এমন স্বরলিপিটি সম্পর্কে আমি সংক্ষেপে বিভ্রান্ত হয়েছিলাম: - এবং নিম্নলিখিত অনুচ্ছেদে। মূল স্পেস এবং ভেক্টরের উপর অভিনয় করে একটি ফাংশন আলাদা করে আরও স্পষ্ট স্বরলিপি পরিষ্কার করা যাবে না? , যেখানে কার্যকরী? যাইহোক, কোন ক্রিয়াকলাপগুলি "পুনরুত্পাদন সম্পত্তি" দ্বারা "পুনরুত্পাদন" হওয়ার গ্যারান্টিযুক্ত? সকল? একটানা? মসৃণ?

f (x) = ⟨ f, ϕ (x) ⟩

$f(x)=\left\langle f,\phi(x)\right\rangle$

f (x) = ⟨ Ψ (f), ϕ (x) ⟩

$f(x)=\left\langle \Psi(f),\phi(x)\right\rangle$

f (\cdot)

$f(\cdot)$

Ψ (f) \in H

$\Psi(f) \in \mathcal H$

Ψ (\cdot)

$\Psi(\cdot)$

— অ্যামিবা বলেছেন মনিকা

@ অ্যামিবা সাহিত্যে, লোকেরা এবং উপস্থাপনাটি নিজেই আলাদা করে না। প্রয়োজন হলে, কখনও কখনও তারা ব্যবহার উপস্থাপনা এবং জন্য একটি ফাংশন জন্য। স্থান All space এর সমস্ত ফাংশনগুলির পুনরুত্পাদনকারী সম্পত্তি রয়েছে। মসৃণ বা না, এটি কার্নেল দ্বারা নির্দিষ্ট করা হয়। :)

f

$f$

f

$f$

f (\cdot)

$f(\cdot)$

H

$\mathcal{H}$

— উইজ

পোস্ট আপডেট হয়েছে। তান কার্নেলের সাথে আরও কিছু যুক্ত করা হয়েছে।

— উইজেড

হুমম, আমার মনে হয় আমি এখানে বিভ্রান্ত। আমরা একটি ভেক্টর স্পেস start দিয়ে শুরু করি , যেখানে ডেটা পয়েন্ট লাইভ করে। তারপরে আমরা একটি ধনাত্মক সুনির্দিষ্ট কার্নেল । তারপরে আমরা দাবি করি যে থিওরেম 1 টি ধারণ করেছে: কিছু হিলবার্ট স্পেস- , যেমন , যেখানে ডট পণ্য হিসাবে উপলব্ধি করা যেতে পারে । ঠিক আছে. এবং এখন আপনি বলছেন যে function অভিনয় করে যে কোনও ফাংশন তার প্রতিনিধিত্বের স্কেলার পণ্য হিসাবে উপলব্ধ করা যেতে পারে

X

$\mathcal X$

x

$x$

k (\cdot, \cdot) : X \times X \to R

$k(\cdot, \cdot): \mathcal X \times \mathcal X \to \mathbb R$

k

$k$

H

$\mathcal H$

k (x, y) = ⟨ ϕ (x), ϕ (y) ⟩

$k(x,y) = \langle \phi(x), \phi(y)\rangle$

ϕ : X \to H

$\phi:\mathcal X \to \mathcal H$

f (x)

$f(x)$

X

$\mathcal X$

f \in H

$f\in \mathcal H$ সঙ্গে ? এটা কী ঠিক?

ϕ (x)

$\phi(x)$

— অ্যামিবা বলেছেন 21

18

আমি এই প্রশ্নের উত্তর দেওয়ার জন্য যথাসাধ্য চেষ্টা করব না কারণ আমি এই বিষয়ে বিশেষজ্ঞ (একেবারে বিপরীত), তবে ক্ষেত্র এবং বিষয় সম্পর্কে আমি আগ্রহী, কারণ এটি একটি ভাল শিক্ষাগত অভিজ্ঞতা হতে পারে এমন একটি ধারণার সাথে মিলিত হয়েছে । যাইহোক, এই বিষয়টিতে আমার সংক্ষিপ্ত অপেশাদার গবেষণার ফলাফল এখানে।

টিএল; ডিআর : আমি এই প্রশ্নটির সংক্ষিপ্ত উত্তর হিসাবে গবেষণা কাগজ "নিয়মিতকরণ অপারেটর এবং সমর্থন ভেক্টর কার্নেলের মধ্যে সংযোগ" থেকে নিচের প্যাসেজটি বিবেচনা করব :

গাউসিয়ান কার্নেলগুলি সাধারণ মসৃণতা অনুমানের অধীনে ভাল পারফরম্যান্সের ঝোঁক দেয় এবং বিশেষত যদি ডেটা সম্পর্কে অতিরিক্ত জ্ঞান না পাওয়া যায় তবে তা বিবেচনা করা উচিত।

এখন, একটি বিশদ উত্তর (আমার বোধগম্যতার সেরা উত্তর ; গণিতের বিশদগুলির জন্য, দয়া করে উল্লেখগুলি ব্যবহার করুন)।

যেমনটি আমরা জানি, মূল উপাদানগুলির বিশ্লেষণ (পিসিএ) একাই এবং পরবর্তী তথ্যের শ্রেণিবিন্যাসের জন্য মাত্রিকতা হ্রাসের জন্য অত্যন্ত জনপ্রিয় পদ্ধতি : http://www.visiondummy.com/2014/05/feature-extration- using-pca । যাইহোক, পরিস্থিতিতে যখন ডেটা অ-রৈখিক নির্ভরতা বহন করে (অন্য কথায়, রৈখিকভাবে অবিচ্ছেদ্য ), traditionalতিহ্যবাহী পিসিএ প্রযোজ্য নয় (ভাল সম্পাদন করে না)। এই ক্ষেত্রে, অন্যান্য পদ্ধতির ব্যবহার করা যেতে পারে, এবং অ-লিনিয়ার পিসিএ তাদের মধ্যে একটি।

পদ্ধতিগুলি, যেখানে পিসিএ কর্নেল ফাংশন ব্যবহারের উপর ভিত্তি করে সাধারণত একটি ছাতা শব্দটি "কার্নেল পিসিএ" ( কেপিসিএ ) ব্যবহার করে উল্লেখ করা হয় । ব্যবহার গসিয়ান রশ্মীয়-ভিত্তিতে ফাংশন (RBF) কার্নেল সম্ভবত সবচেয়ে জনপ্রিয় তারতম্য আছে। এই পদ্ধতির একাধিক উত্সে বিশদে বর্ণনা করা হয়েছে, তবে আমি এই ব্লগ পোস্টে সেবাস্তিয়ান রাসচকার একটি দুর্দান্ত ব্যাখ্যা পছন্দ করি । তবে গাউসিয়ান আরবিএফ ব্যতীত কার্নেল ফাংশন ব্যবহারের সম্ভাবনার কথা উল্লেখ করার পরে পোস্টটি জনপ্রিয়তার কারণে পরবর্তীকালের দিকে মনোনিবেশ করে। এই দুর্দান্ত ব্লগ পোস্টে কার্নেলের আনুমানিকতা এবং কার্নেল ট্রিকের পরিচয় দেওয়া , পিসিএর জন্য গাউসিয়ান কার্নেলের জনপ্রিয়তার আরও একটি সম্ভাব্য কারণ উল্লেখ করেছে: অসীম মাত্রা।

কোওরার বিভিন্ন উত্তরে অতিরিক্ত অন্তর্দৃষ্টি পাওয়া যাবে। বিশেষত, এই চমত্কার আলোচনাটি পড়ার ফলে গাউসীয় কার্নেলের জনপ্রিয়তার সম্ভাব্য কারণগুলি সম্পর্কে কয়েকটি বিষয় নিম্নরূপ প্রকাশিত হয়েছে।

গাউসিয়ান কার্নেলগুলি সর্বজনীন :

গাউসিয়ান কার্নেলগুলি সার্বজনীন কার্নেলগুলি যেমন যথাযথ নিয়ন্ত্রণের সাথে তাদের ব্যবহার বিশ্বব্যাপী অনুকূল ভবিষ্যদ্বাণীকে গ্যারান্টি দেয় যা শ্রেণিবদ্ধের অনুমান এবং আনুমানিক ত্রুটি উভয়ই হ্রাস করে।

গাউসিয়ান কার্নেলগুলি বিজ্ঞপ্তিযুক্ত (যা উপরে বর্ণিত অসীম মাত্রার দিকে পরিচালিত করে?)
গাউসিয়ান কার্নেলগুলি "অত্যন্ত পৃথক পৃথক অঞ্চল" উপস্থাপন করতে পারে
উপরের মূল উপসংহারকে সমর্থন করে নিম্নলিখিত বিষয়টি লেখকের উদ্ধৃতি দিয়ে আরও ভালভাবে সরবরাহ করা হয়েছে:

গাউসিয়ান আরবিএফ কার্নেলটি খুব জনপ্রিয় এবং বিশেষত ডেটা এবং ডোমেন সম্পর্কে বিশেষজ্ঞের জ্ঞানের অভাবে একটি ভাল ডিফল্ট কার্নেল তৈরি করে কারণ এটি একাধিকভাবে বহুপদী এবং লিনিয়ার কার্নেলটি উপবিষ্ট করে। লিনিয়ার কার্নেলস এবং পলিনোমিয়াল কার্নেলগুলি গাউসিয়ান আরবিএফ কার্নেলের একটি বিশেষ কেস। গাউসিয়ান আরবিএফ কার্নেলগুলি নন-প্যারামেট্রিক মডেল, যার মূল অর্থ মডেলটির জটিলতা সম্ভাব্য অসীম কারণ বিশ্লেষণমূলক কার্য সংখ্যা অসীম।

গাউসিয়ান কার্নেলগুলি সর্বোত্তম ( মসৃণতার উপর , এখানে আরও পড়ুন - একই লেখক):

গাউসিয়ান কার্নেল কেবল একটি ব্যান্ড পাস ফিল্টার; এটি সবচেয়ে মসৃণ সমাধান নির্বাচন করে। [...] যখন উচ্চতর অর্ডার ডেরিভেটিভসের অসীম যোগফল দ্রুততম রূপান্তর করে - তখন কোনও গাউসিয়ান কার্নেল সবচেয়ে ভাল কাজ করে - এবং এটি স্মুটেস্ট সমাধানগুলির জন্য ঘটে।

অবশেষে, এই সুন্দর উত্তর থেকে অতিরিক্ত পয়েন্ট :

গাউসিয়ান কার্নেলগুলি অসীম জটিল মডেলগুলিকে সমর্থন করে
গাউসিয়ান কার্নেলগুলি আরও নমনীয়

নোট:

গাউসিয়ান কার্নেলটি সর্বোত্তম পছন্দ হওয়া সম্পর্কে উপরোক্ত রেফারেন্সড পয়েন্টটি বিশেষত যখন ডেটা সম্পর্কে কোনও পূর্ববর্তী জ্ঞান না থাকে তখন এই সিভি উত্তরের নিম্নলিখিত বাক্য দ্বারা সমর্থিত :

বিশেষজ্ঞের জ্ঞানের অভাবে, র‌্যাডিয়াল বেসিস ফাংশন কার্নেলটি একটি ভাল ডিফল্ট কার্নেল তৈরি করে (একবার এটি প্রতিষ্ঠিত হয়ে গেলে এটি একটি লিনিয়ার মডেলের প্রয়োজনে সমস্যা হয়)।

গাউসিয়ান আরবিএফ কার্নেল এবং স্ট্যান্ডার্ড গাউসিয়ান কার্নেলের মধ্যে অপ্রয়োজনীয় পার্থক্য সম্পর্কে আগ্রহীদের জন্য, এই উত্তরটি আগ্রহী হতে পারে: https://stats.stackexchange.com/a/79193/31372 ।

তাদের জন্য, আনন্দ বা ব্যবসায়ের জন্য কেপিসিএ বাস্তবায়নে আগ্রহী , এই দুর্দান্ত ব্লগ পোস্টটি সহায়ক হতে পারে। এটি অ্যাকর্ড.নেটের অন্যতম লেখক (স্রষ্টা?) লিখেছেন - পরিসংখ্যান বিশ্লেষণ, মেশিন লার্নিং, সিগন্যাল প্রসেসিং এবং আরও অনেক কিছুর জন্য অত্যন্ত আকর্ষণীয়। নেট ওপেন সোর্স কাঠামো।

— আলেকসান্দার ব্লেক
সূত্র

5

আমি এই উত্তরটি রচনা করার প্রচেষ্টাটির প্রশংসা করি এবং তাদের প্রশংসা করি, তবে একই সাথে এটি অবশ্যই বলতে হবে যে এটি প্রচুর উত্স থেকে উদ্ধৃত হয়েছে যা খুব প্রামাণ্য নয় এবং এটি কেবল এই ধরণের সাধারণ হ্যান্ড-ওয়েভের ব্যাখ্যা প্রদান করে যা সঠিক হতে পারে তবে সম্ভবত সম্পূর্ণ মিথ্যা। সুতরাং আরবিএফ কার্নেলটি একটি আইসোট্রপিক স্টেশনারি কার্নেল যা অসীম-মাত্রিক পুনরুত্পাদনকারী হিলবার্ট স্থান রয়েছে। ভাল! এই বৈশিষ্ট্যগুলির সাথে কি অন্য কার্নেল রয়েছে? যদি তা হয় তবে আরবিএফ কেন তাদের সবার চেয়ে ভাল হবে? আসলে, আরবিএফ এই জাতীয় প্রতিযোগীদের ছাড়িয়ে যায় এমন দাবিতে কি কোনও অভিজ্ঞতামূলক সমর্থন রয়েছে?

— অ্যামিবা বলেছেন মনিকাকে

@ আমেবা: সদয় শব্দগুলির জন্য আপনাকে ধন্যবাদ আমি যে উত্সগুলি ব্যবহার করেছি সে সম্পর্কে, আপনি আংশিকভাবে সঠিক it's এটি একটি মিশ্রণ এবং কিছু উত্স কেবলমাত্র মতামত। তবে কিছু উত্স (যেমন, ব্লগ পোস্টগুলি) নিজেরাই শক্ত কাগজপত্র উদ্ধৃত করে। এই মুহুর্তে, আমি ব্যাখ্যাটির কঠোরতার চেয়ে ব্যাখ্যাটির গুণমান দ্বারা বেশি আকৃষ্ট হয়েছি। আপনার প্রশ্ন যতদূর যায়, আমি পরে তাদের সম্বোধনের প্রস্তুতি নিচ্ছি। আমার আরও কিছু তত্ত্ব পড়তে হবে। আমি ইতিমধ্যে অভিজ্ঞতামূলক সহায়তার সাথে উত্সগুলি সংকলন করেছি, তবে তাদের পদ্ধতিগতকরণের জন্য আরও সময় প্রয়োজন (এবং কিছুটা ঘুম, :))।

— আলেকসান্ডার ব্লেক

1

আমার অনুভূতি আছে যে সাধারণ অনুমানের অধীনে ভাল পারফরম্যান্স সম্পর্কে আপনার প্রথম পয়েন্টে গাউসিয়ান সত্যিকারের প্রতিসম

— বন্টনগুলির

2

এছাড়াও @ আলেকসান্দ্রব্লেখ এটি একটি দুর্দান্ত সংকলন। লোকেরা

— কোওরাকে ছড়িয়ে দিয়েছে তবে

@ এসএসডেকট্রোল: সদয় শব্দগুলির জন্য আপনাকে ধন্যবাদ। খুশি যে আমরা বিষয়টি নিয়ে একই পৃষ্ঠায় রয়েছি। অ্যামিবার মন্তব্যটি সম্বোধন করার জন্য আমার কাছে কিছু অতিরিক্ত তথ্য রয়েছে, তাই আগ্রহী হলে এই স্থানটি দেখুন।

— আলেকসান্দ্র ব্লেক

8

আমাকে আমার দুটি সেন্ট করা যাক।

গাউসিয়ান কার্নেলগুলি সম্পর্কে আমি যেভাবে ভাবি সেগুলি কোনও দিক থেকে নিকটতম-প্রতিবেশী শ্রেণিবদ্ধী। গাউসিয়ান কার্নেল যা করে তা হ'ল এটি ডেটাসেটের অন্যান্য পয়েন্টগুলির দূরত্ব সহ প্রতিটি পয়েন্টকে উপস্থাপন করে। এখন রৈখিক বা বহুপদী সীমানা সহ শ্রেণিবদ্ধকারীদের কথা চিন্তা করুন, সীমানা নির্দিষ্ট আকারগুলিতে সীমাবদ্ধ। তবে, আপনি যখন নিকটতম প্রতিবেশীর দিকে তাকান, সীমাটি কার্যত কোনও আকার নিতে পারে। এই কারণেই আমরা কেন গাউসীয় কার্নেলকে নন-প্যারাম্যাট্রিক হিসাবে ভাবি, অর্থাত্ ডেটার উপর নির্ভর করে সীমানা সামঞ্জস্য করে। এটিকে ভাববার আরেকটি উপায় হ'ল গাউসীয় কর্নেলটি কোনও অঞ্চলের স্থানীয় আকারের সাথে সামঞ্জস্য হয় similar স্থানীয় অঞ্চলের অন্যান্য পয়েন্টের দূরত্ব দেখে স্থানীয়ভাবে নিকটতম প্রতিবেশী কীভাবে সীমানা সামঞ্জস্য করে to

এর জন্য আমার গাণিতিক যুক্তি নেই, তবে আমি মনে করি যে গাউসিয়ান কর্নেল প্রকৃতপক্ষে অসীম মাত্রিক স্থানের মানচিত্রের সাফল্যের সাথে কিছু যুক্ত রয়েছে। রৈখিক এবং বহুপদী কার্নেলের জন্য, বিন্দু পণ্যগুলি সীমাবদ্ধ মাত্রিক স্থানগুলিতে নেওয়া হয়; অতএব বৃহত্তর স্থানে জিনিসগুলি করা আরও শক্তিশালী বলে মনে হয়। আমি আশা করি কারও কাছে এই বিষয়গুলির সম্পর্কে আরও ভাল উপলব্ধি রয়েছে। এর অর্থ হ'ল আমরা যদি অসীম মাত্রিক স্থান সহ অন্যান্য কার্নেলগুলি খুঁজে পাই তবে সেগুলিও বেশ শক্তিশালী হওয়া উচিত। দুর্ভাগ্যক্রমে, আমি এ জাতীয় কোনও কার্নেলের সাথে পরিচিত নই।

আপনার শেষ পয়েন্টের জন্য, আমি মনে করি কাউচি পিডিএফ বা অন্য কোনও পিডিএফ যা কোনও উপায়ে অন্যান্য পয়েন্টগুলির দূরত্বকে সমানভাবে ভালভাবে কাজ করা উচিত measures আবার, এর জন্য আমার গাণিতিক যুক্তি ভাল নেই, তবে নিকটতম প্রতিবেশীর সাথে সংযোগ এই প্রশ্রয়দায়ক করে তোলে।

সম্পাদনা:

গাউসিয়ান কার্নেলগুলি নিকটতম-প্রতিবেশী শ্রেণিবদ্ধ হিসাবে ব্যবহার করে কোনও শ্রেণিবদ্ধ সম্পর্কে কীভাবে ভাববেন সে সম্পর্কে এখানে কিছু ধারণা রয়েছে। প্রথমে আমাদের নিকটবর্তী-প্রতিবেশী শ্রেণীবদ্ধকারী কী করে তা নিয়ে ভাবি। মূলত, নিকটতম প্রতিবেশী শ্রেণিবদ্ধকারী একটি স্ট্যান্ডার্ড শ্রেণিবদ্ধকারী যা ইনপুট হিসাবে পয়েন্টগুলির মধ্যে দূরত্বগুলি ব্যবহার করে। আরও আনুষ্ঠানিকভাবে, কল্পনা করুন যে আমরা অন্যান্য পয়েন্টের দূরত্ব গণনা করে ডেটাসেটে প্রতিটি পয়েন্ট জন্য একটি বৈশিষ্ট্য উপস্থাপনা তৈরি করি । উপরে, একটি দূরত্বের ফাংশন। তারপরে নিকটস্থ প্রতিবেশী শ্রেণিবদ্ধকারী যা করেন তা হ'ল এই বৈশিষ্ট্যটির উপস্থাপনা এবং ডেটাগুলির জন্য শ্রেণির লেবেলের উপর ভিত্তি করে একটি বিন্দুর জন্য ক্লাস লেবেলের পূর্বাভাস। কোথায় $\phi_i$ $x_i$

ϕ_{i} = (d (x_{i}, x_{1}), d (x_{i}, x_{2}), \dots, d (x_{i}, x_{n}))

$\phi_i = (d(x_i,x_1), d(x_i, x_2), \ldots, d(x_i, x_n))$

d

$d$

p_{i} = f (ϕ_{i}, y)

$p_i = f(\phi_i, y)$

p_{i}

$p_i$ হ'ল ডেটা পয়েন্ট এর পূর্বাভাস এবং এর ক্লাস লেবেলের ভেক্টর ।

x_{i}

$x_i$

y

$y$

x_{1}, x_{2}, \dots, x_{n}

$x_1, x_2, \ldots, x_n$

কার্নেলগুলি সম্পর্কে আমি যেভাবে চিন্তা করি তা হ'ল তারা একই রকম কাজ করে; তারা ডেটাসেটের অন্যান্য পয়েন্টগুলির সাথে কার্নেলের মানগুলি ব্যবহার করে প্রতিটি পয়েন্টের একটি বৈশিষ্ট্য উপস্থাপনা তৈরি করে। নিকটবর্তী প্রতিবেশী ক্ষেত্রে অনুরূপ, আরও আনুষ্ঠানিকভাবে এটি এখন নিকটবর্তী প্রতিবেশীর সাথে সংযোগ বেশ স্পষ্ট; যদি আমাদের কর্নেল ফাংশনটি এমন কিছু পরিমাপ হয় যা আমরা নিকটবর্তী প্রতিবেশী শ্রেণিবদ্ধে ব্যবহার করি তবে দূরত্বের ব্যবস্থার সাথে সম্পর্কিত, আমাদের কার্নেল ভিত্তিক শ্রেণিবদ্ধকারীটি নিকটবর্তী প্রতিবেশী মডেলের অনুরূপ।

ϕ_{i} = (k (x_{i}, x_{1}), k (x_{i}, x_{2}), \dots, k (x_{i}, x_{n}))

$\phi_i = (k(x_i, x_1), k(x_i, x_2), \ldots, k(x_i, x_n))$

দ্রষ্টব্য: আমরা কার্নেলগুলি ব্যবহার করে প্রশিক্ষিত শ্রেণিবদ্ধাগুলি সরাসরি এই উপস্থাপনগুলির সাথে কাজ করে না , তবে আমি মনে করি তারা এগুলি স্পষ্টতই করে। $\phi_i$

— goker
সূত্র

নিকটতম-প্রতিবেশীদের ব্যাখ্যা আকর্ষণীয়। আপনি কি মনে করেন যে আপনি কিছুটা প্রসারিত করতে পারেন? আমি মনে করি এটি পেয়েছি তবে আমি নিশ্চিত না যে আমি এটি করি।

— শ্যাডট্যালকার

@ এসএসডেকট্রোল আমি কিছু মন্তব্য যুক্ত করেছি; আমি আশা করি তারা সহায়ক।

— goker 20

6

কারণটি হ'ল গাউসিয়ান কার্নেলগুলির জন্য ভিসি মাত্রা অসীম এবং এইভাবে, পরামিতিগুলির (সিগমা) জন্য সঠিক মানগুলি দেওয়া হলে তারা নির্বিচারে প্রচুর পরিমাণে নমুনাকে সঠিকভাবে শ্রেণিবদ্ধ করতে পারে।

আরবিএফগুলি ভাল কাজ করে কারণ তারা ম্যাট্রিক্স সম্পূর্ণ পদে রয়েছে তা নিশ্চিত করে। ধারণাটি হ'ল এবং অফ- পদগুলি মান হ্রাস করে নির্বিচারে ছোট করা যায় । লক্ষ্য করুন যে কার্নেলটি বৈশিষ্ট্যের জায়গার কোনও বিন্দুর সাথে সম্পর্কিত। এই বৈশিষ্ট্য স্পেসে, মাত্রা অসীম (ঘনিষ্টর ক্রমিকের বিস্তৃতি বিবেচনা করে)। কেউ এটিকে এই পয়েন্টগুলি বিভিন্ন মাত্রায় প্রজেক্ট হিসাবে দেখতে পারে যাতে আপনি সেগুলি আলাদা করতে পারেন। $K(x_{i},x_{j})$ $K(x_{i},x_{i}) > 0$ $\sigma$

বিপরীতে বিবেচনা করুন, লিনিয়ার কার্নেলের ক্ষেত্রে, যা কেবল বিমানে চারটি পয়েন্ট ছিন্ন করতে পারে ।

আপনি এই কাগজটি একবার দেখে নিতে পারেন , যদিও এটি খুব প্রযুক্তিগত। এসভিএমগুলিতে একটি মানক বইয়ের এই ধারণাটি আরও অ্যাক্সেসযোগ্য করা উচিত।

— jpmuc
সূত্র

1

'আরবিএফগুলি ভাল কাজ করে কারণ তারা ম্যাট্রিক্স সম্পূর্ণ পদমর্যাদার রয়েছে তা নিশ্চিত করে': এটি প্রতিটি বৈধ (মার্সার) কার্নেল ফাংশনের ক্ষেত্রে (লিনিয়ার এক সহ) সত্য, সুতরাং আমি নিশ্চিত নই যে এটি কীভাবে অভিযোগ করা হয়েছে তা ব্যাখ্যা করে -আরবিএফ এর পারফরম্যান্স।

K (x_{i}, x_{j})

$K(x_i,x_j)$

— ব্যবহারকারী 60

2

@ ইউজার 603 সবেমাত্র কী লিখেছেন তা ছাড়াও: অসীম ভিসি ডাইমেনশন (লক্ষ্য জায়গার মাত্রা) সহ অন্যান্য জনপ্রিয় কার্নেলগুলি কি রয়েছে? যদি তা হয় তবে তারা কি আরবিএফের মতো ভাল?

— অ্যামিবা বলেছেন মনিকাকে

2

ভিসি ডাইমেনশনটি কোনও শ্রেণিবদ্ধের সংস্থার সম্পত্তি নয়, কার্নেলের সম্পত্তি নয়?

— উইজ

2

@ ইউজার 603: এটি সত্য নয়। মার্সার কার্নেলগুলির কেবল কার্নেল ম্যাট্রিক্সকে ইতিবাচক অর্ধ-চূড়ান্ত হতে হবে; তারা একবচন হতে পারে। উদাহরণস্বরূপ, লিনিয়ার কার্নেলটি আপনার পয়েন্টের সেটটিতে থাকলে একক একক কার্নেলকে ম্যাট্রিক দেয় । (অবশ্যই, বেশিরভাগ কার্নেলগুলি কঠোর ইতিবাচক সুনির্দিষ্ট এবং সুতরাং এটি গাউসিয়ান আরবিএফের একটি বিশেষ স্বতন্ত্র সম্পত্তি নয়))

x_{i} = 0

$x_i = 0$

— ডগল