96

অনেক মেশিন লার্নিং ক্লাসিফায়ার (যেমন সমর্থন ভেক্টর মেশিনগুলি) কার্নেল নির্দিষ্ট করার অনুমতি দেয়। কর্নেল কী তা বোঝানোর একটি স্বজ্ঞাত উপায় কী হবে?

আমি যে দিকটি নিয়ে ভাবছিলাম তা হ'ল লিনিয়ার এবং অ-লিনিয়ার কার্নেলের মধ্যে পার্থক্য। সহজ কথায়, আমি 'লিনিয়ার সিদ্ধান্ত ফাংশন' একটি 'অ-লিনিয়ার সিদ্ধান্ত ফাংশন' বলতে পারি could তবে, আমি নিশ্চিত নই যে কার্নেলটিকে 'সিদ্ধান্ত ফাংশন' বলা ভাল ধারণা কিনা।

পরামর্শ?

— হ্যাশ কী
সূত্র

112

কার্নেল হ'ল দুটি ভেক্টর এবং some কিছু (সম্ভবত খুব উচ্চ মাত্রিক) বৈশিষ্ট্যযুক্ত স্থানের ডট পণ্য গণনা করার একটি উপায় , যার কারণে কার্নেল ফাংশনগুলিকে কখনও কখনও "জেনারালাইজড ডট প্রোডাক্ট" বলা হয়। $\mathbf x$ $\mathbf y$

ধরুন আমাদের ম্যাপিং রয়েছে যা আমাদের ভেক্টরকে কিছু বৈশিষ্ট্যযুক্ত জায়গায় নিয়ে আসে । তারপরে এই স্থানটিতে এবং এর ডট পণ্যটি হ'ল । কার্নেলটি একটি ফাংশন যা এই ডট পণ্যটির সাথে সম্পর্কিত, যেমন । $\varphi \, : \, \mathbb R^n \to \mathbb R^m$ $\mathbb R^n$ $\mathbb R^m$ $\mathbf x$ $\mathbf y$ $\varphi(\mathbf x)^T \varphi(\mathbf y)$ $k$ $k(\mathbf x, \mathbf y) = \varphi(\mathbf x)^T \varphi(\mathbf y)$

কেন এটি দরকারী? কার্নেলগুলি এই বৈশিষ্ট্যটি কী এবং কী তা জেনেও কিছু বৈশিষ্ট্যযুক্ত স্থানে ডট পণ্যগুলি গণনা করার একটি উপায় দেয় । $\varphi$

উদাহরণস্বরূপ, একটি সাধারণ বহুবর্ষীয় কার্নেল সাথে । এটি কোনও ম্যাপিং ফাংশন সাথে সঙ্গতিপূর্ণ বলে মনে হচ্ছে না , এটি কেবলমাত্র একটি ফাংশন যা একটি আসল নম্বর দেয়। ধরে যে এবং , আসুন এই অভিব্যক্তিটি প্রসারিত করুন: $k(\mathbf x, \mathbf y) = (1 + \mathbf x^T \mathbf y)^2$ $\mathbf x, \mathbf y \in \mathbb R^2$ $\varphi$ $\mathbf x = (x_1, x_2)$ $\mathbf y = (y_1, y_2)$

$\begin{align} k(\mathbf x, \mathbf y) & = (1 + \mathbf x^T \mathbf y)^2 = (1 + x_1 \, y_1 + x_2 \, y_2)^2 = \\ & = 1 + x_1^2 y_1^2 + x_2^2 y_2^2 + 2 x_1 y_1 + 2 x_2 y_2 + 2 x_1 x_2 y_1 y_2 \end{align}$

দ্রষ্টব্য যে এটি দুটি ভেক্টর এবং , এবং । সুতরাং কার্নেল একটি বিন্দু পণ্যকে গণনা করে এই স্থানটি স্পষ্টভাবে না দেখে 6-মাত্রিক স্থান। $(1, x_1^2, x_2^2, \sqrt{2} x_1, \sqrt{2} x_2, \sqrt{2} x_1 x_2)$ $(1, y_1^2, y_2^2, \sqrt{2} y_1, \sqrt{2} y_2, \sqrt{2} y_1 y_2)$ $\varphi(\mathbf x) = \varphi(x_1, x_2) = (1, x_1^2, x_2^2, \sqrt{2} x_1, \sqrt{2} x_2, \sqrt{2} x_1 x_2)$ $k(\mathbf x, \mathbf y) = (1 + \mathbf x^T \mathbf y)^2 = \varphi(\mathbf x)^T \varphi(\mathbf y)$

আর একটি উদাহরণ গাউসিয়ান কার্নেল । যদি আমরা এই ফাংশনটি টেলর-প্রসারিত করি তবে আমরা দেখতে পাবো এটি বর্ণফির অসীম মাত্রিক কোডোমেনের সাথে । $k(\mathbf x, \mathbf y) = \exp\big(- \gamma \, \|\mathbf x - \mathbf y\|^2 \big)$ $\varphi$

পরিশেষে, আমি কার্নেল-ভিত্তিক পদ্ধতির একটি ভাল ভূমিকা হিসাবে অধ্যাপক ইয়াসের আবু-মোস্তফার "লার্নিং থেকে ডেটা" একটি অনলাইন কোর্সের পরামর্শ দেব । বিশেষত, "সাপোর্ট ভেক্টর মেশিনগুলি" , "কার্নেল পদ্ধতি" এবং "রেডিয়াল বেসিস ফাংশন" লেকচারগুলি কার্নেলগুলি সম্পর্কে।

— আলেক্সি গ্রিগোরভ
সূত্র

2

বর্তমান ট্যাগ সংজ্ঞা: "স্বজ্ঞাত: প্রশ্নগুলি যা পরিসংখ্যানের ধারণামূলক বা অ-গাণিতিক বোঝার চেষ্টা করে" " ধারণাকে অ-গাণিতিক প্রতিশব্দ হিসাবে বিবেচনা করা হয় কিনা তা পরিষ্কার কোনও ইঙ্গিত নেই।

— Rolando2

40

কার্নেলগুলি সম্পর্কে চিন্তা করার একটি খুব সহজ এবং স্বজ্ঞাত উপায় (কমপক্ষে এসভিএমগুলির জন্য) একটি সাদৃশ্য ফাংশন। দুটি বস্তু দেওয়া হয়েছে, কার্নেল কিছু মিলের স্কোর আউটপুট করে। বস্তুগুলি দুটি পূর্ণসংখ্যার থেকে শুরু করে দুটি হতে পারে, দুটি আসল মূল্যবান ভেক্টর, গাছ যা কিছু সরবরাহ করে যে কার্নেল ফাংশন তাদের তুলনা করতে জানে।

তর্কযোগ্যভাবে সবচেয়ে সহজ উদাহরণ লিনিয়ার কার্নেল যা ডট-প্রোডাক্টও বলে। দুটি ভেক্টর দেওয়া, সাদৃশ্য হ'ল অন্য ভেক্টরের প্রজেকশন দৈর্ঘ্য।

আর একটি আকর্ষণীয় কার্নেলের উদাহরণ গাউসিয়ান কর্নেল। দুটি ভেক্টর দেওয়া, ব্যাসার্ধের সাথে মিল । এই ব্যাসার্ধের প্যারামিটার দ্বারা দুটি অবজেক্টের মধ্যকার দূরত্বটি "পুনরায় আলোকিত" is $\sigma$

কার্নেল দিয়ে শিখার সাফল্য (আবার কমপক্ষে এসভিএমগুলির জন্য), খুব দৃ strongly়তার সাথে কার্নেলের নির্বাচনের উপর নির্ভর করে। আপনি আপনার শ্রেণিবদ্ধকরণ সমস্যা সম্পর্কে জ্ঞানের সংক্ষিপ্ত প্রতিনিধিত্ব হিসাবে কার্নেলটি দেখতে পারেন। এটি প্রায়শই সমস্যা নির্দিষ্ট।

কার্নেলটি সিদ্ধান্ত ফাংশনের অভ্যন্তরে ব্যবহৃত হওয়ায় আমি কোনও কার্নেলকে সিদ্ধান্ত ফাংশন বলব না । শ্রেণিবদ্ধ করার জন্য একটি ডেটা পয়েন্ট দেওয়া, সিদ্ধান্ত ফাংশনটি শিখায় পরামিতি দ্বারা ভারিত বেশ কয়েকটি সমর্থন ভেক্টরগুলির সাথে ডেটা পয়েন্ট তুলনা করে কার্নেলটি ব্যবহার করে । সমর্থন ভেক্টরগুলি সেই ডেটা পয়েন্টের ডোমেনে রয়েছে এবং শিখানো প্যারামিটারগুলির সাথে- লার্নিং অ্যালগরিদমের দ্বারা পাওয়া যায়। $\alpha$ $\alpha$

— ভ্লাদিস্লাভস ডোভগ্যালিক্স
সূত্র

ডট পণ্য এবং অভিক্ষেপটি একরকম নয়।

— ttnphns

এসভিএমের ক্ষেত্রে, আমি বিশ্বাস করি যে কার্নেলগুলি বিভিন্ন স্থানের দূরত্বের ব্যবস্থা measures এটি এই ধারণাটি বজায় রেখে চলেছে যে কোনও এসভিএম একটি সমর্থন ভেক্টর শ্রেণিবদ্ধকারীকে সাধারণীকরণ করে। সাধারণভাবে, কার্নেলগুলি আরও জটিল হতে পারে।

— অ্যাগিনেস্কে

29

অন্তর্দৃষ্টি সাহায্য করার জন্য একটি চাক্ষুষ উদাহরণ

নিম্নলিখিত ডাটাবেসটি বিবেচনা করুন যেখানে হলুদ এবং নীল পয়েন্টগুলি দুটি মাত্রায় সুস্পষ্টভাবে রৈখিকভাবে পৃথক নয় not

যদি আমরা একটি উচ্চতর মাত্রিক স্থান খুঁজে পেতে পারি যেখানে এই পয়েন্টগুলি রৈখিকভাবে পৃথকযোগ্য ছিল , তবে আমরা নিম্নলিখিতগুলি করতে পারি:

মূল বৈশিষ্ট্যগুলিকে উচ্চতর, ট্রান্সফর্মার স্পেসে মানচিত্র করুন (বৈশিষ্ট্য ম্যাপিং)
এই উচ্চতর স্থানে রৈখিক এসভিএম সম্পাদন করুন
সিদ্ধান্তের সীমানা হাইপারপ্লেনের সাথে সামঞ্জস্য রেখে ওজনের একটি সেট পান
কোনও লিনিয়ার সিদ্ধান্ত সীমানা পেতে এই হাইপারপ্লেনটি মূল 2D স্পেসে ফিরে ম্যাপ করুন

অনেকগুলি উচ্চতর মাত্রিক স্পেস রয়েছে যেখানে এই পয়েন্টগুলি লাইনগতভাবে পৃথকযোগ্য। এখানে একটি উদাহরণ

x_{1}, x_{2} :\to z_{1}, z_{2}, z_{3}

$x_1, x_2 : \rightarrow z_1, z_2, z_3$

z_{1} = \sqrt{2} x_{1} x_{2} z_{2} = x_{1}^{2} z_{3} = x_{2}^{2}

$z_1 = \sqrt{2}x_1x_2 \ \ z_2 = x_1^2 \ \ z_3 = x_2^2$

এখানেই কার্নেল ট্রিক কার্যকর হয়। উপরের দুর্দান্ত উত্তর উদ্ধৃত

ধরুন আমাদের ম্যাপিং রয়েছে যা আমাদের ভেক্টরকে কিছু বৈশিষ্ট্যযুক্ত জায়গায় নিয়ে আসে । তারপরে এই স্থানটিতে এবং এর ডট পণ্যটি হ'ল । কার্নেলটি একটি ফাংশন যা এই ডট পণ্যটির সাথে সম্পর্কিত, যেমন $\varphi \, : \, \mathbb R^n \to \mathbb R^m$ $\mathbb R^n$ $\mathbb R^m$ $\mathbf x$ $\mathbf y$ $\varphi(\mathbf x)^T \varphi(\mathbf y)$ $k$ $k(\mathbf x, \mathbf y) = \varphi(\mathbf x)^T \varphi(\mathbf y)$

যদি আমরা উপরের বৈশিষ্ট্য মানচিত্রের সমতুল্য কার্নেল ফাংশনটি খুঁজে পেতে পারি তবে আমরা লিনিয়ার এসভিএম-এ কার্নেল ফাংশনটি প্লাগ করতে পারি এবং খুব দক্ষতার সাথে গণনা সম্পাদন করতে পারি।

বহুবর্ষীয় কার্নেল

দেখা যাচ্ছে যে উপরের বৈশিষ্ট্য মানচিত্রটি বহুবর্ষীয় কার্নেলের সাথে সম্পর্কিত : । আসুন এবং আমরা পাই $K(\mathbf{x},\mathbf{x'}) = (\mathbf{x}^T\mathbf{x'})^d$ $d = 2$ $\mathbf{x} = (x_1, x_2)^T$

\begin{aligned} k ((\begin{matrix} x_{1} \\ x_{2} \end{matrix}), (\begin{matrix} x_{1}^{'} \\ x_{2}^{'} \end{matrix})) & = (x_{1} x_{2}^{'} + x_{2} x_{2}^{'})^{2} \\ = 2 x_{1} x_{1}^{'} x_{2} x_{2}^{'} + (x_{1} x_{1}^{'})^{2} + (x_{2} x_{2}^{'})^{2} \\ = (\sqrt{2} x_{1} x_{2} x_{1}^{2} x_{2}^{2}) (\begin{matrix} \sqrt{2} x_{1}^{'} x_{2}^{'} \\ x_{1}^{' 2} \\ x_{2}^{' 2} \end{matrix}) \end{aligned}

$\begin{aligned} k(\begin{pmatrix} x_1 \\ x_2 \end{pmatrix}, \begin{pmatrix} x_1' \\ x_2' \end{pmatrix} ) & = (x_1x_2' + x_2x_2')^2 \\ & = 2x_1x_1'x_2x_2' + (x_1x_1')^2 + (x_2x_2')^2 \\ & = (\sqrt{2}x_1x_2 \ x_1^2 \ x_2^2) \ \begin{pmatrix} \sqrt{2}x_1'x_2' \\ x_1'^2 \\ x_2'^2 \end{pmatrix} \end{aligned}$

k ((\begin{matrix} x_{1} \\ x_{2} \end{matrix}), (\begin{matrix} x_{1}^{'} \\ x_{2}^{'} \end{matrix})) = ϕ (x)^{T} ϕ (x^{'})

$k(\begin{pmatrix} x_1 \\ x_2 \end{pmatrix}, \begin{pmatrix} x_1' \\ x_2' \end{pmatrix} ) = \phi(\mathbf{x})^T \phi(\mathbf{x'})$

ϕ ((\begin{matrix} x_{1} \\ x_{2} \end{matrix})) = (\begin{matrix} \sqrt{2} x_{1} x_{2} \\ x_{1}^{2} \\ x_{2}^{2} \end{matrix})

$\phi(\begin{pmatrix} x_1 \\ x_2 \end{pmatrix}) =\begin{pmatrix} \sqrt{2}x_1x_2 \\ x_1^2 \\ x_2^2 \end{pmatrix}$

বৈশিষ্ট্য মানচিত্র এবং ফলাফল সীমানা রেখা ভিজ্যুয়ালাইজিং

বাম পাশের প্লটটি এসভিএম লিনিয়ার সীমানা হাইপার প্লেনের সাথে রূপান্তরিত স্থানের প্লট করা পয়েন্টগুলি দেখায়
ডান হাতের প্লটটি মূল 2-ডি স্পেসের ফলাফল দেখায়

উৎস

সম্পূর্ণ পোস্ট এবং পাইথন কোড এখানে
https://disi.unitn.it/~passerini/teaching/2014-2015/MachineLearning/slides/17_kernel_machines/handouts.pdf

— জাভিয়ের বোয়ারেট সিকোত্তে
সূত্র

4

খুব সহজভাবে (তবে সঠিকভাবে) একটি কার্নেল হ'ল ডেটা দুটি সিকোয়েন্সের মধ্যে একটি ওজনযুক্ত ফ্যাক্টর । এই ওজনের ফ্যাক্টর একটি "আরো ওজন ধার্য করতে পারেন ডাটা পয়েন্ট একটি" এ " সময় বিন্দু " অন্যান্য "চেয়ে ডাটা পয়েন্ট ", বা সমান গুরুত্ব স্থির বা অন্যান্য "থেকে বেশি ওজন নির্ধারণ ডাটা পয়েন্ট " ইত্যাদি।

এইভাবে পারস্পরিক সম্পর্ক ( ডট পণ্য ) অন্যের তুলনায় কিছু পয়েন্টে আরও "গুরুত্ব" সরবরাহ করতে পারে এবং এইভাবে অ-লাইনারিটিগুলির (যেমন উদ্যান -সমতল স্থানগুলি ), অতিরিক্ত তথ্য, ডেটা স্মুথিং ইত্যাদির জন্য লড়াই করতে পারে।

অন্য কোনও উপায়ে কার্নেলটি উপরে বর্ণিত জিনিসগুলি মোকাবেলা করার জন্য দুটি ডেটা সিকোয়েন্সের আপেক্ষিক মাত্রা (বা মাত্রা একক ) পরিবর্তন করার একটি উপায় ।

তৃতীয় উপায় (পূর্ববর্তী দুই এর সাথে সম্পর্কিত), একটি kernal একটি উপায় হয় মানচিত্র বা প্রকল্প 1-টু-1 পদ্ধতিতে অন্যান্য সম্মুখের একটি ডেটা ক্রম (যেমন বাঁকা স্থান, অনুপস্থিত তথ্য, ডাটা অ্যাকাউন্ট দেওয়া তথ্য বা মানদণ্ড গ্রহণ পুনঃ-অর্ডারিং ইত্যাদি)। সুতরাং উদাহরণস্বরূপ একটি প্রদত্ত কার্নেল প্রসারিত বা সঙ্কুচিত বা ক্রপ করতে বা একের সাথে 1-থেকে -1 মানচিত্রের জন্য একটি ডেটা সিকোয়েন্সকে বাঁকতে বা বাঁকতে পারে।

কার্নেল একটি মত কাজ করতে পারেন Procrustes অর্ডার "করার জন্য শ্রেষ্ঠ মাপসই "

— নিকোস এম।
সূত্র

আমি মনে করি আপনি কার্নেলের ঘনত্বের অনুমানের অর্থে কার্নেলগুলির বিষয়ে কথা বলছেন, এসভিএম এবং সম্পর্কিত পদ্ধতিতে ব্যবহৃত ধনাত্মক-সেমিডেফাইনেট Mercer কার্নেলগুলি নয়।

— ডুগল

@ ডৌগল, এই উত্তরের অর্থে কার্নেলটি একটি ওজনযুক্ত ফাংশন বা পরিমাপ যা নির্দিষ্ট পদ্ধতিতে ডেটা সম্পর্কিত করতে বা নির্দিষ্ট ডেটা বৈশিষ্ট্যগুলি ব্যবহার করতে ব্যবহৃত হয়, সুতরাং এসভিএম কার্নেল পদ্ধতিগুলিও আচ্ছাদিত

— নিকস এম

কর্নেল কী তা স্বজ্ঞাতভাবে ব্যাখ্যা করবেন?

অন্তর্দৃষ্টি সাহায্য করার জন্য একটি চাক্ষুষ উদাহরণ

বহুবর্ষীয় কার্নেল

বৈশিষ্ট্য মানচিত্র এবং ফলাফল সীমানা রেখা ভিজ্যুয়ালাইজিং

উৎস