দ্বিমাত্রিক স্থানে পয়েন্টের একটি সেট দেওয়া, কীভাবে একজন এসভিএমের জন্য কোনও সিদ্ধান্তের কাজ করতে পারে?

কেউ আমাকে কীভাবে ব্যাখ্যা করতে পারেন যে কীভাবে একজন এসভিএম সিদ্ধান্ত ফাংশনটি ডিজাইন করতে যায়? বা আমাকে উত্সের দিকে ইঙ্গিত করুন যা একটি দৃ concrete় উদাহরণ নিয়ে আলোচনা করে।

সম্পাদনা

নীচের উদাহরণের জন্য, আমি দেখতে পাচ্ছি যে সমীকরণটি $X_2 = 1.5$ সর্বাধিক মার্জিনের সাথে ক্লাসগুলিকে পৃথক করে। তবে আমি কীভাবে ওজনগুলি সামঞ্জস্য করতে পারি এবং নীচের ফর্মটিতে হাইপারপ্লেনের সমীকরণ লিখি।

\begin{array}{ll} H_{1} : w_{0} + w_{1} x_{1} + w_{2} x_{2} \geq 1 & for Y_{i} = + 1 \\ H_{2} : w_{0} + w_{1} x_{1} + w_{2} x_{2} \leq - 1 & for Y_{i} = - 1. \end{array}

$\begin{array}{ll} H_1 : w_0+w_1x_1+w_2x_2 \ge 1 & \text{for}\; Y_i = +1 \\ H_2 : w_0+w_1x_1+w_2x_2 \le -1 & \text{for}\; Y_i = -1.\end{array}$

এখানে চিত্র বর্ণনা লিখুন

উচ্চতর মাত্রাগুলি সম্পর্কে চিন্তা করার আগে আমি অন্তর্নিহিত তত্ত্বটি ঠিক 2-ডি স্পেসে পেতে (যেমন এটি কল্পনা করা সহজ) এর চেষ্টা করছি।

আমি এর জন্য সমাধানের জন্য কাজ করেছি, কেউ দয়া করে এটি সঠিক কিনা তা নিশ্চিত করতে পারেন?

ওজন ভেক্টর (0, -2) এবং ডাব্লু_0 3 3

\begin{array}{ll} H_{1} : 3 + 0 x_{1} - 2 x_{2} \geq 1 & for Y_{i} = + 1 \\ H_{2} : 3 + 0 x_{1} - 2 x_{2} \leq - 1 & for Y_{i} = - 1. \end{array}

$\begin{array}{ll} H_1 : 3+0x_1-2x_2 \ge 1 & \text{for}\; Y_i = +1 \\ H_2 : 3+0x_1 -2x_2 \le -1 & \text{for}\; Y_i = -1.\end{array}$

svm

— নরেশ
সূত্র

সেখানে আর সঙ্গে একটি চিত্রণ এখানে , কিন্তু আমি মনে আপনার প্রশ্নের আলগোরিদিমিক দৃষ্টিভঙ্গি বেশি। এই ক্ষেত্রে, যদি আপনি উদ্দেশ্যযুক্ত অ্যাপ্লিকেশন বা উপলভ্য সংস্থান সম্পর্কে আরও কিছু বিশদ যুক্ত করতে পারেন তবে এটি সহায়তা করবে।

— chl

@chl আমি বিশদ বিবরণ সহ আপডেট প্রশ্ন আছে

— নরেশ

এসভিএমগুলিকে অনুপ্রাণিত করার জন্য কমপক্ষে দুটি উপায় রয়েছে তবে আমি এখানে সরল রুটটি নিয়ে যাব।

এখন, এসভিএম সম্পর্কে আপনার জানা সমস্ত কিছু মুহুর্তের জন্য ভুলে যান এবং কেবলমাত্র সমস্যার মুখোমুখি হন। আপনি পয়েন্ট একটি সেট দেওয়া হয় কিছু লেবেল (সহ ) যা থেকে । এখন, আমরা 2 ডি তে একটি লাইন সন্ধান করার চেষ্টা করছি যে লেবেল সহ সমস্ত পয়েন্টগুলি লাইনটির একপাশে পড়ে এবং লেবেলযুক্ত সমস্ত পয়েন্ট অন্য দিকে পড়ে। $\mathcal{D} = \{(x^i_1, x^i_2, y_i)\}$ $y_i$ $\{1, -1\}$ $1$ $-1$

প্রথম সব, বুঝতে পারি যে 2D মধ্যে একটি লাইন এবং লাইনের এবং "এক দিকে" প্রতিনিধিত্ব করে লাইনের "অন্য দিকে" উপস্থাপন করে side $w_0 + w_1x_1 + w_2x_2 = 0$ $w_0 + w_1x_1 + w_2x_2 > 0$ $w_0 + w_1x_1 + w_2x_2 < 0$

থেকে আমরা উপরে উপসংহারে আসতে পারি যে আমরা কিছু ভেক্টর চান যেমন যে, সব পয়েন্ট জন্য সঙ্গে এবং $[w_0, w_1, w_2]$ $w_0 + w_1x^i_1 + w_2x^i_2 \geq 0$ $x^i$ $y_i = 1$ $w_0 + w_1x^i_1 + w_2x^i_2 < 0$ সব পয়েন্ট জন্য সঙ্গে [1]। $x^i$ $y_i = -1$

আসুন ধরে নেওয়া যাক যে এই জাতীয় লাইন আসলে বিদ্যমান তবে আমি নিম্নলিখিত উপায়ে শ্রেণিবদ্ধকে সংজ্ঞায়িত করতে পারি,

min | w_{0} | + | w_{1} | + | w_{2} | subject to : w_{0} + w_{1} x_{1}^{i} + w_{2} x_{2}^{i} \geq 0, \forall x^{i} with y_{i} = 1 w_{0} + w_{1} x_{1}^{i} + w_{2} x_{2}^{i} < 0, \forall x^{i} with y_{i} = - 1

$\min |w_0| + |w_1| + |w_2| \\ \text{subject to} : w_0 + w_1x^i_1 + w_2x^i_2 \geq 0, \forall x^i\text{ with }y_i = 1 \\ w_0 + w_1x^i_1 + w_2x^i_2 < 0, \forall x^i\text{ with }y_i = -1 \\$

আমি উপরে একটি স্বেচ্ছাচারিত উদ্দেশ্যমূলক ফাংশন ব্যবহার করেছি, আমরা এই মুহূর্তে কোন যত্ন নিই না যে উদ্দেশ্যমূলক ফাংশনটি ব্যবহৃত হয়। আমরা কেবল এমন একটি চাই যা আমাদের প্রতিবন্ধকতাগুলি পূরণ করে। যেহেতু আমরা ধরে নিয়েছি যে একটি রেখার অস্তিত্ব রয়েছে যে আমরা সেই লাইনের সাথে দুটি শ্রেণি পৃথক করতে পারি, তাই আমরা উপরের অপ্টিমাইজেশান সমস্যার সমাধান খুঁজে পাব। $w$

উপরেরটি এসভিএম নয় তবে এটি আপনাকে একটি শ্রেণিবদ্ধ :-) দেবে। তবে এই শ্রেণিবদ্ধকারী খুব ভাল নাও হতে পারে। তবে আপনি কীভাবে একটি ভাল শ্রেণিবদ্ধের সংজ্ঞা দেন? একটি ভাল শ্রেণিবদ্ধকারী সাধারণত হয় যা পরীক্ষার সেটটিতে ভাল করে। আদর্শভাবে, আপনি সমস্ত সম্ভাব্য উপর দিয়ে যাবেন যা আপনার প্রশিক্ষণের ডেটা পৃথক করে এবং পরীক্ষাগুলির ডেটাতে এর মধ্যে কোনটি ভাল করে দেখবে। যাইহোক, অসীম এর আছে, তাই এটি যথেষ্ট হতাশ। পরিবর্তে, আমরা একটি ভাল শ্রেণিবদ্ধের সংজ্ঞায়নের জন্য কিছু তাত্পর্যপূর্ণ বিবেচনা করব। একটি হিউরিস্টিক হ'ল যে রেখাটি ডেটা পৃথক করে তা সমস্ত পয়েন্ট থেকে যথেষ্ট দূরে থাকবে (অর্থাত পয়েন্ট এবং লাইনের মধ্যে সর্বদা ফাঁক বা মার্জিন থাকে)। এর মধ্যে সেরা শ্রেণিবদ্ধকারী হ'ল সর্বোচ্চ মার্জিনের সাথে একটি with এসভিএমগুলিতে এটি ব্যবহৃত হয়। $w$ $w$

পরিবর্তে নিয়ে গোঁ ধরে থাকার সব পয়েন্ট জন্য সঙ্গে এবং সব পয়েন্ট জন্য সাথে , যদি আমরা সেই জোর করি $w_0 + w_1x^i_1 + w_2x^i_2 \geq 0$ $x^i$ $y_i = 1$ $w_0 + w_1x^i_1 + w_2x^i_2 < 0$ $x^i$ $y_i = -1$ সব পয়েন্ট জন্য সঙ্গে এবং সব পয়েন্ট জন্য সঙ্গে $w_0 + w_1x^i_1 + w_2x^i_2 \geq 1$ $x^i$ $y_i = 1$ $w_0 + w_1x^i_1 + w_2x^i_2 \leq -1$ $x^i$ $y_i = -1$ , তারপরে আমরা আসলে জোর দিচ্ছি যে পয়েন্টগুলি লাইন থেকে খুব দূরে থাকবে। এই প্রয়োজনীয়তার সাথে জ্যামিতিক মার্জিন হয়ে আসে । $\frac{1}{\|w\|_2}$

সুতরাং, আমরা নিম্নলিখিত অপটিমাইজেশন সমস্যাটি পাই,

max \frac{1}{‖ w ‖_{2}} subject to : w_{0} + w_{1} x_{1}^{i} + w_{2} x_{2}^{i} \geq 1, \forall x^{i} with y_{i} = 1 w_{0} + w_{1} x_{1}^{i} + w_{2} x_{2}^{i} \leq - 1, \forall x^{i} with y_{i} = - 1

$\max \frac{1}{\|w\|_2} \\ \text{subject to} : w_0 + w_1x^i_1 + w_2x^i_2 \geq 1, \forall x^i\text{ with }y_i = 1 \\ w_0 + w_1x^i_1 + w_2x^i_2 \leq -1, \forall x^i\text{ with }y_i = -1 \\$

min ‖ w ‖_{2} subject to : y_{i} (w_{0} + w_{1} x_{1}^{i} + w_{2} x_{2}^{i}) \geq 1, \forall i

$\min \|w\|_2 \\ \text{subject to} : y_i(w_0 + w_1x^i_1 + w_2x^i_2) \geq 1, \forall i$

উদাহরণস্বরূপ সমস্যা সমাধানের জন্য সিভিএক্স স্ক্রিপ্ট:

A = [1 2 1; 3 2 1; 2 3 1; 3 3 1; 1 1 1; 2 0 1; 2 1 1; 3 1 1];
b = ones(8, 1);
y = [-1; -1; -1; -1; 1; 1; 1; 1];
Y = repmat(y, 1, 3);
cvx_begin
variable w(3)
minimize norm(w)
subject to
(Y.*A)*w >= b
cvx_end

সংযোজন - জ্যামিতিক মার্জিন

$w$ $y_i(w_0 + w_1x_1 + w_2x_2) \geq 1$ $y_i(w_0 + w^Tx) \geq 1$ $\geq 1$

$x_+$ $w^Tx_+ + w_0 = 1$ $x_-$ $w^Tx_- + w_0 = -1$ $x_+$ $x_-$ $x_+ - x_-$

$\|x_+ - x_-\|_2$

w^{T} x_{+} + w_{0} = 1

$w^Tx_+ + w_0 = 1$

w^{T} x_{-} + w_{0} = - 1

$w^Tx_- + w_0 = -1$

w^{T} (x_{+} - x_{-}) = 2

$w^T(x_+ - x_-) = 2$

| w^{T} (x_{+} - x_{-}) | = 2

$|w^T(x_+ - x_-)| = 2$

‖ w ‖_{2} ‖ x_{+} - x_{-} ‖_{2} = 2

$\|w\|_2\|x_+ - x_-\|_2 = 2$

‖ x_{+} - x_{-} ‖_{2} = \frac{2}{‖ w ‖_{2}}

$\|x_+ - x_-\|_2 = \frac{2}{\|w\|_2}$

$1$ $-1$

— TenaliRaman
সূত্র

w = [0, - 2, 3]

$w = [0, -2, 3]$

@ এন্ট্রপি ধন্যবাদ আমি টাইপ ঠিক করে রেখেছি। আমি জ্যামিতিক মার্জিনের ব্যাখ্যা যুক্ত করব।

— তেরালিরামান

@ এন্ট্রপি জ্যামিতিক মার্জিন ব্যাখ্যার সাথে উত্তরটি আপডেট করেছি।

— তেনালিরামান

w^{T} x

$w^{T}x$

@ এন্ট্রপি উপরের কথাটি বলে, আপনি এখনই বুঝতে পেরেছেন যে আপনি যদি সঠিকভাবে পয়েন্টগুলি ঘোরান এবং স্থানান্তর করেন তবে এমনকি উত্সের মধ্য দিয়ে যাওয়া একটি লাইনও ক্লাসগুলি পৃথক করতে সক্ষম হবে। তবে, কেবলমাত্র পক্ষপাত শব্দটি শিখার তুলনায় সাধারণত এই ডান ঘূর্ণন এবং শিফটটি খুঁজে পাওয়া সহজ নয়।

— তেনালিরামান