চতুর্ভুজ প্রোগ্রামিং সহ একটি সমর্থন ভেক্টর মেশিনের অনুকূলকরণ

আমি লিনিয়ার সমর্থন ভেক্টর মেশিন প্রশিক্ষণের জন্য প্রক্রিয়াটি বোঝার চেষ্টা করছি । আমি বুঝতে পেরেছি যে এসএমভিগুলির বৈশিষ্ট্যগুলি চতুষ্কোণ প্রোগ্রামিং সলভার ব্যবহারের চেয়ে তাদেরকে আরও দ্রুততর অনুকূলিতকরণের অনুমতি দেয়, তবে শেখার উদ্দেশ্যে আমি কীভাবে এটি কাজ করে তা দেখতে চাই।

প্রশিক্ষণ ডেটা

set.seed(2015)
df <- data.frame(X1=c(rnorm(5), rnorm(5)+5), X2=c(rnorm(5), rnorm(5)+3), Y=c(rep(1,5), rep(-1, 5)))
df
           X1       X2  Y
1  -1.5454484  0.50127  1
2  -0.5283932 -0.80316  1
3  -1.0867588  0.63644  1
4  -0.0001115  1.14290  1
5   0.3889538  0.06119  1
6   5.5326313  3.68034 -1
7   3.1624283  2.71982 -1
8   5.6505985  3.18633 -1
9   4.3757546  1.78240 -1
10  5.8915550  1.66511 -1

library(ggplot2)
ggplot(df, aes(x=X1, y=X2, color=as.factor(Y)))+geom_point()

সর্বোচ্চ মার্জিন হাইপারপ্লেন সন্ধান করা Find

এসভিএমগুলিতে এই উইকিপিডিয়া নিবন্ধ অনুসারে , সর্বাধিক মার্জিন হাইপারপ্লেনটি সমাধান করার জন্য আমার প্রয়োজন

\arg min_{(w, b)} \frac{1}{2} ‖ w ‖^{2}

$\arg\min_{(\mathbf{w},b)}\frac{1}{2}\|\mathbf{w}\|^2$ সাপেক্ষে (যে কোনও আই = 1, ..., এন)

y_{i} (w \cdot x_{i} - b) \geq 1.

$y_i(\mathbf{w}\cdot\mathbf{x_i} - b) \ge 1.$

আমি কীভাবে sample নির্ধারণ করতে আমার নমুনা ডেটা আর (উদাহরণস্বরূপ চতুষ্কোণ ) এর QP সলভারের মধ্যে 'প্লাগ' করব ? $\mathbf{w}$

r svm optimization

— বেন
সূত্র

আপনাকে দ্বৈত সমস্যাটি সমাধান করতে হবে

@fcop আপনি কি বিস্তারিত বলতে পারবেন? এই ক্ষেত্রে দ্বৈত কি? আমি কীভাবে সমাধান করব R? ইত্যাদি

— বেন

উত্তর:

ইঙ্গিত :

কোয়াডপ্রোগ নিম্নলিখিতটি সমাধান করে:

\begin{aligned} min_{x} d^{T} x + 1 / 2 x^{T} D x \\ such that A^{T} x \geq x_{0} \end{aligned}

$\begin{align*} \min_x d^T x + 1/2 x^T D x\\ \text{such that }A^T x \geq x_0 \end{align*}$

বিবেচনা করুন

x = (\begin{matrix} w \\ b \end{matrix}) and D = (\begin{matrix} I & 0 \\ 0 & 0 \end{matrix})

$x = \begin{pmatrix} w\\ b \end{pmatrix} \text{and } D=\begin{pmatrix} I & 0\\ 0 & 0 \end{pmatrix}$

যেখানে পরিচয় ম্যাট্রিক্স। $I$

তাহলে হয় এবং হল : $w$ $p \times 1$ $y$ $n \times 1$

\begin{aligned} x & : (2 p + 1) \times 1 \\ D & : (2 p + 1) \times (2 p + 1) \end{aligned}

$\begin{align*} x &: (2p+1) \times 1 \\ D &: (2p+1) \times (2p+1) \end{align*}$

অনুরূপ লাইনে:

x_{0} = {(\begin{matrix} 1 \\ 1 \end{matrix})}_{n \times 1}

$x_0 = \begin{pmatrix} 1\\ 1 \end{pmatrix}_{n \times 1}$

আপনার বৈষম্যের প্রতিবন্ধকতা উপস্থাপন করতে উপরের সঙ্কেতগুলি ব্যবহার করে তৈরি করুন ulate $A$

— rightskewed
সূত্র

আমি শেষ. কি ?

d^{T}

$d^T$

— বেন

সহগ কি আপনার উদ্দেশ্য ফাংশনে? না কিন্তু ?

w

$w$

| | w | |_{2}^{2}

$||w||^2_2$

w

$w$

— রচনা

সাহায্যের প্রশংসা করুন। আমি ভেবেছিলাম আমি এটি বের করে ফেলেছি কিন্তু আমি যখন ডি = ম্যাট্রিক্স সেট করি তখন আপনি প্রস্তাব quadprogকরেন ত্রুটিটি "চতুর্ভুজ ফাংশনে ম্যাট্রিক্স ডি ইতিবাচক নির্দিষ্ট নয়!"

— বেন

হ্যাক: বিমূঢ় একটি ছোট মান বলে যোগ করে তির্যক উপর

D

$D$

1 e - 6

$1e-6$

— rightskewed

রাইটসকিউডের ইঙ্গিত অনুসরণ করা হচ্ছে ...

library(quadprog)

# min(−dvec^T b + 1/2 b^T Dmat b) with the constraints Amat^T b >= bvec)
Dmat       <- matrix(rep(0, 3*3), nrow=3, ncol=3)
diag(Dmat) <- 1
Dmat[nrow(Dmat), ncol(Dmat)] <- .0000001
dvec       <- rep(0, 3)
Amat       <- as.matrix(df[, c("X1", "X2")])
Amat <- cbind(Amat, b=rep(-1, 10))
Amat <- Amat * df$Y
bvec       <- rep(1, 10)
solve.QP(Dmat,dvec,t(Amat),bvec=bvec)

plotMargin <- function(w = 1*c(-1, 1), b = 1){
  x1 = seq(-20, 20, by = .01)
  x2 = (-w[1]*x1 + b)/w[2]
  l1 = (-w[1]*x1 + b + 1)/w[2]
  l2 = (-w[1]*x1 + b - 1)/w[2]
  dt <- data.table(X1=x1, X2=x2, L1=l1, L2=l2)
  ggplot(dt)+geom_line(aes(x=X1, y=X2))+geom_line(aes(x=X1, y=L1), color="blue")+geom_line(aes(x=X1, y=L2), color="green")+
    geom_hline(yintercept=0, color="red")+geom_vline(xintercept=0, color="red")+xlim(-5, 5)+ylim(-5, 5)+
    labs(title=paste0("w=(", w[1], ",", w[2], "), b=", b))
}

plotMargin(w=c(-0.5065, -0.2525), b=-1.2886)+geom_point(data=df, aes(x=X1, y=X2, color=as.factor(Y)))

— বেন
সূত্র