কিভাবে একটি সাধারণ পার্সেপট্রন কার্নেলাইজ করবেন?


10

ননলাইনার সীমানা সহ শ্রেণিবদ্ধকরণের সমস্যাগুলি সাধারণ পার্সেপট্রন দ্বারা সমাধান করা যায় না । নিম্নলিখিত আর কোডটি চিত্রণমূলক উদ্দেশ্যে এবং পাইথনের এই উদাহরণের উপর ভিত্তি করে ):

nonlin <- function(x, deriv = F) {
  if (deriv) x*(1-x)
  else 1/(1+exp(-x))
}

X <- matrix(c(-3,1,
              -2,1,
              -1,1,
               0,1,
               1,1,
               2,1,
               3,1), ncol=2, byrow=T)

y <- c(0,0,1,1,1,0,0)

syn0 <- runif(2,-1,1)

for (iter in 1:100000) {
  l1 <- nonlin(X %*% syn0)
  l1_error <- y - l1
  l1_delta <- l1_error * nonlin(l1,T)
  syn0 <- syn0 + t(X) %*% l1_delta
}

print("Output After Training:")
## [1] "Output After Training:"
round(l1,3)
##       [,1]
## [1,] 0.488
## [2,] 0.468
## [3,] 0.449
## [4,] 0.429
## [5,] 0.410
## [6,] 0.391
## [7,] 0.373

এখন কার্নেল এবং তথাকথিত কার্নেল ট্রিকের ধারণাটি ইনপুট স্পেসকে একটি উচ্চতর মাত্রিক স্থান হিসাবে প্রবর্তন করবে ( ছবিগুলির উত্স ):

এখানে চিত্র বর্ণনা লিখুন এখানে চিত্র বর্ণনা লিখুন

আমার প্রশ্ন
আমি কীভাবে কার্নেল ট্রিকটি ব্যবহার করব (উদাহরণস্বরূপ একটি সাধারণ চতুষ্কোণীয় কার্নেল দিয়ে) যাতে আমি একটি কার্নেল পার্সেপট্রন পাই , যা প্রদত্ত শ্রেণিবিন্যাস সমস্যার সমাধান করতে সক্ষম? দয়া করে নোট করুন: এটি মূলত একটি ধারণাগত প্রশ্ন তবে আপনি যদি প্রয়োজনীয় কোড পরিবর্তনও করতে পারেন তবে এটি দুর্দান্ত

আমি এ পর্যন্ত
যা চেষ্টা করেছি আমি নিম্নলিখিতটি চেষ্টা করেছি যা ঠিকঠাক কাজ করে তবে আমি মনে করি যে এটি আসল চুক্তি নয় কারণ এটি জটিল সমস্যাগুলির জন্য গণনামূলকভাবে খুব ব্যয়বহুল হয়ে যায় ("কার্নেল ট্রিক" এর পিছনে "কৌশল" কেবল একটি ধারণা নয়) কার্নেল নিজেই কিন্তু আপনাকে সমস্ত দৃষ্টান্তের জন্য প্রজেকশন গণনা করতে হবে না:

X <- matrix(c(-3,9,1,
              -2,4,1,
              -1,1,1,
               0,0,1,
               1,1,1,
               2,4,1,
               3,9,1), ncol=3, byrow=T)

y <- c(0,0,1,1,1,0,0)

syn0 <- runif(3,-1,1)

পূর্ণ প্রকাশ
আমি এক সপ্তাহ আগে এই প্রশ্নের পোস্ট তাই কিন্তু এটা অনেক মনোযোগ পাইনি। আমি সন্দেহ করি যে এখানে একটি ভাল জায়গা কারণ এটি প্রোগ্রামিং প্রশ্নের চেয়ে ধারণাগত প্রশ্ন।

উত্তর:


2

আমরা স্ট্যান্ডার্ড পার্সেপট্রন গ্রহণ করে এবং অভ্যন্তরীণ পণ্য এর সমতুল্য ("কার্নেল-ট্রিকের কারণে)" কে (এক্স) দিয়ে প্রতিস্থাপন করে একটি "কার্নেল পার্সেপট্রন" তৈরি করতে পারি ,এক্স). এটি কাজ করে যেহেতু আমাদের কাছে রয়েছে যে অভ্যন্তরীণ পণ্যটি একটি মানচিত্র , যাতে অভিন্ন বৈশিষ্ট্য রয়েছে কার্নেল ফাংশন । সাধারণ গাউসিয়ান রেডিয়াল বেস ফাংশন কার্নেলের ক্ষেত্রে (আরবিএফ) : XX=X,X<,>:Rp×RpRk:Rp×RpR

K(xi,xj)=exp(||xixj||22σ2)

কার্নেল পারসেপ্ট্রনের উইকিপিডিয়া পৃষ্ঠায় উল্লিখিত হিসাবে , আমরা ইনপুটগুলির আকারের এর একটি উপসেট নির্বাচন করি এবং আমাদের আউটপুট উত্পাদন করতে সেগুলির একটি রৈখিক সংমিশ্রণ ব্যবহার করি, M

f(x)=iMαiyiK(x,xi)

যদি আপনি সমর্থন ভেক্টর মেশিন ( এসভিএম ) দেখে থাকেন তবে আপনি অভিন্ন দ্বৈত লক্ষ্য করবেন। আকারের ব্যবহার করার জন্য সাবসেটটি নির্বাচন করতে, আমরা চেয়ে বেশি অনুকূলিত , যা উপস্থাপন করে যে নমুনা আমাদের সমাধানের সমর্থন / ভিত্তি ভেক্টর কিনা represent এর অপ্টিমাইজেশনে আমরা মূল অপটিমাইজেশনের ওজন। অন্তর্ভুক্ত করি ।Mαiiαiωi

প্রক্ষেপণটি গণনা না করা সম্পর্কে আপনার প্রশ্নের বিষয়ে আপনি সঠিক, আপনার ইনপুট ডেটা ম্যাট্রিক্স এখনও 2-মাত্রিক। আউটপুট গণনার আমরা কার্নেল ফাংশন একটি বিন্দু পণ্যের প্রতিস্থাপিত, এবং এই হল সেই জায়গা যেখানে বৈশিষ্ট্য স্থান 'অন্তর্নিহিত' হিসাব ঘটে।X



আপনাকে ধন্যবাদ - আপনি সম্ভবত এই উত্তরটি আরও দৃ concrete় করতে পারবেন যে আপনি উপরে বর্ণিত কোডের কোন রেখাগুলিকে কোন উপায়ে পরিবর্তন করতে হবে state আপনি যদি আর জানেন না তবে পরিবর্তনগুলি অবশ্যই সিউডোকোডে বলা যেতে পারে। আমি তখন খুশি হয়ে আপনার উত্তরটি গ্রহণ করব :-)
vonjd

আপনার কোডটির ভিত্তিতে যে পোস্টটি আপনি লিঙ্ক করেছেন তার সাথে আমার মতে, উপলব্ধিকারীদের এবং পিছনে প্রচারের একটি দুর্বল উপস্থাপনা, যদিও এটি অবশ্যই ক্ষুদ্র। আপনি কি জানেন কীভাবে প্রসারণ কাজ করে এবং সাধারণ অনুধাবন তত্ত্ব?
কেলান ফ্লুয়েট

ভাল, এক পর্যায়ে, আমি আশা করি। আপনি ঠিক কি পাচ্ছেন? চতুর্ভুজ কার্নেলের সাহায্যে কার্নেল ট্রিকটি ব্যবহার করতে আপনি উপরের কোডটি কীভাবে সংশোধন করবেন?
ভনজড

উপলব্ধি বিবেচনার মানদণ্ডের ল্যাঙ্গরজিয়ান দ্বৈততে কোনও $ \ ভেক {এক্স} ^ ^ c ইন্টারকালাল \ ভেক {এক্স) n't নেই? এটি নির্দিষ্টভাবে যেখানে আপনি কার্নেল ফাংশন মূল্যায়নের সাথে অভ্যন্তরীণ পণ্যটি প্রতিস্থাপন করেন।
কেলান ফ্লুয়েট
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.