দ্রুততম এসভিএম বাস্তবায়ন

Question

একটি সাধারণ প্রশ্ন আরও। ভবিষ্যদ্বাণীপূর্ণ মডেলিংয়ের জন্য আমি একটি আরবিএফ এসভিএম চালাচ্ছি। আমি মনে করি আমার বর্তমান প্রোগ্রামটির স্পষ্টভাবে কিছুটা গতি বাড়ানো দরকার। গ্রিড অনুসন্ধান + ক্রস বৈধকরণ জরিমানা করতে আমি মোটা দিয়ে সাইকিট লার্ন ব্যবহার করি।

প্রতিটি এসভিএম রান প্রায় এক মিনিট সময় নেয় তবে সমস্ত পুনরাবৃত্তির সাথে আমি এখনও এটি খুব ধীর খুঁজে পাচ্ছি। ধরে নিচ্ছি যে আমি শেষ পর্যন্ত একাধিক কোরের উপরে ক্রস বৈধতা অংশটি মাল্টি থ্রেড করব, আমার প্রোগ্রামটি গতি বাড়ানোর বিষয়ে কোনও প্রস্তাবনা রয়েছে? এসভিএমগুলির কোনও দ্রুত বাস্তবায়ন? আমি কয়েকটি জিপিইউ এসভিএমের কথা শুনেছি, তবে এটি তেমন খনন করি নি। কোন ব্যবহারকারী এবং এটি কি দ্রুত?

Comments

স্কাইকিট-শিখায় এসজিডিসি ক্লাসিফায়ার খুব দ্রুত, তবে লিনিয়ার এসভিএমগুলির জন্য। আপনি বিজ্ঞানী শিখতে বলছি জিজ্ঞাসা করতে পারেন, এছাড়াও ট্যাগ বিজ্ঞান - শিখুন।

— অস্বীকার

অ-লিনিয়ার কার্নেল এসভিএম ধীর হয়ে গেছে ome সম্ভবত আপনার রৈখিক মডেলগুলির সাথে খেলা শুরু করা উচিত (ভোপাল ওয়েব্বিটটি দেখুন) এবং তারপরে অ-লিনিয়ারে যান। এমনকি লিনিয়ার মডেলগুলির সাথে আরও জটিল বৈশিষ্ট্য তৈরি করে আপনি কিছু অ-লিনিয়ারিটি পেতে পারেন। বেশিরভাগ ক্ষেত্রেই অ-লিনিয়ার মডেলগুলির ফলে বড় অঙ্কের ব্যয়ে কিছু বর্ধনশীল কর্মক্ষমতা বৃদ্ধি পাওয়া যায়। বাস্তব-দৃষ্টিকোণ থেকে অ-লিনিয়ার কার্নেল এসভিএমের বিরুদ্ধে কিছুই নয়, কেবল মনে রাখা।

— ভ্লাদিস্লাভস ডভগ্লেলেকস

হাইপারপ্যারমিটার অনুসন্ধানের জন্য বিশেষায়িত টিউনিং লাইব্রেরিগুলি ব্যবহার করে আপনি গতি বাড়িয়ে তুলতে পারেন যা গ্রিড অনুসন্ধানের চেয়ে আরও কার্যকর (যেমন হাইপারপ্যারামিটারের কম সেটগুলির পরীক্ষা করা প্রয়োজন)। টিউনিং গ্রন্থাগারগুলির উদাহরণগুলির মধ্যে অপ্টিউটিউশন এবং হাইপারপট অন্তর্ভুক্ত রয়েছে ।

— মার্ক ক্লেসেন

Answer 1

গুগলের সোফিয়া অ্যালগরিদমে একটি লিনিয়ার এসভিএমের অত্যন্ত দ্রুত প্রয়োগ রয়েছে। এটি সেখানে দ্রুততম এসভিএমগুলির মধ্যে একটি, তবে আমি মনে করি এটি কেবল শ্রেণিবিন্যাসকে সমর্থন করে, এবং কেবল লিনিয়ার এসভিএম সমর্থন করে।

এমনকি একটি আর প্যাকেজ আছে !

Comments

আপনার লিঙ্কটি এখন বলছে "প্যাকেজ 'আরসফিয়া' সিআরএএন সংগ্রহস্থল থেকে সরানো হয়েছে।" কোন ধারণা কেন?

— জেমস হিরশর্ন

@ জেমসহির্সকর্ন সম্ভবত বিকাশকারী এটি বজায় রাখা বন্ধ করেছেন। আপনি এটি CRAN সংরক্ষণাগার থেকে ইনস্টল করতে পারেন।

— Zach

Answer 2

আপনি যে সবচেয়ে সহজ গতি অর্জন করতে চলেছেন তা হ'ল সমান্তরালে ক্রস-বৈধকরণ চালানো। ব্যক্তিগতভাবে, আমি আর এর ক্যারেট প্যাকেজটি পছন্দ করি , যা পূর্বাভাসটিকে ব্যাকএন্ড হিসাবে ব্যবহার করে । ক্রস-বৈধকরণ এবং গ্রিড একাধিক কোর বা একাধিক মেশিনে অনুসন্ধান করা খুব সহজ করে তোলে।

ক্যারেট rbf এসভিএম সহ অনেকগুলি বিভিন্ন মডেল পরিচালনা করতে পারে:

library(caret)
library(doMC)
registerDoMC()
model <-  train(Species ~ ., data = iris, method="svmRadial", 
    trControl=trainControl(method='cv', number=10))
> confusionMatrix(model)
Cross-Validated (10 fold) Confusion Matrix 

(entries are percentages of table totals)

            Reference
Prediction   setosa versicolor virginica
  setosa       32.4        0.0       0.0
  versicolor    0.0       30.9       2.0
  virginica     0.9        2.4      31.3

নোট করুন যে ডোএমসি () গ্রন্থাগারটি কেবল ম্যাক এবং লিনাক্সে উপলব্ধ, এটি কমান্ড লাইন থেকে চালানো উচিত, জিইউআই থেকে নয়, এবং এটি আরউইকা থেকে কোনও মডেলকে ভেঙে দেয়। সমান্তরাল ব্যাকএন্ড হিসাবে MPI বা SNOW ক্লাস্টারগুলি ব্যবহার করা সহজ , যার মধ্যে এই সমস্যাগুলি নেই।

Comments

ধন্যবাদ জ্যাচ আমি বিশ্বাস করি বিজ্ঞানীদেরও সমান্তরালভাবে ক্রস বৈধকরণ চলার একটি উপায় রয়েছে যা আমি করার পরিকল্পনা করি। তা বাদ দিয়ে, গতিবেগ নিয়ে অন্য কোনও পরামর্শ? ধন্যবাদ।

— টমাস

@ লানজেহারি: সমান্তরাল ক্রস-বৈধতা এখানে সত্যিই কম ঝুলন্ত ফল and এর বাইরে, বিশেষত এসভিএমগুলি গতি বাড়ানোর বিষয়ে আমি খুব বেশি কিছু জানি না। আপনি যদি একটি সমান্তরাল এসভিএম অ্যালগরিদম খুঁজে পেতে পারেন তবে এটিও খুব ভাল ধারণা। আপনি প্রশিক্ষণের জন্য যে ডেটা সেটটি ব্যবহার করছেন তা কতগুলি সারি / কলাম রয়েছে?

— জাচ

ধন্যবাদ জ্যাচ আমি সমান্তরাল সিভিতে নজর দেব। আমি প্রায় 650 টি বৈশিষ্ট্য এবং 5000 টি উদাহরণ দিচ্ছি।

— টমাস

Answer 3

আমি বুঝতে পেরেছি যে এটি একটি বেশ পুরানো প্রশ্ন, তবে কার্নেল বৈশিষ্ট্য মানচিত্রের নিম্ন-মাত্রিক অনুমানগুলি ব্যবহার করতে এবং এটি লিনিয়ার-এসভিএম ব্যবহার করে এটিও সম্ভব (আপনার ডেটাসেটের আকারের উপর নির্ভর করে এটি কম বা কম কার্যকর হতে পারে) that Http://scikit-learn.org/stable/modules/kernel_approximation.html দেখুন

Answer 4

পাইথনের মাল্টিপ্রসেসিং মডিউলটি একবার দেখুন। এটি সমান্তরাল জিনিসগুলিকে সত্যই সহজ করে তোলে এবং ক্রস বৈধতার জন্য উপযুক্ত।

Answer 5

আর-এর দুর্দান্ত জিপিইউ-এক্সিলার্টড এসএমএম প্যাকেজ আরপাসভম রয়েছে , 20 কে নমুনা * 100 টি মাত্রার উপর প্রশিক্ষণ নিতে it 20 সেকেন্ড সময় লাগে, এবং আমি দেখতে পেলাম যে সিপিইউ এর দ্বারা কখনই ওভারলোড হয় না, তাই এটি জিপিইউ দক্ষতার সাথে ব্যবহার করে। তবে এর জন্য একটি এনভিআইডিএ জিপিইউ দরকার।

Answer 6

সতর্কতা: এটি একটি নির্লজ্জ প্লাগ।

ডায়নাএমএল বিবেচনা করুন একটি স্কাল ভিত্তিক এমএল গ্রন্থাগার যা আমি কাজ করছি। গ্রিড অনুসন্ধান বা কাপলড সিমুলেটেড অ্যানিয়েলিং ব্যবহার করে আমি স্বয়ংক্রিয় কার্নেল টিউনিংয়ের সাথে কার্নেল ভিত্তিক এলএস-এসভিএম (অন্তত স্কয়ারস সাপোর্ট ভেক্টর মেশিনস) প্রয়োগ করেছি।

http://mandar2812.github.io/DynaML/