সমর্থন ভেক্টর মেশিনগুলি এখনও তাদের কুলুঙ্গিতে "শিল্পের রাজ্য" হিসাবে বিবেচিত হয়?


58

এই প্রশ্নটি আমি একটি অন্য মন্তব্যে দেখেছি এমন মন্তব্যের জবাবে।

মন্তব্যটি ছিল কোর্সেরায় মেশিন লার্নিং কোর্স সিলেবাস সম্পর্কে, এবং "এসভিএমগুলি আজকাল এত বেশি ব্যবহার করা হয় না" এর ধারায়।

আমি কেবলমাত্র প্রাসঙ্গিক বক্তৃতাগুলি নিজেই শেষ করেছি, এবং এসভিএমগুলি সম্পর্কে আমার বোঝা হ'ল তারা শ্রেণিবদ্ধকরণের জন্য একটি শক্তিশালী এবং দক্ষ লার্নিং অ্যালগরিদম, এবং কার্নেলটি ব্যবহার করার সময়, তাদের কাছে "কুলুঙ্গি" রয়েছে বৈশিষ্ট্যগুলির সংখ্যা 10 থেকে 1000 এবং সম্ভবত প্রশিক্ষণ নমুনার সংখ্যা সম্ভবত 100 থেকে 10,000। প্রশিক্ষণের নমুনাগুলির সীমা হ'ল কারণ মূল অ্যালগরিদম স্কোয়ার ম্যাট্রিক্স থেকে প্রাপ্ত ফলাফলগুলির অনুকূলকরণের চারদিকে ঘোরে যা মূল বৈশিষ্ট্যের সংখ্যার উপর ভিত্তি করে প্রশিক্ষণের নমুনার সংখ্যার উপর ভিত্তি করে মাত্রা সহ।

আমি যে মন্তব্যটি দেখেছি তা কি কোর্সটি তৈরি হওয়ার পর থেকে কিছু বাস্তব পরিবর্তনকে বোঝায় এবং যদি তাই হয় তবে কী পরিবর্তন হয়: এসভিএমের "মিষ্টি স্পট" জুড়ে একটি নতুন অ্যালগরিদম ঠিক তেমনি, আরও ভাল সিপিইউগুলি বোঝায় যার অর্থ এসভিএমের গুণগত সুবিধাগুলি ততটা মূল্যবান নয় are ? অথবা এটি সম্ভবত মন্তব্যকারীর মতামত বা ব্যক্তিগত অভিজ্ঞতা?

আমি যেমন "ফ্যাশনের বাইরে ভেক্টর মেশিনগুলি সমর্থন করি" এর সন্ধানের চেষ্টা করেছি এবং এগুলিকে অন্য কোনও কিছুর পক্ষে বাদ দেওয়া হচ্ছে বলে বোঝানোর মতো কিছুই পাইনি।

এবং উইকিপিডিয়ায় এটি রয়েছে: http://en.wikedia.org/wiki/Support_vector_machine#Issues । । । মূল স্টিকিং পয়েন্টটি মডেলটির ব্যাখ্যা করতে অসুবিধা বলে মনে হচ্ছে। যা ব্ল্যাক-বক্স ভবিষ্যদ্বাণী করা ইঞ্জিনের জন্য এসভিএমকে সূক্ষ্ম করে তোলে, তবে অন্তর্দৃষ্টি তৈরি করার পক্ষে এতটা ভাল নয়। আমি দেখতে পাচ্ছি না যে একটি প্রধান সমস্যা হিসাবে, কাজের জন্য সঠিক সরঞ্জাম বাছাই করার সময় (প্রশিক্ষণের ডেটা এবং শেখার কার্যের প্রকৃতি ইত্যাদির সাথে) বিবেচনার জন্য কেবল অন্য একটি ছোটখাটো বিষয় account


1
এছাড়াও দেখুন stats.stackexchange.com/questions/tagged/svm
StasK

6
আমি এটি পাই না - এটি কি ক্রসভিলেটেডে পোস্ট করা উচিত এমন কোনও প্রশ্ন নয়? ডেটা সায়েন্স এবং ক্রসভিলেটেডের মধ্যে কোথায় যায় সে সম্পর্কে আমি বিভ্রান্ত হতে থাকি।
fnl

@ এফএনএল: এসএমএস-এর কম গাণিতিক "শুদ্ধ" ইঞ্জিনিয়ারড সমাধান থেকে শ্রেণিবদ্ধ হিসাবে কিছু প্রতিযোগিতা রয়েছে, তাই আমি মনে করি এখানে তুলনা করার জন্য ডেটা সায়েন্স আরও ভাল অবস্থানে রয়েছে। যদিও আমি আপনার বিভ্রান্তি ভাগ!
নিল স্লেটার

উত্তর:


46

এসভিএম একটি শক্তিশালী শ্রেণিবদ্ধকারী। এর কিছু দুর্দান্ত সুবিধা রয়েছে (যা আমি মনে করি এটির জনপ্রিয়তার জন্য দায়ী ছিল) ... এগুলি হ'ল:

  • দক্ষতা: শ্রেণিবিন্যাসের সীমানা নির্ধারণে কেবল সমর্থন ভেক্টররা ভূমিকা পালন করে। প্রশিক্ষণ সেট থেকে অন্য সমস্ত পয়েন্টগুলি মেমরির মধ্যে সঞ্চয় করার দরকার নেই।
  • কার্নেলের তথাকথিত শক্তি: উপযুক্ত কার্নেলগুলির সাহায্যে আপনি বৈশিষ্ট্য স্থানটিকে একটি উচ্চ মাত্রায় রূপান্তর করতে পারেন যাতে এটি রৈখিকভাবে পৃথক হয়ে যায়। কার্নেলের ধারণাটি নির্বিচারে বস্তুগুলির সাথে কাজ করে যার উপর ভিত্তি করে আপনি অভ্যন্তরীণ পণ্যগুলির সাহায্যে কিছু মিলের ধারণাটি সংজ্ঞায়িত করতে পারেন ... এবং তাই এসভিএমগুলি গাছ, গ্রাফ ইত্যাদির মতো স্বেচ্ছাসেবী বিষয়গুলিকে শ্রেণিবদ্ধ করতে পারে on

পাশাপাশি কিছু উল্লেখযোগ্য অসুবিধাও রয়েছে।

  • প্যারামিটার সংবেদনশীলতা: নিয়মিতকরণ পরামিতি সি নির্বাচনের ক্ষেত্রে পারফরম্যান্স অত্যন্ত সংবেদনশীল, যা মডেলটিতে কিছুটা বৈকল্পিকতা দেয়।
  • গাউসিয়ান কার্নেলের অতিরিক্ত প্যারামিটার: গাউসিয়ান কার্নেলের ব্যাসার্ধটি শ্রেণিবদ্ধের নির্ভুলতার উপর উল্লেখযোগ্য প্রভাব ফেলতে পারে। সাধারণত একটি গ্রিড অনুসন্ধান অনুকূল পরামিতিগুলি সন্ধান করতে হয়। গ্রিড অনুসন্ধানের জন্য LibSVM- র একটি সমর্থন রয়েছে।

এসভিএমগুলি সাধারণত "স্পার্স কার্নেল মেশিনস" এর শ্রেণীর অন্তর্ভুক্ত। এসভিএম-এর ক্ষেত্রে স্পার্স ভেক্টর হ'ল সাপোর্ট ভেক্টর যা সর্বাধিক মার্জিন মাপদণ্ড থেকে নির্বাচিত হয়। অন্যান্য স্পার্স ভেক্টর মেশিন যেমন প্রাসঙ্গিক ভেক্টর মেশিন (আরভিএম) এসভিএম এর চেয়ে ভাল সম্পাদন করে। নিম্নলিখিত চিত্র দুটির তুলনামূলক অভিনয় দেখায়। চিত্রটিতে, x- অক্ষ দুটি শ্রেণি y = {0,1} থেকে একটি মাত্রিক তথ্য দেখায়} মিশ্রণ মডেলটিকে P (x | y = 0) = ইউনিফ (0,1) এবং পি (x | y = 1) = ইউনিফ (.5,1.5) (ইউনিফ ইউনিফর্ম বিতরণ বোঝায়) হিসাবে সংজ্ঞায়িত করা হয়। এই মিশ্রণটি থেকে 1000 পয়েন্ট নমুনা দেওয়া হয়েছিল এবং উত্তরের অনুমানের জন্য একটি এসভিএম এবং একটি আরভিএম ব্যবহৃত হয়েছিল। এসভিএমের সমস্যাটি হ'ল ভবিষ্যদ্বাণী করা মানগুলি সত্য লগ প্রতিক্রিয়া থেকে অনেক দূরে।

আরভিএম বনাম এসভিএম

একটি খুব কার্যকর শ্রেণিবদ্ধকারী, যা আজকাল খুব জনপ্রিয়, এটি র্যান্ডম ফরেস্ট । প্রধান সুবিধাগুলি হ'ল:

  • টিউন করার জন্য কেবলমাত্র একটি প্যারামিটার (যেমন বনের গাছের সংখ্যা)
  • সম্পূর্ণ পরামিতি সংবেদনশীল নয়
  • সহজেই একাধিক ক্লাসে বাড়ানো যেতে পারে
  • সম্ভাব্য নীতিগুলির উপর ভিত্তি করে (সিদ্ধান্ত গাছগুলির সাহায্যে পারস্পরিক তথ্য অর্জনকে সর্বাধিক করে তোলা)

4
আমি অত্যধিক সমালোচিত হওয়া চাই না, তবে এসভিএমগুলি দক্ষ নয়। বেশিরভাগ ক্ষেত্রে এগুলির একটি ঘন জটিলতা রয়েছে, যার কারণেই সেখানে প্রচুর ফ্যাসিং হচ্ছে।
ইন্দো

2
হ্যাঁ, স্ট্যান্ডার্ড কনভার্জেশন পদ্ধতিগুলি O (n ^ 3) লাগে ... তবে আমি মনে করি যে আমি কোথাও দেখেছি (টি। জোছিমসের হোম পেজ থেকে হতে পারে) যে এটি কমিয়ে আনা হয়েছে (এন ^ 2)
দেবাসিস

4
বেশিরভাগ ব্যবহারিক সমস্যার জন্য @ ইন্ডিকো কর্নেল এসভিএম প্রশিক্ষণের জটিলতাটি চতুর্ভুজটির কাছাকাছি। বেশিরভাগ সময় প্লেটের ঘন এসএমও ব্যবহারের বাইরে ছিল। সত্যিকারের বৃহত ডেটা সেটগুলির জন্য এটি এখনও খুব বেশি, তবে আপনি চিত্রিত করার মতো খারাপ নয়। লিনিয়ার এসভিএম অত্যন্ত কার্যকর, সাবলাইনার জটিলতার সাথে।
মার্ক ক্লিসেন

এসভিএমগুলির অন্যান্য সুবিধা: 1) তাদের অভ্যন্তরীণ কাজগুলি ডেটা বিশ্লেষণের সাথে কম পরিচিত লোকেরা কল্পনা করতে পারে। [এবং স্বল্প পরিমাণে: 2) যদি (অ ডেটা বিজ্ঞান) বিশেষজ্ঞের দ্বারা রিয়েলটাইম ইন্টারেক্টিভ প্রতিক্রিয়া প্রয়োজন হয় তবে লিনিয়ার এসভিএমগুলি দ্রুততর বিকল্প হতে পারে - যার ফলে বিশেষজ্ঞদের দ্বারা আরও ভাল প্রশিক্ষণ নেওয়া যায়]]
tsttst

2
এলোমেলো বনগুলিতে সাধারণত অন্যান্য হাইপারপ্যারামিটার থাকে, যেমন গাছ প্রতি সর্বাধিক সংখ্যক বৈশিষ্ট্য এবং সর্বোচ্চ গভীরতা। এটিও লক্ষণীয় যে এসভিএমগুলি সংস্থানীয় পরিবেশগুলিতে উত্পাদন করা সহজ - মডেলটি স্কোর করতে তাদের খুব বেশি মেমরির প্রয়োজন হয় না।
ডেভিড অ্যান্ডারসন

8

এই প্রশ্নের উত্তরের ক্ষেত্রে একটি উল্লেখযোগ্য পার্থক্য হ'ল আমরা লিনিয়ার সাপোর্ট ভেক্টর মেশিন বা নন-লিনিয়ার , অর্থাৎ কার্নেলাইজড সাপোর্ট ভেক্টর মেশিনের কথা বলছি কিনা ।

লিনিয়ার এসভিএম

লিনিয়ার এসভিএম উভয়ই তাত্ত্বিকভাবে অনুশীলন করে এবং খুব ভাল মডেল অনুশীলন করে যখন আপনার তথ্যগুলি আপনার বৈশিষ্ট্যগুলির রৈখিক সম্পর্কের মাধ্যমে ব্যাখ্যা করা যায়। লিনিয়ার (ওরফে ন্যূনতম-স্কোয়ার্স) রিগ্রেশন জাতীয় ক্লাসিক পদ্ধতির চেয়ে তারা উন্নত , কারণ তারা দৃ in়, এই অর্থে যে ইনপুট ডেটাতে ছোট ছোট খণ্ডনগুলি মডেলটিতে উল্লেখযোগ্য পরিবর্তন আনবে না। লাইনটি (হাইপারপ্লেন) অনুসন্ধান করার চেষ্টা করে এটি অর্জন করা যা আপনার ডেটা পয়েন্টগুলির মধ্যে মার্জিনকে সর্বাধিক করে তোলে । এই সর্বাধিক মার্জিন হাইপারপ্লেনটি অদৃশ্য ডেটা পয়েন্টগুলির তুলনায় মডেলটির সাধারণীকরণ ক্ষমতা সম্পর্কে গ্যারান্টি দিতে দেখানো হয়েছে, একটি তাত্ত্বিক সম্পত্তি অন্যান্য মেশিন লার্নিং পদ্ধতির অভাব lack

লিনিয়ার এসভিএমগুলি অন্যান্য লিনিয়ার মডেল হিসাবেও ব্যাখ্যাযোগ্য, কারণ প্রতিটি ইনপুট বৈশিষ্ট্যের একটি ওজন থাকে যা মডেল আউটপুটকে সরাসরি প্রভাবিত করে।

এছাড়াও লিনিয়ার এসভিএমগুলি প্রশিক্ষণের জন্য খুব দ্রুত , খুব বড় ডেটাসেটের জন্য সাবলাইনাল প্রশিক্ষণের সময় দেখায়। এটি স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত কৌশলগুলি ব্যবহার করে অর্জন করা হয়েছে, এটি অনেক গভীর গভীর শেখার পদ্ধতির ফ্যাশনে।

অ-লিনিয়ার এসভিএম s

অ-রৈখিক এসভিএমগুলি এখনও লিনিয়ার মডেল এবং একই তাত্ত্বিক সুবিধার গর্ব করে তবে তারা একটি বৃহত স্থানের উপরে এই লিনিয়ার মডেলটি তৈরি করতে তথাকথিত কর্নেল ট্রিক ব্যবহার করে । দৃশ্যমান ফলাফলটি হ'ল ফলস্বরূপ মডেল আপনার ডেটাতে অ-রৈখিক সিদ্ধান্ত নিতে পারে। যেহেতু আপনি ডেটা পয়েন্টগুলির মধ্যে একটি কাস্টম কার্নেল এনকোডিং সাদৃশ্য সরবরাহ করতে পারেন, তাই আপনার সমস্যার প্রাসঙ্গিক অংশগুলিতে এই জাতীয় কার্নেলটিকে ফোকাস করতে সমস্যা জ্ঞানের ব্যবহার করতে পারেন। তবে কার্যকরভাবে এটি করা কঠিন হতে পারে, তাই সাধারণভাবে প্রায় সবাই প্লাগ-এন্ড-প্লে গাউসিয়ান কার্নেল ব্যবহার করেন।

অ-লিনিয়ার এসভিএমগুলি আংশিকভাবে ব্যাখ্যাযোগ্য, কারণ তারা আপনাকে বলে দেয় যে কোন প্রশিক্ষণের ডেটা পূর্বাভাসের জন্য প্রাসঙ্গিক, এবং কোনটি নয়। এটি অন্যান্য পদ্ধতির যেমন র্যান্ডম অরণ্য বা ডিপ নেটওয়ার্কগুলির পক্ষে সম্ভব নয়।

দুর্ভাগ্যক্রমে অ-লিনিয়ার এসভিএমগুলি ধীর। স্টেট অফ দ্য আর্ট অ্যালগরিদমটি সিকোয়েন্সিয়াল মিনিমাল অপটিমাইজেশন , যা চতুর্ভুজীয় পারফরম্যান্স দেখায় এবং বহুবিধ মেশিন লার্নিং লাইব্রেরিতে এলআইবিএসভিএম লাইব্রেরির মাধ্যমে ব্যাপকভাবে প্রয়োগ করা হয় , এতে সাইকিট-লার্ন অন্তর্ভুক্ত রয়েছে।

এই পদ্ধতিগুলির জনপ্রিয়তা

এটি সত্য যে এসভিএমগুলি আগের মতো জনপ্রিয় ছিল না: এসভিএম বনাম র্যান্ডম অরণ্য বা ডিপ লার্নিং পদ্ধতির জন্য গবেষণা কাগজপত্র বা বাস্তবায়নের জন্য গুগল করে এটি পরীক্ষা করা যেতে পারে। তবুও, তারা কিছু ব্যবহারিক সেটিংসে বিশেষত রৈখিক ক্ষেত্রে কার্যকর।

এছাড়াও, মনে রাখবেন যে নো-ফ্রি লাঞ্চের উপপাদ্যের কারণে কোনও মেশিন লার্নিং পদ্ধতি সমস্ত সমস্যার চেয়ে অন্য যে কোনওটির চেয়ে সেরা হিসাবে দেখাতে পারে না। কিছু পদ্ধতি সাধারণভাবে আরও ভাল কাজ করে, আপনি সর্বদা ডেটাসেটগুলি দেখতে পাবেন যেখানে খুব সাধারণ পদ্ধতিতে আরও ভাল ফলাফল পাওয়া যায়।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.