কেন কনভোলিউশনাল নিউরাল নেটওয়ার্কগুলি শ্রেণিবদ্ধ করতে কোনও সাপোর্ট ভেক্টর মেশিন ব্যবহার করে না?


46

সাম্প্রতিক বছরগুলিতে, কনভলিউশনাল নিউরাল নেটওয়ার্কগুলি (সিএনএন) কম্পিউটার ভিশনে অবজেক্টের স্বীকৃতির জন্য অত্যাধুনিক শিল্পে পরিণত হয়েছে। সাধারণত, একটি সিএনএন বেশ কয়েকটি কনভ্যুশনাল স্তর নিয়ে গঠিত এবং তারপরে দুটি সম্পূর্ণ সংযুক্ত স্তর রয়েছে। এর পিছনে একটি স্বজ্ঞাত হ'ল কনভ্যুশনাল স্তরগুলি ইনপুট ডেটার আরও ভাল উপস্থাপনা শেখে এবং সম্পূর্ণ সংযুক্ত স্তরগুলি তারপরে লেবেলের সেটগুলির ভিত্তিতে এই প্রতিনিধিত্বকে শ্রেণিবদ্ধকরণ করতে শিখবে।

তবে, সিএনএনগুলি আধিপত্য বিস্তার শুরু করার আগে, সাপোর্ট ভেক্টর মেশিনগুলি (এসভিএম) ছিল অত্যাধুনিক। সুতরাং এটি বলা বুদ্ধিমান বলে মনে হয় যে একটি এসভিএম এখনও একটি দুটি স্তরের সম্পূর্ণ সংযোগযুক্ত নিউরাল নেটওয়ার্কের চেয়ে শক্তিশালী শ্রেণিবদ্ধ। অতএব, আমি ভাবছি যে অত্যাধুনিক সিএনএনগুলি কোনও এসভিএমের চেয়ে শ্রেণিবদ্ধের জন্য সম্পূর্ণ সংযুক্ত স্তরগুলি ব্যবহার করার ঝোঁক কেন? এইভাবে, আপনার উভয় বিশ্বের সেরা হবে: একটি শক্তিশালী বৈশিষ্ট্য উপস্থাপনা এবং একটি শক্তিশালী শ্রেণীবদ্ধকারী, একটি শক্তিশালী বৈশিষ্ট্য উপস্থাপনের চেয়ে বরং কেবল একটি দুর্বল শ্রেণিবদ্ধ ...

কোন ধারনা?

উত্তর:


54

এটা হতে পারে; আইসিএমএল ওয়ার্কশপ পেপার, লিনিয়ার সাপোর্ট ভেক্টর মেশিনস , টেং (২০১৩) ব্যবহার করে ডিপ লার্নিং হুবহু এটি করেছে এবং ছোট কিন্তু ধারাবাহিক উন্নতি পেয়েছে। এটি কখনও কখনও সিএনএনগুলি সাধারণ উপায়ে প্রশিক্ষণের জন্যও করা হয় তবে তারপরে একটি দেরী স্তরের আউটপুটটিকে "বৈশিষ্ট্যগুলি" হিসাবে গ্রহণ করে এবং এটিতে একটি পৃথক এসভিএম প্রশিক্ষণ দেয়।

নোট, যদিও, যে, তারা ব্যবহার করছেন সেটি রৈখিক SVMs, এবং সত্যিই, একটি রৈখিক SVM এবং লজিস্টিক রিগ্রেশন (যা সিগমা অ্যাক্টিভেশন সঙ্গে একটি একক বাইনারি-আউটপুট স্তর সমতূল্য) মধ্যে পার্থক্য বেশ ছোট। নেট এটির অতিরিক্ত স্তর, এটি শিখতে আপনার কাছে যথেষ্ট পরিমাণে ডেটা রয়েছে তা ধরে নিলে, শেষ দুটি স্তরটি একটি লিনিয়ার এসভিএমের তুলনায় আরও শক্তিশালী করে তোলে - যদিও আপনি অবশ্যই একটি সম্পূর্ণ সংযুক্ত সিগময়েড বা রিলু স্তর করতে পারেন এবং তারপরে একটি এসভিএম স্তরটি শেষ রাখবেন।

এছাড়াও, মাল্টিক্লাস আউটপুটগুলির জন্য, মাল্টিক্লাস এসভিএমগুলির চেয়ে সফটম্যাক্স অ্যাক্টিভেশনগুলি আরও প্রাকৃতিক এবং আমি মনে করি যে সেই কাগজের এসভিএম পদ্ধতির পরিমাণ আরও কিছুটা গণনামূলকভাবে নিবিড়। সুতরাং লোকেরা সাধারণত এটির পক্ষে উপযুক্ত বলে মনে করে না।


0

আমি যতদূর দেখতে পাচ্ছি, কমপক্ষে দু'পক্ষের পার্থক্য রয়েছে:

  1. সিএনএনগুলি চিত্রের ডেটা নিয়ে কাজ করার জন্য ডিজাইন করা হয়েছে, এসভিএম আরও জেনেরিক শ্রেণিবদ্ধকারী;
  2. সিএনএনগুলি এক্সট্রাক্ট বৈশিষ্ট্যগুলি যখন এসভিএম কেবল তার ইনপুটটিকে কিছু উচ্চ মাত্রিক স্থানে ম্যাপ করে যেখানে (আশা করা যায়) শ্রেণীর মধ্যে পার্থক্য প্রকাশ করা যেতে পারে;
  3. ২. এর মতো, সিএনএনগুলি গভীর স্থাপত্য এবং এসভিএমগুলি অগভীর;
  4. শিক্ষার উদ্দেশ্যগুলি পৃথক: এসভিএমগুলি মার্জিন সর্বাধিক করার জন্য দেখায়, যখন সিএনএন নেই (আরও জানতে আগ্রহী হবে)

এটি বলা হচ্ছে, এসএনএমগুলি সিএনএন সরবরাহ করা যেমন ভাল বৈশিষ্ট্যগুলি একটি ভাল কার্নেল ফাংশন ব্যবহার করা হয় তত ভাল কাজ করতে পারে।


4
আমি মনে করি আপনি প্রশ্নটি ভুল বুঝে থাকতে পারেন; এটি সিএনএন এর শেষে একটি "এসভিএম স্তর" ব্যবহার করার বিষয়ে।
ডগল

4
আমি একটি সিএনএন এবং এসভিএমের মধ্যে পার্থক্য বুঝতে পেরেছি, তবে @ ডুগাল যেমন বলেছেন, আমি একটি সিএনএন এর চূড়ান্ত স্তর সম্পর্কে আরও জিজ্ঞাসা করছি। সাধারণত, এটি একটি সম্পূর্ণ-সংযুক্ত নিউরাল নেটওয়ার্ক, তবে আমি নিশ্চিত না যে এসভিএমগুলি কেন এখানে ব্যবহার করা হয় না কারণ তারা দ্বি-স্তরের নিউরাল নেটওয়ার্কের চেয়ে শক্তিশালী হতে থাকে।
কর্নিভাইরাস

6
@ কার্নিভৌরাস আপনার প্রশ্নটি ভুলভাবে পড়ার জন্য দুঃখিত ধারণাটি নতুন নয়। সাধারণত শেষ স্তরটি ফেলে দেওয়া হয় এবং শেষ স্তরটির আউটপুট অন্যান্য শ্রেণিবদ্ধকরণ অ্যালগরিদমের বৈশিষ্ট্য হিসাবে ব্যবহৃত হয়। কেন এটি ধারাবাহিকভাবে এবং সর্বত্র করা হয় না? শেষ স্তরের বৈশিষ্ট্যগুলি সাধারণত এত বৈষম্যমূলক যে এসভিএম হিসাবে একটি পরিশীলিত ব্ল্যাক বক্সের প্রয়োজন নেই, একটি সাধারণ লজিস্টিক রিগ্রেশন কাজটি করে। এটি আমার দৃষ্টিভঙ্গি।
ভ্লাদিস্লাভস ডোভগ্যালিক্স
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.