একটি এসভিএম এবং কবজ ক্ষতির মধ্যে কী সম্পর্ক?

Question

আমার সহকর্মী এবং আমি লজিস্টিক রিগ্রেশন এবং একটি এসভিএম এর মধ্যে পার্থক্যটি ঘিরে আমাদের মাথা গুটিয়ে দেওয়ার চেষ্টা করছি। স্পষ্টতই তারা বিভিন্ন উদ্দেশ্যমূলক ক্রিয়াকে অপ্টিমাইজ করছে। কোনও এসভিএম কি এতটা সহজ যে এটি বৈষম্যমূলক শ্রেণিবদ্ধকারী যা কেবল কব্জা ক্ষতিটিকে অনুকূল করে তোলে? নাকি এর চেয়ে জটিল? সাপোর্ট ভেক্টররা কীভাবে খেলতে আসে? স্ল্যাক ভেরিয়েবলের কী হবে? সিগময়েড অ্যাক্টিভেশন ফাংশন সহ আপনার গভীর স্নায়ুবিহীন নেটওয়ার্ক রাখতে না পারার মতো গভীর এসভিএমের কেন থাকতে পারে না?

Comments

আমি এখানে একটি যুক্তিসঙ্গত উত্তর পেয়েছি: stats.stackexchange.com/questions/187186/…

— সাইমন

আমি এই প্রশ্নটি বন্ধ করতে ভোট দিচ্ছি কারণ এটি ক্রস পোস্টিং: stats.stackexchange.com/q/187186/25741

— মার্টিন থোমা

Answer 1

তারা উভয়ই বৈষম্যমূলক মডেল, হ্যাঁ। লজিস্টিক রিগ্রেশন লস ফাংশনটি ধারণাগতভাবে সমস্ত পয়েন্টের একটি ফাংশন। সঠিকভাবে শ্রেণিবদ্ধ পয়েন্টগুলি ক্ষতির ক্রিয়ায় খুব সামান্য যোগ করে, সীমানার কাছাকাছি থাকলে আরও যুক্ত করে। সীমানার নিকটবর্তী পয়েন্টগুলি ক্ষতির পক্ষে আরও গুরুত্বপূর্ণ এবং তাই সীমানাটি কতটা ঠিক তা স্থির করে।

এসভিএম একটি কব্জা ক্ষতি ব্যবহার করে, যা ধারণাগতভাবে সীমানা পয়েন্টগুলির উপর জোর দেয়। নিকটস্থ পয়েন্টগুলির চেয়ে আরও দূরের যে কোনও কিছুই কার্যকারিতা "কব্জাকরণ" (সর্বাধিক) কারণে ক্ষতির কোনও কারণ নেই। এই নিকটতম পয়েন্টগুলি হ'ল সমর্থন ভেক্টরগুলি, সহজভাবে। অতএব এটি একটি সীমানা বাছাই করতে হ্রাস করে যা সর্বাধিক মার্জিন তৈরি করে - নিকটতম বিন্দু থেকে দূরত্ব। তত্ত্বটি হ'ল বাউন্ডারি কেস যা সত্যই সাধারণীকরণের জন্য গুরুত্বপূর্ণ।

ক্ষতিটি হ'ল কব্জির ক্ষতিটি পার্থক্যযোগ্য নয়, তবে এর অর্থ হ'ল ল্যাঞ্জরেঞ্জ গুণকগুলির মাধ্যমে কীভাবে এটি অপ্টিমাইজ করা যায় তা আবিষ্কার করতে আরও গণিত লাগে। এটি সত্যিকার অর্থে কেস পরিচালনা করে না যেখানে ডেটা রৈখিকভাবে পৃথকযোগ্য নয়। স্ল্যাক ভেরিয়েবলগুলি এমন কৌশল যা এই সম্ভাবনাটিকে অপ্টিমাইজেশান সমস্যার সাথে পরিষ্কারভাবে অন্তর্ভুক্ত করতে দেয়।

আপনি "গভীর শিক্ষা" দিয়ে দখল ক্ষতি ব্যবহার করতে পারেন, যেমন: http://arxiv.org/pdf/1306.0239.pdf