হার্ড মার্জিন এসভিএম এর ক্ষতির কাজ কী?

Question

লোকে বলেছে নরম মার্জিন এসভিএম হিঞ্জ লস ফাংশনটি ব্যবহার করে: । যাইহোক, আসল উদ্দেশ্য ফাংশন যা নরম মার্জিন এসভিএম হ্রাস করার চেষ্টা করে তা হ'ল rac frac {1} {2} \ | w \ | ^ 2 + C \ Sum_i \ সর্বোচ্চ (0,1-y_i (ডাব্লু ^ x ইন্টারকেল এক্স_আই + বি) ) কিছু লেখক \ | w \ | term 2 টার্ম নিয়মিতকরণ এবং \ সর্বাধিক (0,1-y_i (ডাব্লু \ \ ইন্টারকাল এক্স_আই + বি)) শব্দ ক্ষতির ফাংশন বলে।$\max(0,1-y_i(w^\intercal x_i+b))$

$$\frac{1}{2}\|w\|^2+C\sum_i\max(0,1-y_i(w^\intercal x_i+b))$$ $\|w\|^2$$\max(0,1-y_i(w^\intercal x_i+b))$

যাইহোক, হার্ড মার্জিন এসভিএম-এর জন্য, পুরো অবজেক্ট ফাংশনটি কেবলমাত্র

$$\frac{1}{2}\|w\|^2$$ অর্থ কি হার্ড মার্জিন এসভিএম কেবল কোনও ক্ষতির ক্রিয়াকলাপ ছাড়াই কোনও নিয়মিতকরণকে হ্রাস করতে পারে? খুব অদ্ভুত লাগছে।

ঠিক আছে, যদি $\frac{1}{2}\|w\|^2$ এই ক্ষেত্রে ক্ষতির ফাংশন হয়, তবে আমরা কি তাকে চতুর্ভুজ ক্ষতির ক্রিয়া বলতে পারি? যদি তা হয় তবে কেন হার্ড মার্জিন এসভিএমের ক্ষয়ক্ষতিটি নরম মার্জিন এসভিএম-এ নিয়মিত হয় এবং চতুর্ভুজীয় ক্ষতি থেকে কব্জ হ্রাসে পরিবর্তন করে?

Comments

আমি যা বুঝি তার জন্য, হার্ড মার্জিনের অর্থ আপনি আপনার মার্জিনে ডেটা গ্রহণ করবেন না। ফলস্বরূপ, সর্বাধিক (0, গণনা) সর্বদা 0. ফিরে আসবে

— fxm

Answer 1

কবজা ক্ষতি মেয়াদ $\sum_i\max(0,1-y_i(\mathbf{w}^\intercal \mathbf{x}_i+b))$ নরম মার্জিন SVM স্থগিত মধ্যে misclassifications । হার্ড মার্জিন এসভিএম-এ সংজ্ঞা অনুসারে কোনও ভুল শৃঙ্খলা নেই।

এর প্রকৃত অর্থ হ'ল হার্ড মার্জিন এসভিএম \ | th mathbf {w} \ | ^ 2 হ্রাস করার চেষ্টা করে $\|\mathbf{w}\|^2$। এসভিএম সমস্যা গঠনের কারণে, মার্জিনটি $2/\|\mathbf{w}\|$। যেমন, \ mathbf {w of এর আদর্শকে হ্রাস $\mathbf{w}$করা জ্যামিতিকভাবে মার্জিনকে সর্বাধিক করার সমতুল্য। ঠিক আমরা কী চাই!

দ্রবণ ভেক্টরের বৃহত সহগকে শাস্তি দিয়ে ওভারফিটিং এড়াতে নিয়মিতকরণ একটি কৌশল। হার্ড মার্জিনে এসভিএম হ্রাস ফাংশন এবং একটি নিয়ন্ত্রক উভয় ।$\|\mathbf{w}\|^2$$L_2$

নরম-মার্জিন SVM সালে কবজা ক্ষতি মেয়াদ আরো একটি regularizer মত কিন্তু পরিবর্তে ঢিলা ভেরিয়েবল উপর কাজ করে এবং বদলে । নিয়মিতকরণ করে, এ কারণেই স্ট্যান্ডার্ড এসভিএম সাপোর্ট ভেক্টরগুলির ক্ষেত্রে (কমপক্ষে-স্কোয়ার এসভিএমের বিপরীতে) তুলনামূলক কম।$\mathbf{w}$$L_1$$L_2$$L_1$

Comments

আপনি আরও দুটি বিবরণ এবং গণিত দিয়ে শেষ দুটি অনুচ্ছেদ ব্যাখ্যা করতে পারেন?

— নাইন

Answer 2

কেবল স্পষ্ট করে বলতে গেলে, পয়েন্টগুলি লাইনগতভাবে পৃথকযোগ্য (বা একটি সম্পূর্ণরূপে দুটি পৃথক করে এমন একটি হাইপারপ্লেন আঁকতে পারে) এই সীমাবদ্ধতার বিষয়টিকে হ্রাস করা হয়। অন্য কথায়, ডাব্লু এর একমাত্র অনুমোদিত মানগুলি যা আমরা সমাধান হিসাবে বিবেচনা করতে পারি সেগুলি হ'ল পয়েন্টের দুটি সেটকে পৃথক করে।

$$\frac{1}{2}\|w\|^2$$

এখন, মনে করা হয় যে হার্ড মার্জিন এসভিএম নরম মার্জিনের চেয়ে আরও সহজেই "ওভারফিটগুলি"। কোনও আরবিএফ এসভিএম দিয়ে পর্যাপ্ত পরিমাণে ma দিয়ে কল্পনা করা সহজ , যা জটিল (এবং অতিরিক্ত সম্ভাব্য) অতিরিক্ত ফিটের সিদ্ধান্তের সীমানা তৈরি করতে পারে। মার্জিনটি যত শক্ত (উচ্চতর "সি" দিয়ে সঠিকভাবে অনুকরণ করা হবে) তত কঠিন অনুসন্ধানের ফলে সিদ্ধান্তের সীমানা সন্ধানের চেষ্টা করা হবে যা দুটি সেট পয়েন্টকে নিখুঁতভাবে শ্রেণিবদ্ধ করেছে।$\gamma$

যখন আমরা "নরম মার্জিন" এ চলে যাই তখন সীমাবদ্ধতাগুলি শিথিল করা হয় এবং "স্ল্যাক" প্রবর্তনের মাধ্যমে একটি সংযমের সাথে প্রতিস্থাপন করা হয়। এই স্ল্যাক ভেরিয়েবলটি "কবজ ক্ষতি" শব্দটি দিয়ে সংজ্ঞায়িত করা হয়। সরলকরণের পরে, লোকেরা ক্ষতিগ্রস্তের মতো কব্জায় + l2 এ পৌঁছে যায় এসভিএম-এর সাথে প্রত্যেকে যুক্ত করে। এফডাব্লুআইডাব্লু, আমি সর্বব্যাপী "গ্রেডিয়েন্টগুলি অনুসরণ করুন" সমস্যার পরিবর্তে আরও বেশি অনুকূলকরণের সমস্যা হিসাবে এসভিএমগুলিকে ফ্রেম করতে চাই।