এসভিএম রিগ্রেশন বোঝা: অবজেক্টিভ ফাংশন এবং "ফ্ল্যাটনেস"

শ্রেণিবদ্ধকরণের জন্য এসভিএমগুলি আমার কাছে স্বজ্ঞাত জ্ঞান দেয়: আমি বুঝতে পারি কীভাবে হ্রাস করা যায় সর্বাধিক মার্জিন দেয়। তবে, রিগ্রেশন প্রসঙ্গে আমি সেই উদ্দেশ্যটি বুঝতে পারি না। বিভিন্ন পাঠ্য ( এখানে এবং এখানে ) এটিকে সর্বাধিক "ফ্ল্যাটনেস" হিসাবে বর্ণনা করে। আমরা কেন এটি করতে চাই? রিগ্রেশনে কি "মার্জিন" ধারণার সমতুল্য? $||\theta||^2$

এখানে কয়েকটি চেষ্টা করা উত্তর দেওয়া হয়েছে, কিন্তু সত্যিকার অর্থে আমার বুঝতে সাহায্য করার কোনটি নেই।

regression svm

— ইয়াং
সূত্র

আমি সত্যিই এসভিএম তত্ত্ব নিয়ে আসছি না, তবে যে কার্নেল-মেশিন আলোচনায় আপনি 'ফ্ল্যাটনেস' রয়েছেন তা মনে হচ্ছে: 'ছোট্ট দ্বিতীয়টি ডেরাইভেটিভ রয়েছে' (স্প্লিন স্মুথিং মডেলের আদর্শ অনুপ্রেরণার কথা চিন্তা করুন) think

— কনজুগেটপায়ার

উত্তর:

আমি ফ্ল্যাটনেস সম্পর্কে যেভাবে মনে করি তা হ'ল এটি আমার ভবিষ্যদ্বাণীগুলিকে বৈশিষ্ট্যগুলিতে বিশৃঙ্খলার প্রতি কম সংবেদনশীল করে তুলেছে। মানে, যদি আমি ফর্মের একটি মডেল নির্মাণের করছি যেখানে আমার বৈশিষ্ট্য ভেক্টর ইতিমধ্যেই স্বাভাবিক করা হয়েছে, তারপর ছোট মান আমার মডেল কম পরিমাপ ত্রুটি সংবেদনশীল হয় মানে / এলোমেলো শক / বৈশিষ্ট্যগুলি স্থির নয়, । দুটি মডেল দেওয়া ( অর্থাত্ দুটি সম্ভাব্য মান ) যা সমানভাবে ডেটা ব্যাখ্যা করে, আমি 'চাটুকার' পছন্দ করি।

y = x^{⊤} θ + ϵ,

$y = x^\top \theta + \epsilon,$

x

$x$

θ

$\theta$

x

$x$

θ

$\theta$

আপনি রিজ রিগ্রেশনটিকে কার্নেল ট্রিক বা এসভিএম 'টিউব' রিগ্রেশন ফর্মুলেশন ছাড়াই একই জিনিসটিকে রূপ দেওয়া হিসাবে ভাবতে পারেন।

সম্পাদনা : @ ইয়াং এর মন্তব্যের জবাবে আরও কিছু ব্যাখ্যা:

লিনিয়ার কেসটি বিবেচনা করুন: । ধরুন কিছু বিতরণ থেকে আইড টানা হয়েছে । বিন্দু পণ্যের পরিচয় অনুসারে, আমরা , যেখানে হ'ল এবং মধ্যবর্তী কোণ , যা সম্ভবত কিছু গোলাকার অভিন্ন বিতরণে বিতরণ করা হয়। এখন দ্রষ্টব্য: আমাদের পূর্বাভাসের 'স্প্রেড' ( যেমন নমুনা স্ট্যান্ডার্ড বিচ্যুতি) আনুপাতিক। আমাদের পর্যবেক্ষণগুলির সুপ্ত, নিরর্থক সংস্করণগুলির সাথে ভাল এমএসই পেতে, আমরা এটি সঙ্কুচিত করতে চাই। $y = x^\top \theta + \epsilon$ $x$ $\theta$ $y = ||x|| ||\theta|| \cos\psi + \epsilon$ $\psi$ $\theta$ $x$ $y$ $||\theta||$ $||\theta||$ সিএফ জেমস স্টেইন অনুমানকারী ।
প্রচুর বৈশিষ্ট্য সহ রৈখিক কেসটি বিবেচনা করুন। এবং মডেলগুলি বিবেচনা করুন । যদি এর মধ্যে তুলনায় আরও শূন্য উপাদান রয়েছে তবে একই ব্যাখ্যাযোগ্য শক্তি সম্পর্কে আমরা রেজারের উপর ভিত্তি করে এটি পছন্দ করব, যেহেতু এটির কম ভেরিয়েবলের উপর নির্ভরতা রয়েছে ( যেমন আমরা কিছু উপাদান সেট করে 'বৈশিষ্ট্য নির্বাচন করেছি') এর থেকে শূন্য)। ফ্ল্যাটনেস এই যুক্তির এক ধ্রুবক সংস্করণ। এর প্রতিটি প্রান্তিকের যদি ইউনিট স্ট্যান্ডার্ড বিচ্যুতি থাকে এবং তে উদাহরণস্বরূপ 2 টি উপাদান থাকে যা 10 হয় এবং বাকী $y = x^\top \theta_1 + \epsilon$ $y = x^\top \theta_2 + \epsilon$ $\theta_1$ $\theta_2$ $\theta_1$ $x$ $\theta_1$ $n-2$ আপনার আওয়াজ সহনশীলতার উপর নির্ভর করে 0.0001 এর চেয়ে ছোট, এটি কার্যকরভাবে দুটি বৈশিষ্ট্য 'নির্বাচন' করছে এবং বাকীটিগুলি শূন্য করে।
যখন কার্নেল ট্রিকটি নিযুক্ত করা হয়, আপনি উচ্চ (কখনও কখনও অসীম) মাত্রিক ভেক্টর স্পেসে লিনিয়ার রিগ্রেশন সঞ্চালন করছেন। এর প্রতিটি উপাদান এখন আপনার বৈশিষ্ট্যগুলির সাথে নয়, আপনার নমুনারগুলির একটির সাথে মিলে । যদি এর উপাদানগুলি শূন্য-শূন্য হয়, এবং অবশিষ্ট শূন্য হয়, এর অ-শূন্য উপাদানগুলির সাথে সম্পর্কিত বৈশিষ্ট্যগুলি আপনার 'সমর্থন ভেক্টর' বলে called আপনার এসভিএম মডেলটি সঞ্চয় করতে, ডিস্কে বলুন, আপনার কেবল সেই বৈশিষ্ট্যযুক্ত ভেক্টর রাখা দরকার এবং আপনি তাদের ফেলে দিতে পারেন। এখন চ্যাপ্টা সত্যিই গুরুত্বপূর্ণ, কারণ $\theta$ $k$ $\theta$ $m-k$ $k$ $\theta$ $k$ $k$ ছোট স্টোরেজ এবং সংক্রমণ ইত্যাদি হ্রাস করে । আবার, গোলমাল জন্য আপনার সহনশীলতা উপর নির্ভর করে, আপনি সম্ভবত আউট সমস্ত উপাদান শূন্য করতে কিন্তু বৃহত্তম, কিছু জন্য , একটি SVM রিগ্রেশন সম্পাদন করেন। এখানে সাবলীলতা সমর্থন ভেক্টর সংখ্যার সাথে পার্সিমনি সমতুল্য। $\theta$ $l$ $l$

— shabbychef
সূত্র

সুতরাং এটি মূলত ওএলএসের চতুর্মুখী ক্ষতির ক্রিয়াটির পরিবর্তে 'টিউব' ক্ষতির ফাংশনটির (পয়েন্টের জন্য 0 পেনাল্টি + /- অ্যাপসিলনের) জন্য পেনশন?

— কনজিগেটপায়ার

@ কনজুগেট পূর্বে: হ্যাঁ, সাধারণত কার্নেল রিগ্রেশন একটি 'এপসিলন-সংবেদনশীল ক্ষতি' ফাংশন হ্রাস করে, যা আপনি ps এপসিলন হিসাবে ভাবতে পারেন যেমন দেখুন কার্নেলএসভিএম.ট্রিপড.কম বা যে কোনও একটি স্মোলা এট আল দ্বারা কাগজপত্র ।

f (x) = (| x | - ϵ)^{+}

$f(x) = (|x| - \epsilon)^+$

— shabbychef

ধন্যবাদ শ্যাববিচেফ আমি সবসময় ভাবছিলাম যে সেখানে কী চলছে?

— কনজুগেটপায়ার

@ কনজুগেট প্রাইমার: আমার মনে হয় না এটি আসলে কাঙ্ক্ষিত ক্ষতির কাজ, তবে গণিতটি ভালভাবে কাজ শুরু করে, তাই তারা এটি নিয়ে দৌড়েছিল। অন্তত আমার সন্দেহ।

— shabbychef

@ শ্যাববিচেফ: আমি এখনও হারিয়েছি। এক-মাত্রিক কেস বিবেচনা করুন: । সমস্ত ক্ষুদ্রতর করা আপনাকে আরও অনুভূমিক রেখা দেয়। এটি মনে হয় যে আপনি দ্বিতীয় (আঠালোতা) উল্লেখ করছেন with এবং যদি আমার নমুনা পয়েন্টগুলি (0,0) এবং (1,1e9) হয় তবে কেন আমি চাটুকার রেখাকে পছন্দ করব? অর্থাত, বলতে আমার সহনশীলতা 1 - (1,1e9-1) (কেন আমি (0,0) থেকে জপান লাইন পছন্দ করেন মাধ্যমে (1,1e9)) লাইনের পরিবর্তে ( ) বা (1,1e9 + 1) এর মধ্য দিয়ে রেখা ( )?

y = θ x

$y = \theta x$

θ

$\theta$

ϵ

$\epsilon$

θ = 1 e 9 - 1

$\theta=1e9-1$

θ = 1 e 9

$\theta=1e9$

θ = 1 e 9 + 1

$\theta=1e9+1$

— ইয়াং

shabbychef মডেল জটিলতার দৃষ্টিকোণ থেকে একটি খুব স্পষ্ট ব্যাখ্যা দিয়েছেন। আমি এই সমস্যাটি অন্য কারও দৃষ্টিভঙ্গি থেকে বোঝার চেষ্টা করব যদি এটি কারওর পক্ষে সহায়তা করতে পারে।

মূলত আমরা এসভিসিতে মার্জিনটি সর্বাধিক করতে চাই। এই SVR একই আমরা সর্বাধিক চান যখন ভবিষ্যদ্বাণী ত্রুটি একটি নির্ধারিত স্পষ্টতা মধ্যে ভাল সাধারণীকরণ জন্য। এখানে যদি আমরা সর্বাধিকের পরিবর্তে ভবিষ্যদ্বাণী ত্রুটিটি হ্রাস করি তবে অজানা ডেটাতে ভবিষ্যদ্বাণী ফলাফল খুব বেশি সুফল পাওয়ার সম্ভাবনা বেশি। আসুন এক-মাত্রিক ক্ষেত্রে "ভবিষ্যদ্বাণী ত্রুটি সর্বাধিক করুন" সম্পর্কে ভাবুন। $e$

এক-মাত্রিক ক্ষেত্রে, আমাদের লক্ষ্য সব পয়েন্ট থেকে দূরত্বের পূর্ণবিস্তার হয় ট্রেন্ড লাইন থেকে মধ্যে । দ্রষ্টব্য যে আমরা যথার্থতার সীমাবদ্ধতা হিসাবে নির্ধারণ করেছি যাতে আমরা দূরত্বকে সর্বাধিকতর করতে পারি , হ্রাস করতে পারি না । তারপরে আসুন আমরা একটি বিন্দু থেকে একটি লাইনের দূরত্বের খুব সাধারণ সমীকরণটি একবার দেখে নিই। $(x_i,y_i)$ $y=\omega x+b$ $e$ $e$

\frac{| ω x_{i} - y_{i} + b |}{\sqrt{ω^{2} + 1}}

$\frac{\left|\omega x_i-y_i+b\right|}{\sqrt {\omega^2+1}}$

ঠিক এখন লব সীমাবদ্ধ । দূরত্ব সর্বাধিক করতে আমরা যা করার চেষ্টা করি তা হল হ্রাস করা । $e$ $\omega$

যে কেউ সহজেই দ্বিমাত্রিক কেসটিকে এন-মাত্রিক ক্ষেত্রে প্রসারিত করতে পারে কারণ দূরত্বের সমীকরণটি সর্বদা ইউক্লিডিয়ান দূরত্বের হবে ।

তদ্ব্যতীত, আমাদের তুলনা করার জন্য এসভিআর-তে অপ্টিমাইজেশন সমস্যা সম্পর্কিত একটি পর্যালোচনা থাকতে পারে [1]।

min \frac{1}{2} {| | ω | |}^{2}

$\min \frac{1}{2} {\left| \left| \omega \right| \right|}^2$

s . t . {\begin{cases} y_{i} - < ω, x_{i} > - b \leq e \\ < ω, x_{i} > + b - y_{i} \geq e \end{cases}

$s.t. \begin{cases}y_i-<\omega,x_i>-b \leq e\\<\omega,x_i>+b-y_i \geq e\end{cases}$

ধন্যবাদ।

[1] স্মোলা, এ। এবং বি। শেলকোফ সমর্থন ভেক্টর রিগ্রেশন সম্পর্কিত টিউটোরিয়াল। পরিসংখ্যান এবং কম্পিউটিং, খণ্ড। 14, নং 3, আগস্ট 2004, পিপি 199-2222।

— oloopy
সূত্র

অন্তত, আমি কমানোর মনে করি না ধারণা সাথে কিছু হয়েছে মার্জিন একটি SVM শ্রেণীবিন্যাস সেটিং হিসাবে। এটি সম্পূর্ণ আলাদা লক্ষ্যটির জন্য কাজ করে যা উপরোক্ত দুটি পোস্টের দ্বারা যথাযথভাবে ব্যাখ্যা করা হয়েছে, যেমন, মডেল জটিলতা হ্রাস এবং অতিরিক্ত মান্যতা এড়ানো। $\theta$

— lynnjohn
সূত্র