এসভিএম লাগানোর সময় দ্বৈত সমস্যা নিয়ে কেন বিরক্ত করবেন?

Question

ডাটা পয়েন্টের দেওয়া ও লেবেল Y 1 , ... , Y এন ∈ { - 1 , 1 } , হার্ড মার্জিন SVM আদিম সমস্যা$x_1, \ldots, x_n \in \mathbb{R}^d$$y_1, \ldots, y_n \in \left \{-1, 1 \right\}$

$$\text{minimize}_{w, w_0} \quad \frac{1}{2} w^T w$$ $$\text{s.t.} \quad \forall i: y_i (w^T x_i + w_0) \ge 1$$

যেটি ভেরিয়েবল সহ চতুর্ভুজ প্রোগ্রাম এবং অপরিবর্তিত হওয়ার জন্য এবং আমার প্রতিবন্ধকতাগুলি। দ্বৈত$d+1$$i$

$$\text{maximize}_{\alpha} \quad \sum_{i=1}^{n}{\alpha_i} - \frac{1}{2}\sum_{i=1}^{n}{\sum_{j=1}^{n}{y_i y_j \alpha_i \alpha_j x_i^T x_j}}$$ হল একটি চতুষ্কোণ প্রোগ্রাম যা এন + 1 ভেরিয়েবল এবং n বৈষম্য এবং n সমতার সীমাবদ্ধতারজন্য অনুকূল হতে পারে। $$\text{s.t.} \quad \forall i: \alpha_i \ge 0 \land \sum_{i=1}^{n}{y_i \alpha_i} = 0$$ $n + 1$$n$$n$

হার্ড মার্জিন এসভিএম বাস্তবায়ন করার সময়, কেন আমি প্রাথমিক সমস্যার পরিবর্তে দ্বৈত সমস্যাটি সমাধান করব? প্রাথমিক সমস্যাটি আমার কাছে আরও 'স্বজ্ঞাত' বলে মনে হচ্ছে এবং দ্বৈত ফাঁক, কুহন-টকারের অবস্থা ইত্যাদি নিয়ে নিজেকে উদ্বিগ্ন করার দরকার নেই I

এটা আমার কাছে জানার জন্য যদি দ্বৈত সমস্যা সমাধানের জন্য চাই কিন্তু আমি সন্দেহ সেখানে ভাল কারণ আছে। এই ঘটনা কি?$d \gg n$

Comments

সংক্ষিপ্ত উত্তর কর্নেল হয়। দীর্ঘ উত্তরটি হ'ল কৌরিনীল (-;

দ্বৈত সমস্যার সর্বাধিক গুরুত্বপূর্ণ বিষয় হ'ল উচ্চ মাত্রা সহ মহাকাশগুলিতে আসল তথ্য ম্যাপিংয়ের লক্ষ্য নিয়ে কার্নেল ট্রিকটি প্রবর্তন করা।

— বিগিয়েডেস্ট্রোয়ার

Answer 1

@ ব্যবহারকারী 765195 এর উত্তরে (ধন্যবাদ!) রেফারেন্স করা বক্তৃতা নোটের ভিত্তিতে সর্বাধিক আপাত কারণগুলি মনে হচ্ছে:

$w$$\alpha_i$$x$$w^Tx$$d$

$\alpha_i$$\alpha_i = 0$$x$

$$w^Tx + w_0 = \left(\sum_{i=1}^{n}{\alpha_i y_i x_i} \right)^T x + w_0 = \sum_{i=1}^{n}{\alpha_i y_i \langle x_i, x \rangle} + w_0$$

এই শব্দটি খুব দক্ষতার সাথে গণনা করা হয় যদি সেখানে খুব কম সমর্থন ভেক্টর থাকে। আরও, যেহেতু এখন আমাদের কেবল ডেটা ভেক্টরগুলির সাথে জড়িত একটি স্কেলার পণ্য রয়েছে , তাই আমরা কার্নেল ট্রিক প্রয়োগ করতে পারি ।

Comments

অপেক্ষা করুন. ধরা যাক আপনার কাছে দুটি সমর্থন ভেক্টর x1 এবং x2 রয়েছে। আপনার চেয়ে দু'জনের চেয়ে কম থাকতে পারে না? আপনি কি বলছেন যে <x1, x> এবং <x2, x> গণনা <ডাব্লু, এক্স> এর চেয়ে দ্রুত?

— লিও

@ লিও: নোট করুন যে আমি ব্যবহার করি <x1, x>এবং wTx। পূর্ববর্তীটি কার্নেল মূল্যায়ন কে (এক্স 1, এক্স) এর প্রতীক হিসাবে ব্যবহৃত হয়, যা এক্স 1 এবং এক্সকে খুব উচ্চ-মাত্রিক স্থানের মধ্যে প্রজেক্ট করে এবং প্রত্যাশিত মানগুলির স্প্ল্যারাল গুণমান গণনা করে। আধুনিক স্বাভাবিক স্কালে পণ্য, তাই wএবং xস্পষ্টভাবে অভিক্ষিপ্ত করা থাকতে হবে, এবং তারপর স্কালে পণ্যের স্পষ্টভাবে গণনা করা হয়। কার্নেলের পছন্দ অনুসারে, একক সুস্পষ্ট গণনা অনেকগুলি কার্নেল মূল্যায়নের চেয়ে অনেক বেশি গণনা নিতে পারে।

— blubb

$\alpha$$\alpha$$\alpha$

"আরও, যেহেতু আমাদের কাছে এখন কেবল স্কেলার পণ্য রয়েছে যা কেবল ডেটা ভেক্টরগুলিকে জড়িত তাই আমরা কার্নেল ট্রিক প্রয়োগ করতে পারি" " - এটি প্রাথমিক গঠনের ক্ষেত্রেও সত্য।

— ফায়ারব্যাগ

লোকেরা যদি @ ফায়ারবুগের মন্তব্যে আরও বিস্তারিত জানতে চান ... তবে lib.kobe-u.ac.jp/repository/90001050.pdf এর 10- 12 সমীকরণ দেখুন (এটি প্রাথমিকের একটি সংঘবদ্ধ সংস্করণ)।

— মিঃডিআরফেনার

Answer 2

১৩ নং পৃষ্ঠায় দ্বিতীয় অনুচ্ছেদটি পড়ুন এবং এই নোটগুলিতে আলোচনাটি এগিয়ে চলছে:

http://cs229.stanford.edu/notes/cs229-notes3.pdf

Comments

এটি একটি দুর্দান্ত রেফারেন্স এবং স্পষ্টভাবে প্রশ্নের উত্তর দেয়। আমি মনে করি আপনার উত্তরটি এখানে আরও ভালভাবে প্রশংসিত হবে যদি আপনি এখানে উত্তরটির সংক্ষিপ্তসার করতে পারেন: যা এই থ্রেডটি নিজেই পাশে দাঁড়ায়।

— হোবার

Answer 3

দ্বৈত গঠনের সংখ্যাসূচক অপ্টিমাইজেশন দৃষ্টিকোণ থেকে আকর্ষণীয় হওয়ার কারণ এখানে। আপনি নিম্নলিখিত কাগজে বিস্তারিত জানতে পারেন :

হিশিহ, সি। মেশিন লার্নিংয়ের 25 তম আন্তর্জাতিক সম্মেলন, হেলসিঙ্কি, ২০০৮।

দ্বৈত গঠন একটি একক affine সমতা বাধা এবং n সীমাবদ্ধতা জড়িত।

1. দ্বৈত গঠন থেকে অ্যাফাইন সাম্যের সীমাবদ্ধতা "নির্মূল" করা যেতে পারে।

আর ^ (d + 1) এ R ^ d এমবেডিংয়ের মাধ্যমে আর ^ (d + 1) এ আপনার ডেটা কেবলমাত্র প্রতিটি ডাটা পয়েন্টে একক "1" স্থানাঙ্ক যোগ করা থেকে সমাধান করেই করা যেতে পারে, অর্থাৎ আর ^ d ----> আর ^ (ডি + 1): (এ 1, ..., বিজ্ঞাপন) | ---> (এ 1, ..., বিজ্ঞাপন, 1)

প্রশিক্ষণ সংস্থার সকল পয়েন্টের জন্য এটি করা আর ^ (ডি + 1) এ রৈখিক পৃথকীকরণ সমস্যা পুনরুদ্ধার করে এবং আপনার শ্রেণিবদ্ধ থেকে ধ্রুবক শব্দ ডব্লিউ 0 কে সরিয়ে দেয়, যার ফলে দ্বৈত থেকে অ্যাফাইন সাম্যের সীমাবদ্ধতা দূর হয়।

২. পয়েন্ট 1 দ্বারা, দ্বৈত সহজেই উত্তল চতুর্ভুজ অপ্টিমাইজেশান সমস্যা হিসাবে নিক্ষেপ করা যেতে পারে যার সীমাবদ্ধতা কেবল আবদ্ধ সীমাবদ্ধ।

৩. দ্বৈত সমস্যাটি এখন দক্ষতার সাথে সমাধান করা যেতে পারে, যেমন দ্বৈত স্থানাঙ্ক বংশদ্ভুত অ্যালগরিদমের মাধ্যমে যা ও (লগ (1 / এপসিলন) এপসিলন-অনুকূল সমাধান দেয়।

এটি উল্লেখ করেই করা হয় যে একটি ব্যতীত সমস্ত আলফাস ফিক্সিংয়ের ফলে একটি বন্ধ-ফর্ম সমাধান পাওয়া যায়। তারপরে আপনি একে একে সমস্ত আলফা চক্র করতে পারেন (উদাহরণস্বরূপ এলোমেলোভাবে একটি বেছে নেওয়া, অন্যান্য সমস্ত বর্ণমালা ঠিক করা, বন্ধ ফর্ম সমাধান গণনা করা)। যে কেউ আপনাকে দেখিয়ে দিতে পারে যে আপনি এইভাবে "বরং দ্রুত" কাছাকাছি-অনুকূল সমাধানটি পাবেন (উপরোক্ত কাগজে থিয়েরেম 1 দেখুন)।

দ্বৈত সমস্যাটিকে অপটিমাইজেশন দৃষ্টিকোণ থেকে আকর্ষণীয় করার জন্য আরও অনেক কারণ রয়েছে, যার মধ্যে কয়েকটি সত্য যে এটির কেবলমাত্র একটি সাম্যসীমাবদ্ধতা রয়েছে (অন্যটি সীমাবদ্ধতাগুলি সমস্ত আবদ্ধ প্রতিবন্ধকতা) রয়েছে এবং অন্যরা পর্যবেক্ষণটি ব্যবহার করে যে সমাধানে রয়েছে দ্বৈত সমস্যার মধ্যে "প্রায়শই বেশিরভাগ বর্ণমালা" শূন্য হয় (ভেক্টরকে সমর্থন করার জন্য অ-শূন্য বর্ণমালা)।

আপনি কমপিটেশনাল লার্নিং ওয়ার্কশপ (২০০৯) এর স্টিফেন রাইটের উপস্থাপনা থেকে এসভিএমগুলির জন্য সংখ্যাগত অপ্টিমাইজেশন বিবেচনার একটি ভাল ওভারভিউ পেতে পারেন ।

PS: আমি এখানে নতুন। এই ওয়েবসাইটে গাণিতিক স্বরলিপি ব্যবহার না করায় ক্ষমা চাইছি।

Comments

গণিতের টাইপসেটিংটি কীভাবে ব্যবহার করবেন সে সম্পর্কিত তথ্য এখানে: math.meta.stackexchange.com/questions/5020/…

— মনিকা

Answer 4

অ্যান্ড্রু এনজি এর বক্তৃতা নোটগুলিতে আমার মতে, এটি স্পষ্টভাবে উল্লেখ করা হয়েছে যে 1 / || ডাব্লু || এর প্রাথমিক সমস্যাটি একটি উত্তল সমস্যা। দ্বৈত একটি উত্তল সমস্যা এবং এটি উত্তল কার্যের সর্বোত্তম সন্ধান করা সর্বদা সহজ always

Comments

উপরে বর্ণিত হিসাবে এসভিএম প্রাথমিকটি উত্তল ve

— ডগল