সমর্থন ভেক্টরের সংখ্যা এবং বৈশিষ্ট্যগুলির সংখ্যার মধ্যে সম্পর্ক

Question

আমি একটি প্রদত্ত ডেটা সেটের বিপরীতে একটি এসভিএম চালিয়েছি এবং নিম্নলিখিত পর্যবেক্ষণ করেছি: যদি আমি শ্রেণিবদ্ধকারী তৈরির জন্য বৈশিষ্ট্যগুলির সংখ্যা পরিবর্তন করি তবে ফলাফল হিসাবে সমর্থিত ভেক্টরের সংখ্যাও পরিবর্তন করা হবে।

আমি এই জাতীয় দৃশ্যের ব্যাখ্যা কীভাবে জানতে চাই।

Comments

এই অতিরিক্ত বৈশিষ্ট্যগুলির ধরন এবং ধরন কী ছিল? যেখানে তারা বিদ্যমান বৈশিষ্ট্যগুলির মতো দেখতে বিভিন্ন ধরণের বৈশিষ্ট্যগুলি দেখায় বা আরও কিছু নতুন বৈশিষ্ট্য যা আপনি ভেবেছিলেন অতিরিক্ত সমাধানের ক্ষমতা থাকতে পারে?

— ফিলিপ ওকলে

এটি একটি নথির শ্রেণিবদ্ধকরণ সমস্যা এবং অতিরিক্ত বৈশিষ্ট্যগুলি কেবল শব্দ। বৈশিষ্ট্য স্পেস তৈরি করতে আমি ইউনিগ্রাম ব্যবহার করেছি।

— ব্যবহারকারী 3269

@ মার্কের উত্তর দেওয়া হয়েছে, যা পরিবর্তনটি করেছে, কী বৈশিষ্ট্যের সংখ্যা বা বিপরীতগুলির সাথে ভেক্টরের সংখ্যা বৃদ্ধি পেয়েছিল?

— ফিলিপ ওকলে

@ ফিলিপ, আমার মূল প্রতিক্রিয়াটি ভুল ছিল। আমি মনে করি সম্পাদিত উত্তরটি এখন সঠিক।

— মার্ক শিভার

Answer 1

আপনি যদি SVM সমাধান করে এমন অপটিমাইজেশন সমস্যাটি দেখেন:

$\min_{\mathbf{w},\mathbf{\xi}, b } \left\{\frac{1}{2} \|\mathbf{w}\|^2 + C \sum_{i=1}^n \xi_i \right\}$

st সমস্ত$y_i(\mathbf{w}\cdot\mathbf{x_i} - b) \ge 1 - \xi_i, ~~~~\xi_i \ge 0,$$i=1,\dots n$

সমর্থন ভেক্টর যারা যেখানে সংশ্লিষ্ট । অন্য কথায়, এগুলি হ'ল ডেটা পয়েন্ট যা হয় ভুল শৃঙ্খলাবদ্ধ বা সীমানার কাছাকাছি।$x_i$$\xi_i \gt 0$

এখন আপনি যখন কিছু বৈশিষ্ট্য দূরে নিক্ষেপ করেন সেই ক্ষেত্রে আপনার কাছে বৈশিষ্ট্যগুলির একটি সম্পূর্ণ সেট থাকে তখন এই সমস্যার সমাধানটির তুলনা করি। একটি বৈশিষ্ট্য দূরে নিক্ষেপ বৈশিষ্ট্যগুলি বৈশিষ্ট্যটি contraint পালন, কিন্তু যোগ সমতূল্য বৈশিষ্ট্যের জন্য যে আমরা পরিত্যাগ করতে চান। $w_j=0$$j$

আপনি যখন এই দুটি অপটিমাইজেশন সমস্যাগুলি তুলনা করেন এবং গণিতে কাজ করেন তখন দেখা যায় বৈশিষ্ট্যের সংখ্যা এবং সমর্থন ভেক্টরগুলির সংখ্যার মধ্যে কোনও কঠিন সম্পর্ক নেই। এটি যে কোনও উপায়ে যেতে পারে।

এটি একটি সাধারণ কেস সম্পর্কে চিন্তা করা দরকারী। একটি 2-ম্লাদ কেসটি কল্পনা করুন যেখানে আপনার নেতিবাচক এবং ধনাত্মক বৈশিষ্ট্যগুলি যথাক্রমে (-1, -1) এবং (1,1) চারপাশে ক্লাস্টারযুক্ত রয়েছে এবং 3 টি সমর্থনকারী ভেক্টরগুলির সাথে একটি তির্যক পৃথক হাইপারপ্লেনের সাথে পৃথকযোগ্য ble এখন y- অক্ষ বৈশিষ্ট্যটি বাদ দেওয়ার কল্পনা করুন, সুতরাং এখনই আপনার ডেটা এক্স-অক্ষের উপরে अनुमानিত। যদি ডেটাটি এখনও পৃথকযোগ্য হয় তবে x = 0 এ বলুন, আপনি সম্ভবত কেবল দুটি সমর্থক ভেক্টর রেখে গেছেন, প্রতিটি পক্ষের মধ্যে একটি, তাই y- বৈশিষ্ট্য যুক্ত করা সমর্থন ভেক্টরের সংখ্যা বাড়িয়ে তুলবে। তবে, যদি ডেটা আর পৃথকযোগ্য না হয় তবে আপনি x = 0 এর ভুল দিকের প্রতিটি পয়েন্টের জন্য কমপক্ষে একটি সমর্থন ভেক্টর পাবেন, এক্ষেত্রে ওয়াই-বৈশিষ্ট্য যুক্ত করা সমর্থন ভেক্টরের সংখ্যা হ্রাস করবে।

সুতরাং, যদি এই স্বজ্ঞাততাটি সঠিক হয়, আপনি যদি খুব উচ্চ-মাত্রিক বৈশিষ্ট্যযুক্ত জায়গাগুলিতে কাজ করছেন বা একটি উচ্চ মাত্রিক বৈশিষ্ট্যযুক্ত স্থানের জন্য মানচিত্র তৈরি করে এমন একটি কার্নেল ব্যবহার করেন, তবে আপনার ডেটা পৃথক হওয়ার সম্ভাবনা বেশি বেশি, তাই কোনও বৈশিষ্ট্য যুক্ত করা ঝোঁক হয়ে যাবে শুধু অন্য সমর্থন ভেক্টর যুক্ত করতে। যদিও আপনার ডেটা বর্তমানে পৃথকযোগ্য নয় এবং আপনি এমন একটি বৈশিষ্ট্য যুক্ত করেছেন যা উল্লেখযোগ্যভাবে পৃথকযোগ্যতার উন্নতি করে, তবে আপনার পক্ষে সমর্থন ভেক্টরের সংখ্যা হ্রাস হওয়ার সম্ভাবনা বেশি।