সমর্থন ভেক্টর মেশিন বৈশিষ্ট্যের মধ্যে পারস্পরিক সম্পর্কের সংবেদনশীল?

আমি 20 টি বৈশিষ্ট্যের উপর ভিত্তি করে কেস (সত্য / মিথ্যা) শ্রেণিবদ্ধ করতে একটি এসভিএমকে প্রশিক্ষণ দিতে চাই। আমি জানি যে এর মধ্যে কয়েকটি বৈশিষ্ট্য অত্যন্ত সংযুক্ত রয়েছে। সুতরাং আমার প্রশ্নটি হ'ল: এসভিএম বৈশিষ্ট্যগুলির মধ্যে পারস্পরিক সম্পর্ক বা অযৌক্তিকতার জন্য সংবেদনশীল? কোন রেফারেন্স?

svm multicollinearity kernel-trick

— user7064
সূত্র

আমার অনুমান হবে না, যেহেতু একটি ভেরিয়েবলের উপর ভিত্তি করে একটি বিভাজন তৈরি করা অন্য পারস্পরিক সম্পর্কযুক্ত ভেরিয়েবলগুলিকে আরও বিচ্ছেদ সম্পর্কে দুর্বল করে তুলবে। তবে কিছু পরিবর্তনশীলতা থাকতে পারে যা ভেরিয়েবলটি বেছে নেওয়া হয়েছে।

— মানদাটা

আপনি কি লিনিয়ার এসভিএম, বা আরবিএফ কার্নেল, বা ... সম্পর্কে কথা বলছেন?

— ডগল

হুঁ, আমি জানি না ... উত্তর কি এর উপর নির্ভর করে?

— ব্যবহারকারী 7064

হ্যাঁ একেবারে. আপনি চাইলে পারস্পরিক সম্পর্কের সাথে স্পষ্টভাবে ডিল করার জন্য আপনি একটি কার্নেল ডিজাইন করতে পারেন।

— ডগল

@ ডাওগাল: যদি পারস্পরিক সম্পর্কের প্রভাব দূর করার জন্য পদ্ধতি রয়েছে, তবে কী বোঝায় না যে স্ট্যান্ডার্ড এসভিএম পারস্পরিক সম্পর্কের প্রতি সংবেদনশীল?

— সিএফএইচ

লিনিয়ার কার্নেল: এখানে প্রভাব লিনিয়ার রিগ্রেশন-তে বহুবিধ লাইনের সাথে মিল রয়েছে। আপনার শিখানো মডেলটি প্রশিক্ষণ সংস্থার সামান্য পরিবর্তনের বিরুদ্ধে বিশেষভাবে স্থিতিশীল নাও হতে পারে, কারণ বিভিন্ন ওজন ভেক্টরগুলির একই রকম আউটপুট থাকবে। প্রশিক্ষণের সেট পূর্বাভাসগুলি যদিও মোটামুটি স্থিতিশীল হবে এবং একই বন্টন থেকে আগত ভবিষ্যদ্বাণীগুলিও পরীক্ষা করে দেখবে।

আরবিএফ কার্নেল: আরবিএফ কার্নেলটি কেবলমাত্র ডাটা পয়েন্টগুলির মধ্যে দূরত্ব দেখায়। সুতরাং, কল্পনা করুন যে আপনার কাছে আসলে 11 টি বৈশিষ্ট্য রয়েছে তবে এর মধ্যে একটির 10 বার পুনরাবৃত্তি হয়েছে (একটি দুর্দান্ত চরম কেস)। তারপরে সেই পুনরাবৃত্তি বৈশিষ্ট্যটি অন্য কোনও বৈশিষ্ট্যের তুলনায় 10 গুণ দূরত্বে অবদান রাখবে এবং শিখেছি মডেলটি সম্ভবত সেই বৈশিষ্ট্য দ্বারা আরও বেশি প্রভাবিত হবে।

আরবিএফ কার্নেলের সাথে সম্পর্কের ছাড়ের একটি সহজ উপায় হ'ল মহালানোবিস দূরত্ব: , যেখানেনমুনা কোভারিয়েন্স ম্যাট্রিক্সের একটি অনুমান। সমতুল্যভাবে, মানচিত্র আপনার সব ভেক্টরকরারএবং তারপর নিয়মিত RBF কার্নেল, যেখানে ব্যবহারযেমন যে, যেমন এর Cholesky পচানি । $d(x, y) = \sqrt{ (x - y)^T S^{-1} (x - y) }$ $S$ $x$ $C x$ $C$ $S^{-1} = C^T C$ $S^{-1}$

— Dougal
সূত্র

এটি একটি খুব আকর্ষণীয় উত্তর; এই ধরণের সমস্যা কীভাবে প্রশমিত করা যায় সে সম্পর্কে আমি আরও পড়তে চাই। আপনি দুটি বা একটি রেফারেন্স যুক্ত করতে পারেন?

— সাইকোরাক্স বলছেন মনিকা পুনরায়

আমি কোনও ভাল হাতকে জানি না, তবে আমি আজকের রাতের জন্য কিছুটা সন্ধান করব।

— ডুগল

অসাধারণ! আপনি যদি একটি দুর্দান্ত নিবন্ধ সন্ধান করেন তবে আমাকে ইনবক্স করুন। আমি খুশি যে আমার (+1) আপনাকে 3 কে ছাড়িয়ে যেতে পারে। (-:

— সাইকোরাক্স মনিকাকে মেইন 5'15

মহালানোবিস দূরত্বের কোভারিয়ান্স ম্যাট্রিক্সের বিপরীতটি একটি মূল বিষয়। আপনি যদি এটি নির্ভরযোগ্যভাবে অনুমান করতে পারেন তবে এই প্রভাবিতটির জন্য অ্যাকাউন্ট করা যেতে পারে।

— ভ্লাদিস্লাভস ডভগ্যালিক্স