কার্নেল লজিস্টিক রিগ্রেশন বনাম এসভিএম

Question

সবার জানা হিসাবে, এসভিএম উচ্চ স্থানগুলিতে ডেটা পয়েন্টগুলি প্রজেক্ট করতে কার্নেল পদ্ধতি ব্যবহার করতে পারে যাতে পয়েন্টগুলি লিনিয়ার স্পেস দ্বারা পৃথক করা যায়। তবে আমরা কার্নেল স্পেসে এই সীমানাটি চয়ন করতে লজিস্টিক রিগ্রেশনও ব্যবহার করতে পারি, সুতরাং এসভিএমের সুবিধা কী? যেহেতু এসভিএম একটি বিচ্ছিন্ন মডেল ব্যবহার করে যেখানে কেবলমাত্র সমর্থনকারী ভেক্টর ভবিষ্যদ্বাণী করার সময় অবদান রাখে, এটি কি এসভিএমকে পূর্বাভাসের ক্ষেত্রে আরও দ্রুত করে তোলে?

Comments

হস্তির স্লাইডগুলি আপনি যা সন্ধান করছেন

— ইয়েবো ইয়াং

Answer 1

কেএলআর এবং এসভিএমগুলি

1. শ্রেণিবিন্যাসের কার্য সম্পাদন উভয় ক্ষেত্রেই প্রায় অভিন্ন is
2. কেএলআর ক্লাসের সম্ভাব্যতা সরবরাহ করতে পারে যেখানে এসভিএম হ'ল ডিটারমিনিস্টিক ক্লাসিফায়ার।
3. কেএলআরের একাধিক শ্রেণির শ্রেণিবিন্যাসের প্রাকৃতিক বর্ধন রয়েছে যেখানে এসভিএম-তে এটি বহু-শ্রেণীর শ্রেণিবিন্যাসে প্রসারিত করার একাধিক উপায় রয়েছে (এবং এটি এখনও গবেষণার একটি ক্ষেত্র যা এমন সংস্করণ রয়েছে যা অন্যের চেয়ে উচ্চতর গুণাবলী রয়েছে)।
4. আশ্চর্যজনক বা আশ্চর্যজনকভাবে, কেএলআর এর সর্বোত্তম প্রান্তিক বৈশিষ্ট্যও রয়েছে যা এসভিএমরা উপভোগ করে (কমপক্ষে সীমাতে ভাল)!

উপরের দিকে তাকালে এটি প্রায় মনে হয় কার্নেল লজিস্টিক রিগ্রেশনটি আপনার ব্যবহার করা উচিত। যাইহোক, এসভিএমগুলি উপভোগ করে এমন কিছু সুবিধা রয়েছে

1. কেএলআর এসভিএম - বনাম চেয়ে কম গণনামূলকভাবে ব্যয়বহুল যেখানে সমর্থনকারী ভেক্টরের সংখ্যা।ও ( এন 2 কে ) $O(N^3)$$O(N^2k)$$k$
2. এসভিএমের শ্রেণিবদ্ধকারীটি এমনভাবে নকশা করা হয়েছে যে এটি কেবল সমর্থন ভেক্টরগুলির ক্ষেত্রেই সংজ্ঞায়িত করা হয়, যেখানে কেএলআর-এ শ্রেণিবদ্ধকারীটি কেবলমাত্র সমর্থন ভেক্টর নয়, সমস্ত পয়েন্টগুলির উপর দিয়ে সংজ্ঞায়িত করা হয়। এটি এসভিএমগুলিকে কিছু প্রাকৃতিক গতি-আপ উপভোগ করতে দেয় (দক্ষ কোড লেখার ক্ষেত্রে) যা কেএলআরের পক্ষে অর্জন করা শক্ত is

Comments

+1 আমি কেবল এটি যোগ করব যদিও কম্পিউটেশনাল জটিলতা যদি একটি সমস্যা হয় তবে প্রশিক্ষণের সেট বা অন্যান্য পদ্ধতির নিয়মিত ক্ষতি কমাতে লোভের সাথে ভিত্তি ভেক্টরগুলি বেছে নিয়ে স্পার্স কার্নেল লজিস্টিক রিগ্রেশন মডেল তৈরি করা খুব কঠিন নয়। উদাহরণস্বরূপ "তথ্যবহুল ভেক্টর মেশিনে" কাগজপত্রগুলি দেখুন।

— ডিকরান মার্সুপিয়াল

এছাড়াও, প্রায়শই আপনি যদি কোনও এসভিএমের কার্নেল এবং নিয়মিতকরণ পরামিতিগুলি অনুকূল করেন তবে আপনি এমন মডেলটি শেষ করেন যেখানে কার্যত সমস্ত ডেটা সমর্থন ভেক্টর। এসভিএমগুলির স্পারসিটি একটি সুখকর দুর্ঘটনা, এটি কৌশলটির পক্ষে সত্যিকার অর্থে একটি ভাল বিক্রয় কেন্দ্র নয় কারণ সাধারণত অন্যান্য উপায়ে বৃহত্তর স্পারসিটি অর্জন সম্ভব।

— ডিকরান মার্সুপিয়াল

তথ্যসূচক ভেক্টর মেশিনের নির্দেশকটির জন্য @ ডিক্রানমারসুপিয়াল ধন্যবাদ। আমি স্পার্স কেএলআর এর কয়েকটি কাজের কথা জানি তবে এখন পর্যন্ত আমি মনে করি না যে এগুলির কোনওটি বড় ডেটাসেটের জন্য ভাল স্কেল করে। যেভাবেই ল্যাবএসভিএম বা এসভিএম লাইটের মতো ব্যবহারকারী-বান্ধব স্পারস কেএলআর এর একটি ভাল বাস্তবায়ন প্রকাশের ফলে এটি গ্রহণে দীর্ঘতর পথ যেতে পারে। এই ধরনের বাস্তবায়ন ইতিমধ্যে উপস্থিত থাকলে ক্ষমা চাইছি তবে আমি কারও সম্পর্কে অবগত নই। (এডিআইটি: আমি মনে করি আপনি "

— ইনফর্মটিভ

যদি আপনি সমর্থন ভেক্টর হিসাবে সমস্ত ডেটা পয়েন্ট সমাপ্ত করে থাকেন, তবে আপনার চেয়ে বেশি ফিট। এটি আরবিএফের সাথে অনেক সময় ঘটে। আসলে, এসভিএম এর ব্যবহারকারী হিসাবে আমি যে মৌলিক জিনিসটি শিখেছি তার মধ্যে একটি হল সমর্থন ভেক্টর হিসাবে নির্বাচিত পয়েন্টগুলির ভগ্নাংশটি প্রথম এবং সর্বাগ্রে পরীক্ষা করা। যদি এটি ডেটার ৩০% এর বেশি কিছু হয় তবে আমি সেই মডেলটিকে সরাসরি প্রত্যাখ্যান করি।

— তেরালিরামান

এটি সঠিক নয় যে সমস্ত ডেটা পয়েন্টের এসভি হওয়া মানে ওভার-ফিটিং। সি এর মান যদি ছোট হয়, তবে স্ল্যাক ভেরিয়েবলগুলিতে খুব কম পেনাল্টি থাকে তবে আপনার কাছে খুব নরম শ্রেণিবদ্ধ থাকতে পারে (যা প্রশিক্ষণ সংস্থায় অনেকগুলি ত্রুটি ঘটায়) এবং মার্জিনটি এত প্রশস্ত যে সমস্ত ডেটা সমর্থন ভেক্টর ors অবিচ্ছিন্ন মডেলগুলিকে প্রত্যাখ্যান করা থাম্বের পক্ষে একটি ভাল নিয়ম নয় কারণ কখনও কখনও সেরা সাধারণীকরণের পারফরম্যান্স সহ এসভিএম অকার্যকর হয়। এসভিএসের সংখ্যাটি ছুটি-ওয়ান-আউট ত্রুটির উপরের আবদ্ধ হয়, তবে এটি প্রায়শই খুব ক্ষতি হ'তে বাধ্য হয়!

— ডিকরান মার্শুপিয়াল

Answer 2

এই বিষয়টিতে আমার গ্রহণযোগ্যতা:

শ্রেণিবিন্যাস করার জন্য এসভিএমগুলি একটি খুব মার্জিত উপায়। কিছু সুন্দর তত্ত্ব আছে, কিছু সুন্দর গণিত আছে, তারা ভাল জেনারেলাইজ করে এবং তারা খুব ধীরে ধীরেও যায় না। এগুলি রিগ্রেশনের জন্য ব্যবহার করার চেষ্টা করুন এবং এটি অগোছালো হয়ে যায়।

• এখানে এসভিএম রিগ্রেশন সম্পর্কিত একটি সংস্থান রয়েছে। ট্যুইলডের অতিরিক্ত পরামিতিগুলি এবং অপ্টিমাইজেশন অ্যালগরিদমগুলি সম্পর্কে গভীরতর আলোচনাটি লক্ষ্য করুন।

গাউসিয়ান প্রক্রিয়া রিগ্রেশন এর একই কার্নেল গণিত রয়েছে এবং এটি রিগ্রেশন-এর জন্য দুর্দান্ত কাজ করে। আবার খুব মার্জিত, এবং এটি খুব ধীর নয়। এগুলিকে শ্রেণিবদ্ধকরণের জন্য ব্যবহার করার চেষ্টা করুন এবং এটি বেশ কলুষিত বোধ করতে শুরু করে।

• রিগ্রেশন সম্পর্কিত জিপি বইয়ের একটি অধ্যায় এখানে ।

• তুলনার জন্য এখানে শ্রেণিবিন্যাস সম্পর্কিত একটি অধ্যায় রয়েছে। লক্ষ্য করুন যে আপনি কিছু জটিল আনুমানিকতা বা একটি পুনরাবৃত্তি পদ্ধতি দিয়ে শেষ করেছেন।

শ্রেণিবিন্যাসের জন্য জিপি ব্যবহারের ক্ষেত্রে একটি দুর্দান্ত বিষয় হ'ল এটি হ্যাঁ / কোনও শ্রেণিবদ্ধকরণের পরিবর্তে আপনাকে ভবিষ্যদ্বাণীমূলক বিতরণ দেয়।

Comments

+1 জিপি হ'ল কেএলআরের একটি ভাল বিকল্প (যদিও কেএলআর প্রায়শই ভাল পারফরম্যান্স দেয় কারণ প্রমাণ ভিত্তিক মডেল নির্বাচনটি খুব সহজে ভুল হতে পারে যদি সেখানে মডেলটির ভুল-স্পেসিফিকেশন থাকে) এবং ক্রস-বৈধতা প্রায়শই পছন্দনীয়।

— ডিকরান মার্সুপিয়াল

Answer 3

দয়া করে http://www.stanford.edu/~hastie/Papers/svmtalk.pdf দেখুন

কিছু সিদ্ধান্তে: শ্রেণিবিন্যাসের পারফরম্যান্সটি খুব মিল। অনুকূল মার্জিন বৈশিষ্ট্য সীমাবদ্ধ করে। শ্রেণীর সম্ভাবনার প্রাক্কলন সরবরাহ করে। প্রায়শই এগুলি শ্রেণিবদ্ধের চেয়ে বেশি কার্যকর। কার্নেল মাল্টি-লগিট রিগ্রেশন মাধ্যমে এম-বর্গের শ্রেণিবিন্যাসকে স্বাভাবিকভাবে সাধারণীকরণ করে।