লজিস্টিক রিগ্রেশন এবং সমর্থন ভেক্টর মেশিনের মধ্যে পার্থক্য?

আমি জানি যে লজিস্টিক রিগ্রেশন একটি হাইপারপ্লেন আবিষ্কার করে যা প্রশিক্ষণের নমুনাগুলি পৃথক করে। আমি আরও জানি যে সাপোর্ট ভেক্টর মেশিনগুলি সর্বোচ্চ মার্জিনের সাথে হাইপারপ্লেনটি সন্ধান করে।

আমার প্রশ্ন: লজিস্টিক রিগ্রেশন (এলআর) এবং সাপোর্ট ভেক্টর মেশিনের (এসভিএম) মধ্যে পার্থক্য কি এলআর এমন কোনও হাইপারপ্লেন খুঁজে পায় যা প্রশিক্ষণের নমুনাগুলি পৃথক করে এবং এসভিএম হাইপারপ্লেনটি সর্বাধিক মার্জিনের সাথে খুঁজে পায়? নাকি আমি ভুল করছি?

দ্রষ্টব্য: তখন এলআর-তে স্মরণ করুন যখন লজিস্টিক ফাংশন দেয় । যদি আমরা কে শ্রেণিবদ্ধার প্রান্তিক হিসাবে ধরে নিই , তবে হাইডারপ্লেন বা সিদ্ধান্তের সীমানা। $\theta \cdot x = 0$ $0.5$ $0.5$ $\theta \cdot x = 0$

— জ্যাক টোয়েন
সূত্র

আরও দেখুন: stats.stackexchange.com/questions/23391/…

— রায়ান জোটি

আপনি যদি সঠিক এসভিএমের বিষয়ে কথা বলছেন এবং দুটি শ্রেণিই লৈখিকভাবে পৃথকযোগ্য হয় তবে আপনি ঠিক। এলআর এমন কোনও সমাধান খুঁজে পায় যা দুটি শ্রেণিকে পৃথক করে। হার্ড এসভিএম সর্বাধিক মার্জিনযুক্ত সমস্ত সম্ভাব্য সমস্যার মধ্যে "" সমাধান খুঁজে পেয়েছে।

নরম এসভিএম এবং ক্লাসগুলি রৈখিকভাবে পৃথকযোগ্য না হওয়ার ক্ষেত্রে আপনি কিছুটা পরিবর্তন নিয়ে এখনও ঠিক আছেন। ত্রুটি শূন্য হতে পারে না। এলআর একটি হাইপারপ্লেন সন্ধান করে যা কিছু ত্রুটি হ্রাস করার সাথে মিলে যায়। সফট এসভিএম ত্রুটি (অন্য ত্রুটি) হ্রাস করার চেষ্টা করে এবং একই সময়ে একটি নিয়মিতকরণ প্যারামিটারের মাধ্যমে মার্জিনের সাথে সেই ত্রুটিটি বন্ধ করে দেয়।

উভয়ের মধ্যে একটি পার্থক্য: এসভিএম হ'ল একটি হার্ড শ্রেণিবদ্ধকারী তবে এলআর হ'ল একটি সম্ভাব্য। এসভিএম বিরল। এটি সমর্থন ভেক্টরগুলি (প্রশিক্ষণের নমুনাগুলি থেকে) চয়ন করে যা দুটি শ্রেণির মধ্যে সর্বাধিক বৈষম্যমূলক শক্তি রয়েছে। যেহেতু এটি পরীক্ষার সময় অন্যান্য প্রশিক্ষণ পয়েন্টগুলি অতিক্রম করে না, তাই দুটি শ্রেণীর যে কোনওটির বিতরণ সম্পর্কে আমাদের ধারণা নেই।

আমি ব্যাখ্যা করেছি যে কীভাবে এলআর সলিউশন (আইআরএলএস ব্যবহার করে) দুটি শ্রেণীর রৈখিক পৃথকীকরণের ক্ষেত্রে ভেঙে যায় এবং কেন এইরকম ক্ষেত্রে এটি সম্ভাব্য শ্রেণিবদ্ধ হওয়া বন্ধ করে দেয়: /stats//a/133292/66491

— Seeda
সূত্র

লজিস্টিক রিগ্রেশনটি কোন ধরণের ন্যূনতম স্কোয়ারকে অনুকূল করে তোলে? এলআর ক্ষতি হিসাবে ক্রস-এনট্রপি ব্যবহার করে ।

— আর্টেম সোব্লেভ

কেবল কারণ লজিস্টিক রিগ্রেশন আইআরএলএস ব্যবহার করে যার অর্থ এটি ন্যূনতম স্কোয়ার হয় না - আইআরএলএসে পুনরুদ্ধার করা প্যারামিটারগুলির বর্তমান অনুমানের একটি ফাংশন, প্রকৃত ফাংশনটি ন্যূনতম স্কোয়ারগুলি থেকে একেবারে অপেক্ষাকৃত অনুকূল করে তোলে।

— গ্লেন_বি -রিনস্টেট মনিকা

সংক্ষিপ্তকরণ, এসভিএম হ'ল এলআর এর একটি উন্নততর রূপ, কারণ এটি সর্বাধিক মার্জিংয়ের সাথে হাইপারপ্লেনটি খুঁজে পায় যখন এলআর কেবল একটি (ধরণের কথা বলার এলোমেলো?) হাইপারপ্লেন খুঁজে পায়। আপনি কি এই সংক্ষিপ্তকরণের সাথে একমত?

— ল্যান্ডনজেকপিটেলঅফগ্রায়েটব্রিটন