একটি এসভিএম এবং একটি পার্সেপশনার মধ্যে পার্থক্য

Question

আমি একটি এসভিএম এবং পার্সেপশনার মধ্যে পার্থক্য নিয়ে কিছুটা বিভ্রান্ত হয়ে পড়েছি। আমাকে এখানে আমার বোঝাপড়ার সংক্ষিপ্তসার চেষ্টা করার চেষ্টা করুন এবং দয়া করে আমার কোথায় ভুল হয়েছে তা সংশোধন করতে এবং আমি যা মিস করেছি তা পূরণ করুন।

1. পারসেপ্ট্রন পৃথকীকরণ "দূরত্ব" অপ্টিমাইজ করার চেষ্টা করে না। যতক্ষণ না এটি একটি হাইপারপ্লেন খুঁজে পায় যা দুটি সেটকে পৃথক করে, এটি ভাল। অন্যদিকে এসভিএম "সাপোর্ট ভেক্টর", অর্থাৎ দুটি নিকটতম বিপরীত নমুনা পয়েন্টগুলির মধ্যে দূরত্বকে সর্বাধিক করার চেষ্টা করে।

2. SVM সাধারণত একটি "কার্নেল ফাংশন" ব্যবহার করার চেষ্টা করে নমুনা পয়েন্টগুলি উচ্চ মাত্রার স্থানগুলিকে রৈখিকভাবে পৃথকযোগ্য করার জন্য প্রজেক্ট করার জন্য, যখন অনুধাবনকারী অনুমান করে যে নমুনা পয়েন্টগুলি রৈখিকভাবে পৃথকযোগ্য।

Comments

সম্ভাব্য সদৃশ SVM এবং লজিস্টিক রিগ্রেশন তুলনা

— kjetil খ halvorsen

Answer 1

এটা আমার কাছে ঠিক মনে হচ্ছে শ্রেণিবদ্ধের সাথে একসাথে প্রশিক্ষণ অ্যালগরিদমকে বোঝাতে লোকেরা মাঝে মধ্যে "পারসেপ্ট্রন" শব্দটি ব্যবহার করে। উদাহরণস্বরূপ, কেউ এই প্রশ্নের উত্তরে আমাকে এটি ব্যাখ্যা করেছিলেন । এছাড়াও, পার্সেপট্রন দিয়ে কার্নেল ব্যবহার করা থেকে বিরত রাখার মতো কিছুই নেই এবং এটি প্রায়শই একটি ভাল শ্রেণিবদ্ধ হয়। কার্নেল পারসেপ্ট্রন কীভাবে প্রয়োগ করতে হয় সে সম্পর্কে কয়েকটি স্লাইড (পিডিএফ) এর জন্য এখানে দেখুন ।

একটি (কার্নেল) পার্সেপ্ট্রন এবং এসভিএমের মধ্যে প্রধান ব্যবহারিক পার্থক্য হ'ল পার্সেসেপ্টরনগুলিকে অনলাইনে প্রশিক্ষণ দেওয়া যেতে পারে (অর্থাত্ তাদের ওজনগুলি নতুন উদাহরণগুলি একবারে উপস্থিত হওয়ার সাথে সাথে আপডেট হতে পারে) যেখানে এসভিএম হতে পারে না। এসভিএমগুলি অনলাইনে প্রশিক্ষণ দেওয়া যায় কিনা সে সম্পর্কিত তথ্যের জন্য এই প্রশ্নটি দেখুন । সুতরাং, যদিও একটি এসভিএম সাধারণত আরও ভাল শ্রেণিবদ্ধকারী হয়, তবুও উপলব্ধিকারীরা এখনও দরকারী হতে পারে কারণ তারা সস্তার এবং এমন পরিস্থিতিতে পুনরায় প্রশিক্ষণ করা সহজ, যাতে নতুন করে প্রশিক্ষণের ডেটা নিয়মিত উপস্থিত হয়।

Comments

এসভিএমগুলি অনলাইনে প্রশিক্ষণ দেওয়া যায়। দ্বৈত সমাধান থেকে আপনি সংশ্লিষ্ট প্রাথমিকটি পেতে পারেন এবং এ থেকে আপনি স্টোকাস্টিক ফ্যাশনে ওজন আপডেট করেন।

— ফায়ারব্যাগ

jmlr.org/papers/volume6/bordes05a/ordes05a.pdf

— sinθ

Answer 2

এসভিএম: পারসেপ্ট্রন

$$\min \|w\|_2 + C\sum_{i = 1}^{n}(1 - y_i(wx_i + w_0))_+$$ $$\min \sum_{i = 1}^{n}(- y_i(wx_i + w_0))_+$$

আমরা দেখতে পাচ্ছি যে এসভিএমের এল -2-নিয়মিত পেরসেপ্ট্রনের প্রায় একই লক্ষ্য রয়েছে।

উদ্দেশ্যটি পৃথক হওয়ায়, আমাদের দুটি two থেকে, এই দুটি অ্যালগরিদমের জন্য আলাদা আলাদা অপ্টিমাইজেশন স্কিম রয়েছে , আমরা দেখি যে এটি এসভিএমকে অনুকূলকরণের জন্য চতুর্ভুজ প্রোগ্রামিংয়ের মূল কারণ।$\|w\|_2$

কেন পারসেসট্রন অনলাইন আপডেটের অনুমতি দেয়? আপনি যদি কবজ ক্ষতির জন্য গ্রেডিয়েন্ট বংশোদ্ভূত আপডেটের নিয়মটি দেখেন (কব্জি ক্ষতি SVM এবং পার্সেপশন উভয় দ্বারা ব্যবহৃত হয়),

$$w^t = w^{t-1} + \eta\frac{1}{N}\sum_{i = 1}^{N}y^ix^i\mathbb{I}(y^iw^tx^i \leq 0)$$

যেহেতু সমস্ত মেশিন লার্নিং অ্যালগরিদমগুলি ক্ষতির ফাংশন এবং অপ্টিমাইজেশন অ্যালগরিদমের সংমিশ্রণ হিসাবে দেখা যায়।

পার্সেপট্রন হিজ ক্ষতি (ক্ষতি ফাংশন) + স্টোকাস্টিক গ্রেডিয়েন্ট বংশোদ্ভূত (অনুকূলিতকরণ) ছাড়া আর কিছু নয়

$$w^t = w^{t-1} + y^{y+1}x^{t+1}\mathbb{I}(y^{t+1}w^{t}x^{t+1} \leq 0)$$

এবং এসভিএমকে হিঞ্জ লস + এল 2 নিয়মিতকরণ (ক্ষতি + নিয়মিতকরণ) + চতুর্ভুজ প্রোগ্রামিং বা এসএমও (অপ্টিমাইজেশন) এর মতো অন্যান্য ফ্যানসিয়ার অপ্টিমাইজেশন অ্যালগরিদম হিসাবে দেখা যেতে পারে।

Answer 3

পারসেপ্ট্রন হ'ল এসভিএমের সাধারণীকরণ যেখানে এসভিএম অনুকূল স্থিতিশীলতার সাথে অনুধাবনকারী। সুতরাং আপনি যখন সঠিক বলছেন তখন পার্সেপট্রন বিচ্ছিন্নতার দূরত্বটিকে অনুকূল করার চেষ্টা করে না।