শ্রেণিবিন্যাসের সম্ভাবনা হিসাবে এসভিএমকে ব্যাখ্যা করা কেন ভুল?

Question

এসভিএম সম্পর্কে আমার উপলব্ধিটি হ'ল এটি লজিস্টিক রিগ্রেশন (এলআর) এর সাথে খুব সমান, যেমন শ্রেণীর অন্তর্গত হওয়ার সম্ভাবনা পাওয়ার জন্য সিগময়েড ফাংশনে একটি ভারী বৈশিষ্ট্যগুলি সরবরাহ করা হয় তবে ক্রস-এনট্রপি (লজিস্টিক) ক্ষতিের পরিবর্তে ফাংশন, প্রশিক্ষণ কব্জি ক্ষতি ব্যবহার করে সঞ্চালিত হয়। কব্জির ক্ষতি ব্যবহারের সুবিধাটি হ'ল কার্নেলাইজেশনকে আরও দক্ষ করতে বিভিন্ন সংখ্যক কৌশল করতে পারেন। তবে একটি অপূর্ণতা হ'ল ফলস্বরূপ মডেলটিতে সংশ্লিষ্ট এলআর মডেলের তুলনায় কম তথ্য রয়েছে। সুতরাং, উদাহরণস্বরূপ, kernelisation ছাড়া SVM সিদ্ধান্ত সীমানা (ক রৈখিক কার্নেল ব্যবহার করে) এখনও একই অবস্থানে এল আর হায় আউটপুট 0.5 একটি সম্ভাব্যতা এ হবে, কিন্তু এক কত তাড়াতাড়ি থেকে দূরে একটি বর্গ decays একাত্মতার সম্ভাবনা বলতে পারে না সিদ্ধান্তের সীমা

আমার দুটি প্রশ্ন হ'ল:

1. আমার ব্যাখ্যা উপরে?
2. কব্জির ক্ষতি কীভাবে ব্যবহার করে এটি এসভিএম ফলাফলকে সম্ভাবনা হিসাবে ব্যাখ্যা করতে অবৈধ করে তোলে?

Answer 1

$\mathbf{x}$$\mathbf{\beta}$$\beta_0$$y = sign(\beta \cdot \mathbf{x} + \beta_0)$$\beta, \beta_0$

লিনিয়ার এসভিএম (কোনও কার্নেল নয়) এর ক্ষেত্রে সিদ্ধান্তের সীমানাটি লজিস্টিক রিগ্রেশন মডেলের অনুরূপ, তবে আপনি এসভিএমের সাথে ফিট করার জন্য যে নিয়মিতকরণ শক্তি ব্যবহার করেছিলেন তার উপর নির্ভর করে ভিন্ন হতে পারে। এসভিএম এবং এলআর বিভিন্ন অপ্টিমাইজেশান সমস্যাগুলি সমাধান করার কারণে, সিদ্ধান্তের সীমানার জন্য আপনার অভিন্ন সমাধানের গ্যারান্টি নেই।

এসভিএম সম্পর্কে প্রচুর সংস্থান রয়েছে যা বিষয়গুলি পরিষ্কার করতে সহায়তা করবে: এখানে একটি উদাহরণ এবং অন্য একটি।

Comments

হিগস বোসন এটি খুব সহায়ক, আপনাকে ধন্যবাদ! কয়েকটি ফলো-আপ প্রশ্ন: (1) আপনি যখন কোনও এসভিএম সিদ্ধান্তের সীমানা এলআর এর অনুরূপ হবেন না তখন আপনি কোনও স্বজ্ঞাত উদাহরণ দিতে পারেন ?, (2) লিনিয়ার এসভিএম এবং এলআরগুলির মধ্যে একটি সাধারণত অন্যের চেয়ে ভাল, বা সেখানে থাকে যে ধরণের সমস্যার জন্য উভয়ই পছন্দনীয়?

— জিঞ্জার ব্যাডার

অ্যালেক্স: সাধারণভাবে, লিনিয়ার এসভিএম এবং এলআর সাধারণত তুলনামূলকভাবে অনুশীলন করে। আপনি যদি কোনও সম্ভাব্য আউটপুট চান তবে এলআর ব্যবহার করুন। আপনি যদি কেবল ক্লাস অ্যাসাইনমেন্ট সম্পর্কে চিন্তা করেন তবে আপনি যে কোনওটি ব্যবহার করতে পারেন। যদি আপনি এমন কোনও উদাহরণ চান যেখানে তাদের সিদ্ধান্তের সীমানা খুব আলাদা হবে, আপনি সিদ্ধান্তের সীমানা থেকে অনেক দূরে ভুল শ্রেণির মুষ্টিমেয় কয়েকটি পয়েন্ট সহ একটি লম্বা পৃথকীকরণযোগ্য ডেটা সেট করতে পারেন। বহিরাগতরা লজিস্টিক রিগ্রেশন সীমানাটি নিজের দিকে টেনে আনবে, তবে আপনার যদি পর্যাপ্ত বৃহত নিয়মিতকরণের মেয়াদ সহ কোনও এসভিএম থাকে, তবে এটি কার্যকরভাবে বহিরাগতদের উপেক্ষা করবে।

— হিগস ব্রাসন