বৈশিষ্ট্য ভেক্টরের অতিরিক্ত মাত্রার পরিবর্তে এসভিএমের পক্ষপাতিত্ব শব্দটি আলাদাভাবে অনুমান করা হয় কেন?

এসভিএম-এর সর্বোত্তম হাইপারপ্লেনটি সংজ্ঞাযুক্ত:

w \cdot x + b = 0,

$\mathbf w \cdot \mathbf x+b=0,$

যেখানে থ্রেশোল্ড প্রতিনিধিত্ব করে। আমরা কিছু ম্যাপিং যদি যা কিছু জায়গা ইনপুট স্থান মানচিত্র , আমরা স্থান SVM বর্ণনা করতে পারেন , যেখানে অনুকূল hiperplane হবে: $b$ $\mathbf \phi$ $Z$ $Z$

w \cdot ϕ (x) + b = 0.

$\mathbf w \cdot \mathbf \phi(\mathbf x)+b=0.$

যাইহোক, আমরা সর্বদা ম্যাপিং সংজ্ঞায়িত করতে পারি যাতে , , এবং তারপরে অনুকূল হিপ্পেরপ্লেনটি হিসাবে সংজ্ঞায়িত করা হবে $\phi$ $\phi_0(\mathbf x)=1$ $\forall \mathbf x$

w \cdot ϕ (x) = 0.

$\mathbf w \cdot \mathbf \phi(\mathbf x)=0.$

প্রশ্নাবলী:

কেন ইতিমধ্যে papers এবং অনুমানের পরামিতিগুলি ডাব্লু এবং থ্যাশোল্ড পৃথকভাবে ম্যাপিং করা হচ্ছে যখন অনেক কাগজপত্র ? $\mathbf w \cdot \mathbf \phi(\mathbf x)+b=0$ $\phi$ $\mathbf w$ $b$
SVM- কে হিসাবে সংজ্ঞায়িত করতে কিছু সমস্যা আছে এবং অনুমান করা হয় কেবলমাত্র প্যারামিটার ভেক্টর , অনুমান করে আমরা ?
$min_{w} | | w | |^{2}$ $\min_{\mathbf w} ||\mathbf w ||^2$ $s . t . y_{n} w \cdot ϕ (x_{n}) \geq 1, \forall n$ $s.t. \ y_n \mathbf w \cdot \mathbf \phi(\mathbf x_n) \geq 1, \forall n$ $\mathbf w$ $\phi_0(\mathbf x)=1, \forall\mathbf x$
যদি প্রশ্ন 2 থেকে এসভিএমের সংজ্ঞাটি সম্ভব হয় তবে আমাদের কাছে $\mathbf w = \sum_{n} y_n\alpha_n \phi(\mathbf x_n)$ এবং থ্রেশহোল্ডটি কেবল $b=w_0$ , যা আমরা আলাদাভাবে বিবেচনা করব না। সুতরাং আমরা কিছু সমর্থন ভেক্টর থেকে অনুমান করতে মতো সূত্রটি কখনই ব্যবহার করব না । রাইট? $b=t_n-\mathbf w\cdot \phi(\mathbf x_n)$ $b$ $x_n$

svm threshold

— Dejan
সূত্র

সম্পর্কিত: রিগ্রেশনে পক্ষপাত (ইন্টারসেপ্ট) শব্দটি সঙ্কুচিত না করার কারণ ।

— অ্যামিবা

উত্তর:

পক্ষপাত কেন গুরুত্বপূর্ণ?

পক্ষপাত মেয়াদ প্রকৃতপক্ষে, SVM একটি বিশেষ প্যারামিটার। এটি ছাড়া শ্রেণিবদ্ধকারী সর্বদা উত্সটির মধ্য দিয়ে যাবে। সুতরাং, এসভিএম আপনাকে সর্বাধিক মার্জিনের সাথে পৃথকীকরণের হাইপারপ্লেন দেয় না যদি এটি যদি আপনার পক্ষপাতিত্বের মেয়াদ না থাকে তবে এটি উত্সটি অতিক্রম করে না। $b$

নীচে পক্ষপাতিত্বের ইস্যুটির একটি দৃশ্যায়ন রয়েছে। একটি এসভিএম প্রশিক্ষণপ্রাপ্ত (ছাড়াই) একটি পক্ষপাত শব্দটি বাম (ডানদিকে) প্রদর্শিত হয়। যদিও উভয় এসভিএম একই ডেটাতে প্রশিক্ষিত , তবে তারা দেখতে খুব আলাদা।

পক্ষপাতিত্ব পৃথকভাবে চিকিত্সা করা উচিত কেন?

বেন ডিআইআই যেমন উল্লেখ করেছে, নিয়মিতকরণের কারণে পক্ষপাত শব্দ পৃথকভাবে চিকিত্সা করা উচিত। এসভিএম প্রান্তিক আকার সর্বাধিক করে তোলে যা or (বা আপনি কীভাবে এটি সংজ্ঞায়িত করেন তার উপর নির্ভর করে )। $b$ $\frac{1}{||w||^2}$ $\frac{2}{||w||^2}$

মার্জিনকে সর্বাধিক করা হ্রাস করা সমান । একে নিয়ামককরণ শব্দও বলা হয় এবং শ্রেণিবদ্ধের জটিলতার পরিমাপ হিসাবে ব্যাখ্যা করা যায়। তবে আপনি পক্ষপাতের শব্দটি নিয়মিত করতে চান না কারণ, পক্ষপাতিত্ব সমস্ত ডেটা পয়েন্টের জন্য একই পরিমাণে শ্রেণিবিন্যাসের স্কোরগুলিকে উপরে বা নীচে স্থানান্তরিত করে । বিশেষ করে, পক্ষপাত পরিবর্তন করে না আকৃতি ক্লাসিফায়ার বা তার মার্জিন আকারের। অতএব, ... $||w||^2$

এসভিএম-এ পক্ষপাতিত্বের শব্দটি নিয়মিত করা উচিত নয়।

বাস্তবে, তবে, বিশেষ কেস হিসাবে কাজ করার পরিবর্তে কেবল বৈশিষ্ট্য ভেক্টরে পক্ষপাতিত্বকে চাপ দেওয়া আরও সহজ।

দ্রষ্টব্য: বৈশিষ্ট্য ফাংশনের পক্ষপাতদুশটি , বৈশিষ্ট্য ভেক্টরের সেই মাত্রাটি একটি বৃহত সংখ্যায় যেমন eg , যাতে পক্ষপাত নিয়মিতকরণের পার্শ্ব-প্রতিক্রিয়াগুলি হ্রাস করা যায়। $\phi_0(x) = 10$

— Sobi
সূত্র

কৌতূহলের বাইরে প্লট উত্পন্ন করতে আপনি কোন প্রোগ্রাম ব্যবহার করেছেন?

— d0rmLif

@ d0rmLife: এটি কেবলমাত্র একটি কার্টুন যা আমি এমএস পাওয়ারপয়েন্ট ব্যবহার করে তৈরি করেছি!

— সোবি

+1 টি। সম্পর্কিত: রিগ্রেশনে পক্ষপাত (ইন্টারসেপ্ট) শব্দটি সঙ্কুচিত না করার কারণ ।

— অ্যামিবা

কখনও কখনও, লোকেরা কেবল এসভিএম-এ ইন্টারসেপ্ট বাদ দেবে, তবে আমি মনে করি যে কারণটি আমরা বাদ দিতে চাইলে অন্তরায়কে শাস্তি দিতে পারি। অর্থাত,

আমরা , এবং ডেটা পরিবর্তন করতে পারি যাতে ইন্টারসেপ্টটি বাদ পড়ে আপনি যেমন বলেন, অনুরূপ কৌশলটি কার্নেল সংস্করণে ব্যবহার করা যেতে পারে। $\mathbf{\hat{x}} = (\mathbf{1}, \mathbf{x})$ $\mathbf{\hat{w}} = (w_{0}, \mathbf{w}^{T})^{T}$

x w + b = \hat{x} \hat{w}

$\mathbf{x} ~ \mathbf{w} + b = \mathbf{\hat{x}} ~ \mathbf{\hat{w}}$

যাইহোক, আমরা যদি ওজনগুলিতে বাধা দিই, তবে উদ্দেশ্যগত কার্যটি আসলটির সাথে কিছুটা আলাদা হবে। এজন্য আমরা "পেনালাইজ" বলি।

— বেন দাই
সূত্র

আমি একমত যে আমাদের বিভিন্ন উদ্দেশ্যমূলক কাজ হবে। আমরা যখন প্যারামিটারগুলিতে ইন্টারসেপ্ট অন্তর্ভুক্ত না করি তখন কেস অপটিমাইজেশন সমস্যার দিকে নিয়ে যায় বাধা সাপেক্ষে, অন্যথায় আমাদের সমস্যা । তবে, আমি বুঝতে পারছি না যে কেন প্যানালাইজিং ইন্টারসেপট কমপক্ষে কম বেশি মডেলটির জন্য গুরুত্বপূর্ণ।

b

$b$

min_{w, b} | | w | |^{2}

$\min_{\mathbf w,b} ||\mathbf w||^2$

min_{w, b} | | w | |^{2} + b^{2}

$\min_{\mathbf w,b} ||\mathbf w||^2 + b^2$

— দেজন

আমার মনে কী আসে যায়, তা হল আমাদের ছেদ হওয়ার মূল কারণটি হ'ল দ্বৈত সমস্যায়, বাধা দেওয়া আমাদের সীমাবদ্ধতা থাকতে পারে যা এসএমও অ্যালগরিদম প্রয়োগ করা গুরুত্বপূর্ণ, এবং যদি আমাদের বাধা না থাকে তবে কেবলমাত্র ধ্রুবক থাকবে এবং দ্বৈত অপ্টিমাইজেশন সেই ক্ষেত্রে শক্ত হবে।

\sum α_{n} t_{n} = 0

$\sum \alpha_n t_n=0$

α_{n} \geq 0

$\alpha_n\geq 0$

— দেজন

@ পিটার একটি জিনিস যা আমি জানি তা হ'ল আমরা যখন এই মডেলের দ্বৈত রূপটি বিবেচনা করি তখন তা শক্তিশালী হয়। এই কৌশলটি লিনিয়ার সীমাবদ্ধতা দূর করবে।

— বেন দাই

@ পেটার আমি মনে করি না দ্বৈত অপ্টিমাইজেশন আরও কঠিন হবে, কারণ আমাদের আরও সহজ ডোমেন রয়েছে।

— বেন ডাই

@ পিটার নির্দিষ্ট অ্যালগরিদমের জন্য, এটি আরও শক্ত হতে পারে। তবে, গাণিতিকভাবে, আমার মনে হয় বাক্সের ডোমেনটি আরও ভাল হতে পারে:)

— বেন ডাই

উপরে বর্ণিত কারণে অতিরিক্ত হিসাবে, opeাল এবং ইন্টারসেপ্ট দ্বারা সংজ্ঞায়িত হাইপারপ্লেনের পয়েন্ট এর দূরত্ব হ'ল এইভাবে এসভিএমের মার্জিনের ধারণাটি চলমান। আপনি পরিবর্তন করেন তাহলে পথিমধ্যে শব্দটি অন্তর্ভুক্ত করা , আদর্শ পথিমধ্যে আকার, যা একটি ছোট পথিমধ্যে, যা অনেক ক্ষেত্রে অর্থে দেখা যায় না প্রতি নিখুত SVM কারণ হবে দ্বারা প্রভাবিত হবে। $x$ $\theta$ $b$

\frac{| θ^{T} x + b |}{| | θ | |}

$\frac{|\theta^T x + b|}{||\theta||}$

θ

$\theta$

b

$b$

θ

$\theta$

— charlieh_7
সূত্র

এমনকি হাইপারপ্লেনের পয়েন্টের দূরত্বটি সঠিক এবং ব্যাখ্যাটি আকর্ষণীয় বলে মনে হয়েছে, আমি এই সূত্র এবং প্রশিক্ষণের এসভিএমগুলির মধ্যে পারস্পরিক সম্পর্ক দেখতে পাচ্ছি না। প্রশিক্ষণের সময় এই সূত্রটি কীভাবে ব্যবহার করছে তা আপনি আরও ব্যাখ্যা করতে পারেন বা কিছু অতিরিক্ত লিঙ্ক সরবরাহ করতে পারেন।

— দেজন

@ দেজন একটি এসভিএম এর পিছনে ধারণাটি হাইপারপ্লেনটি আবিষ্কার করে যা কোনও ডেটাসেটের সর্বনিম্ন মার্জিনকে সর্বাধিক করে তোলে। মার্জিনটি হ'ল সেই বিন্দুটির "দূরত্ব" ( absolute) নিখুঁত মান না নিয়ে যা শ্রেণিবদ্ধারটির অনুমানের প্রতি আস্থা রাখে indicates বার তার লেবেল, যা হয় । পণ্যটি হ'ল , যা ধনাত্মক যদি শ্রেণিবদ্ধ আউটপুট লেবেলের সাথে মিলে যায় এবং অন্যথায় নেতিবাচক হয়। বাস্তবে, আমরা কেবলমাত্র আমাদের মডেল আকার পরিবর্তন যাতে ডেটা সেট ন্যূনতম মার্জিন হয় ।

\frac{θ^{T} x + b}{| | θ | |}

$\frac{\theta^T x + b}{||\theta||}$

{- 1, 1}

$\{-1, 1\}$

\frac{y (θ^{T} x + b)}{| | θ | |}

$\frac{y(\theta^T x + b)}{||\theta||}$

\frac{1}{| | θ | |}

$\frac{1}{||\theta||}$

— Charlieh_7

: @Dejan আপনি অ্যান্ড্রু এনজি এর নোট আরও বিস্তারিত জানতে পারেন cs229.stanford.edu/notes/cs229-notes3.pdf

— charlieh_7