এসভিএম অ্যালগরিদমে, ভেক্টর ডাব্লু পৃথকীকরণের হাইপারপ্লেনের সংলগ্ন কেন?

Question

আমি মেশিন লার্নিংয়ের একটি শিক্ষানবিস। এসভিএম-এ, পৃথককারী হাইপারপ্লেনকে হিসাবে সংজ্ঞায়িত করা হয় $y = w^T x + b$। কেন আমরা পৃথকীকরণের হাইপারপ্লেনকে ভেক্টর $w$ অরথোগোনাল বলি ?

Comments

অনুরূপ প্রশ্নের উত্তর (নিউরাল নেটওয়ার্কগুলির জন্য) এখানে ।

— বগাট্রন

@ বোগ্যাট্রন - আমি আপনার সাথে সম্পূর্ণ সম্মত তবে আমারগুলি কেবল একটি এসভিএম নির্দিষ্ট উত্তর।

— শিরোনামহীন প্রোগ্রামার

ব্যতীত তা নয়। আপনার উত্তরটি সঠিক তবে এসভিএমগুলির সাথে সুনির্দিষ্ট এ সম্পর্কিত কিছুই নেই (এমনটি হওয়া উচিত নয়)। হল একটি ভেক্টর সমীকরণ যা হাইপারপ্লেনকে সংজ্ঞায়িত করে। $w^{T}x=b$

— বগাট্রন

Answer 1

জ্যামিতিকভাবে, ভেক্টর ডাব্লু দ্বারা সংজ্ঞায়িত লাইনের দিকে অরথোগোনালকে নির্দেশিত হয় । এটি নিম্নলিখিত হিসাবে বোঝা যায়:$w^{T} x = b$

প্রথমে । এখন এটা স্পষ্ট যে সব ভেক্টর, এক্স , সঙ্গে ভেতরের পণ্য অন্তর্ধান সঙ্গে W এই সমীকরণ পালন করার জন্য, অর্থাত সব ভেক্টর W সন্তুষ্ট এই সমীকরণ থেকে লম্ব।$b = 0$$x$$w$

এখন হাইপারপ্লেনটি ভেক্টর এ-এর উত্স থেকে দূরে অনুবাদ করুন। সমতলটির সমীকরণটি এখন পরিণত হয়: , অর্থাত্ আমরা খুঁজে পেয়েছি অফসেটের জন্য বি = একটি টি ডাব্লু , যা ভেক্টরটির অভিক্ষেপ একটি ভেক্টর ডাব্লুতে ।$(x − a)^{T} w = 0$$b = a^{T} w$$a$$w$

সাধারণতার ক্ষতি ছাড়াই আমরা এইভাবে সমতলের একটি লম্ব বেছে নিতে পারি, যার ক্ষেত্রে দৈর্ঘ্য যা উত্স এবং হাইপারপ্লেনের মধ্যে সংক্ষিপ্ততম orthogonal দূরত্ব উপস্থাপন করে।$\vert\vert a \vert\vert = \vert b \vert /\vert\vert w\vert\vert$

সুতরাং ভেক্টর পৃথকীকরণের হাইপারপ্লেনের অর্থেগোনাল হিসাবে বলা হয়।$w$

Answer 2

কারণ অধি-সমতল থেকে স্বাভাবিক কারণ আমরা তা যে উপায় হতে সংজ্ঞায়িত:$w$

মনে করুন যে 3 ডি স্পেসে আমাদের একটি (হাইপার) প্লেন রয়েছে। যাক অর্থাত এই প্লেনে একটি বিন্দু হতে পি 0 = এক্স 0 , Y 0 , z- র 0 । সুতরাং উত্স থেকে ( 0 , 0 , 0 ) এই বিন্দুতে ভেক্টরটি কেবলমাত্র < x 0 , y 0 , z 0 > । ধরা যাক আমাদের প্লেনে একটি ইচ্ছামত বিন্দু P ( x , y , z ) রয়েছে। ভেক্টর যোগদানের $P_0$$P_0 = x_0, y_0, z_0$$(0,0,0)$$<x_0,y_0,z_0>$$P (x,y,z)$$P$এবং তাহলে দেওয়া হয় → পি - → পি 0 = < এক্স - এক্স 0 , Y - Y 0 , z- র - z- র 0 > নোট করুন যে সমতলে এই ভেক্টর মিথ্যা।$P_0$

$$\vec{P} - \vec{P_0} = <x-x_0, y-y_0, z-z_0>$$

এখন দিন এন সমতল থেকে স্বাভাবিক (লম্ব) ভেক্টর হও। অতএব: এন ∙ ( → পি - → পি 0 ) = 0 অতএব: এন ∙ → পি - এন ∙ → পি 0 = 0 লক্ষ্য করুন - এন ∙ → পি 0 মাত্র একটি সংখ্যা এবং সমান b মধ্যে আমাদের ক্ষেত্রে, যেহেতু এন ঠিক হয় W এবং → পি$\hat{n}$

$$\hat{n} \bullet (\vec{P}-\vec{P_0}) = 0$$ $$\hat{n} \bullet \vec{P}- \hat{n} \bullet \vec{P_0} = 0$$ $-\hat{n} \bullet \vec{P_0}$$b$$\hat{n}$$w$$\vec{P}$হয় । সুতরাং সংজ্ঞা দ্বারা, W hyperplane করার লম্ব হয়।$x$$w$

Answer 3

সিদ্ধান্তের সীমানাটিকে $w^Tx + b = 0$ হিসাবে সংজ্ঞায়িত করা যাক । $x_a$ এবং $x_b$ পয়েন্টগুলি বিবেচনা করুন , যা সিদ্ধান্তের সীমানায় থাকে। এটি আমাদের দুটি সমীকরণ দেয়:

$$\begin{equation} w^Tx_a + b = 0 \\ w^Tx_b + b = 0 \end{equation}$$

$w^T.(x_a - x_b) = 0$$x_a - x_b$$x_b$$x_a$$w^T.(x_a - x_b)$$w^T$$x_a - x_b$

Answer 4

হাইপারপ্লেনের কাছে ভেক্টরকে অর্থোগোনাল হওয়ার বীজগণিত সংজ্ঞা ব্যবহার করে:

$\forall \ x_1, x_2$ পৃথক পৃথক হাইপারপ্লেনের উপর,

$$w^T(x_1-x_2)=(w^Tx_1 + b)-(w^Tx_2 + b)=0-0=0 \ \small\Box.$$