এসভিএম ব্যবহার করার সময়, কেন আমার বৈশিষ্ট্যগুলি স্কেল করা দরকার?

Question

স্কাইকিট-লার্নিংয়ে স্ট্যান্ডার্ডস্কেলারের বস্তুর ডকুমেন্টেশন অনুসারে :

উদাহরণস্বরূপ লার্নিং অ্যালগরিদম (যেমন সাপোর্ট ভেক্টর মেশিনগুলির আরবিএফ কার্নেল বা লিনিয়ার মডেলগুলির এল 1 এবং এল 2 নিয়মিতকরণকারী) এর উদ্দেশ্যমূলক ফাংশনে ব্যবহৃত অনেকগুলি উপাদান ধরে নেয় যে সমস্ত বৈশিষ্ট্য 0-এর কাছাকাছি এবং একই ক্রমে বৈকল্পিক রয়েছে। যদি কোনও বৈশিষ্ট্যের কোনও বৈকল্পিকতা থাকে যা প্রস্থের আদেশের চেয়ে বড় হয় তবে অন্যরা এটি উদ্দেশ্যমূলক ক্রিয়ায় আধিপত্য বিস্তার করতে পারে এবং অনুমানকারীটিকে অন্যান্য বৈশিষ্ট্যগুলি থেকে প্রত্যাশার মতো সঠিকভাবে শিখতে অক্ষম করে তোলে।

শ্রেণিবিন্যাসের আগে আমার বৈশিষ্ট্যগুলি স্কেল করা উচিত। আমাকে কেন এটি করা উচিত তা দেখানোর কোনও সহজ উপায় আছে? বৈজ্ঞানিক নিবন্ধগুলির উল্লেখগুলি আরও ভাল হবে। আমি ইতিমধ্যে পাওয়া এক কিন্তু সম্ভবত অন্যান্য অনেক আছে।

Answer 1

সমস্ত কার্নেল পদ্ধতি দূরত্বের উপর ভিত্তি করে। আরবিএফ কার্নেল ফাংশনটি হ'ল ( for ব্যবহার করে সরলতা)।$\kappa(\mathbf{u},\mathbf{v}) = \exp(-\|\mathbf{u}-\mathbf{v}\|^2)$$\gamma=1$

3 টি বৈশিষ্ট্যযুক্ত ভেক্টর দেওয়া হয়েছে:

$$\mathbf{x}_1 = [1000, 1, 2], \quad \mathbf{x}_2 = [900, 1, 2], \quad \mathbf{x}_3 = [1050, -10, 20].$$

তারপরে হলো, কল্পনানুসারে আরো অনুরূপ তারপর ।$\kappa( \mathbf{x}_1, \mathbf{x}_2) = \exp(-10000) \ll \kappa(\mathbf{x}_1, \mathbf{x}_3) = \exp(-2905)$$\mathbf{x}_1$$\mathbf{x}_3$$\mathbf{x}_2$

এবং: মধ্যে আপেক্ষিক পার্থক্য$\mathbf{x}_1$

$$\mathbf{x}_2 \rightarrow [0.1, 0, 0],\quad \mathbf{x}_3 \rightarrow [0.05, -10, 10].$$

সুতরাং স্কেলিং ছাড়া, আমরা এই উপসংহারে যে আরো অনুরূপ চেয়ে , যদিও মধ্যে বৈশিষ্ট্য প্রতি আপেক্ষিক পার্থক্য এবং এবং তুলনায় অনেক বড় ।$\mathbf{x}_1$$\mathbf{x}_3$$\mathbf{x}_2$$\mathbf{x}_1$$\mathbf{x}_3$$\mathbf{x}_1$$\mathbf{x}_2$

অন্য কথায়, আপনি যদি সমস্ত বৈশিষ্ট্যকে তুলনামূলক ব্যাপ্তির সাথে স্কেল না করেন তবে বৃহত্তম পরিসরের বৈশিষ্ট্যগুলি কার্নেল ম্যাট্রিক্সের গণনায় সম্পূর্ণরূপে আধিপত্য করবে।

নিম্নলিখিত কাগজে এটি চিত্রিত করার জন্য আপনি সাধারণ উদাহরণগুলি খুঁজে পেতে পারেন: ভেক্টর শ্রেণিবিন্যাসকে সমর্থন করার জন্য একটি ব্যবহারিক গাইড (বিভাগ ২.২)

Comments

আপনি নিয়মিতকরণ নিয়েও আলোচনা করতে চাইতে পারেন: ওজনের স্কেল ইনপুটগুলির স্কেলের উপর নির্ভর করে ...

— seanv507

নিয়মিতকরণের প্রভাবটি হল যে বিভিন্ন স্কেলিংগুলি বিভিন্ন অনুকূল বোঝায় , যা এই নির্দিষ্ট ইস্যুটির জন্য কিছুটা অর্থেগোনাল। $C$

— মার্ক ক্লেসেন

তবে এটি সত্যই হতে পারে যে একটি মাত্রার সাথে সান্নিধ্য আরও গুরুত্বপূর্ণ। সুতরাং লক্ষ্যটি সমস্ত বৈশিষ্ট্যে একই রকমের বৈকল্পিকতা নয়, তবে প্রতিটি বৈশিষ্ট্যটির সাথে দূরত্বের একই কার্যকারিতাটির সমান গুরুত্ব রয়েছে যা তাদের এটিকে ছোট করে দেওয়া।

— ইসরান্দি

@ মার্ক ক্লেসেন, যদি আপনার ভেরিয়েবলগুলি বিভিন্ন মাত্রার আকারের হয় তবে আপনার ওজনগুলি বিভিন্ন আকারের বিভিন্ন আকারেরও হবে, এবং l2 নর্মাল ইনপুটগুলিতে ফোকাস করবে যার মধ্যে ছোট আকারের বৈকল্পিক এবং ততক্ষণে বড় ওজন রয়েছে। অন্য উপায় রাখুন, ওজন আদর্শ নিয়মিতকরণ নিশ্চিত করে যে 'ছোট' ইনপুটগুলিতে ছোট প্রভাব রয়েছে। এটি কেবল তখনই বোধগম্য হয় যদি আপনি 'ছোট' (আপনার ইনপুট জুড়ে) প্রমিত করে থাকেন যেমন আপনার ভেরিয়েবলগুলিকে

— সাধারণীকরণের মাধ্যমে

@ Seanv507 যা কেবল লিনিয়ার এসভিএম-এ প্রয়োগ হয়।

— মার্ক ক্লেসেন

Answer 2

এটি আপনি কোন কার্নেলটি ব্যবহার করছেন তার উপর নির্ভর করে। এখন পর্যন্ত সর্বাধিক ব্যবহৃত (লিনিয়ার বাদে) হ'ল গাউসিয়ান কার্নেল, যা ফর্মটি রয়েছে

$$f = exp \left ( \frac{- || x{_{1}} - x{_{2}} || ^2 }{2\sigma ^2} \right )$$

একটি এসভিএম এই ফাংশনটি গ্রহণ করে এবং প্রশিক্ষণের প্রতিটি পয়েন্টের সাথে ( ) পয়েন্টের সাদৃশ্যকে তুলনামূলকভাবে পার্থক্যগুলি করে সেট করে এটি ব্যবহার করে:$x1$

$$(x{_{1}}-l{_{1}})^2+(x{_{2}}-l{_{2}})^2...+(x{_{n}}-l{_{n}})^2$$

যেখানে আপনার উদাহরণ এবং এর মান হ'ল ল্যান্ডমার্ক।$x$$l$

যদি the বৈশিষ্ট্যটি 0 থেকে 50,000 অবধি থাকে তবে বৈশিষ্ট্যটি feature 0 0 - 0.01 এর মধ্যে থাকে, আপনি দেখতে পাবেন যে সেই পরিমাণকে আধিপত্য করতে চলেছে কার্যত কোনও প্রভাব পড়বে না। এই কারণে কার্নাল প্রয়োগের আগে বৈশিষ্ট্যগুলি স্কেল করা প্রয়োজন।$x{_{1}}$$x{_{2}}$$x{_{1}}$$x{_{2}}$

আপনি যদি আরও শিখতে চান তবে আমি স্ট্যানফোর্ড থেকে কোর্সেরায় মেশিন লার্নিংয়ের অনলাইন কোর্সটি (সমর্থন ভেক্টর মেশিনগুলি) 12 (মডিউল 12 বা বিনামূল্যে উপলব্ধ এবং যে কোনও সময়) সুপারিশ করছি: https://www.coursera.org/course/ML