এসভিএম, ভেরিয়েবল ইন্টারঅ্যাকশন এবং প্রশিক্ষণের ডেটা ফিট

Question

আমার কাছে 2 টি সাধারণ / আরও তাত্ত্বিক প্রশ্ন আছে।

1) আমি কৌতূহলী যে কীভাবে এসভিএমগুলি ভবিষ্যদ্বাণীপূর্ণ মডেলগুলি তৈরি করার সময় পরিবর্তনশীল মিথস্ক্রিয়া পরিচালনা করে। উদাহরণস্বরূপ, যদি আমার দুটি বৈশিষ্ট্য f1 এবং f2 থাকে এবং লক্ষ্যটি f1, f2 এর উপর নির্ভর করে এবং f1 * f2 (বা কিছু ফাংশন এইচ (এফ 1, এফ 2)) বলে, এসভিএম ফিট করে (কেবল ওওএসের উপর নয় এমনকি প্রশিক্ষণের ডেটাতেও) F1, f2 এবং h (f1, f2) সহ কেবলমাত্র F1 এবং f2 সহ বৈশিষ্ট্যগুলিতে অন্তর্ভুক্ত করার সময় উন্নতি করবেন? এসভিএম অ্যালগরিদম বৈশিষ্ট্যটির মিথস্ক্রিয়া নিয়ে কাজ করে? দেখে মনে হচ্ছে এটি কীভাবে এসভিএম উচ্চতর মাত্রিক স্থানে হাইপারপ্লেন তৈরি করার চেষ্টা করে, তবে নিশ্চিতভাবে জানতে চান না wanted

২) প্রশিক্ষণের ডেটাতে কোনও এসভিএম লাগানোর সময়, পর্যাপ্ত বৈশিষ্ট্য দেওয়া এবং সর্বোত্তম প্যারামিটারগুলি (ব্রুট ফোর্স অনুসন্ধান বা যে কোনও কিছু দিয়ে) সন্ধান করার সময়, কোনও এসভিএম সর্বদা তুচ্ছভাবে প্রশিক্ষণের ডেটা ফিট করে? নিশ্চিত না যে আমি এটি সঠিকভাবে বলেছি, তবে মূলত, যদি বৈশিষ্ট্যগুলিতে পর্যাপ্ত পরিমাণে বৈকল্পিকতা / আওয়াজ থাকে, তবে কোনও এসভিএম সর্বদা প্রশিক্ষণের ডেটা 100% ফিট করবে? বিপরীতভাবে, যদি এসভিএম প্রশিক্ষণ ডেটা 100% ফিট করে না, তার মানে কি এমন কিছু তথ্য আছে (বা অন্যান্য বৈশিষ্ট্য) যা লক্ষ্যবস্তুতে ডেটা ক্যাপচারিত হয় না?

ধন্যবাদ

ছোট ব্যাখ্যা। আমি বিশেষত কার্নেল এসভিএমগুলি উল্লেখ করছি

Answer 1

হাই ব্যান্ডউইদথের পরামর্শ অনুসারে, আপনি লিনিয়ার এসভিএম ব্যবহার করছেন কিনা বা কোনও লিনিয়ার নয় (কার্নেল ব্যবহার না করা হলে প্যাডেন্টিক হচ্ছে এটি কোনও এসভিএমের পরিবর্তে সর্বাধিক মার্জিন লিনিয়ার শ্রেণিবদ্ধকারী) কিনা তা নির্ভর করে।

সর্বাধিক মার্জিন লিনিয়ার শ্রেণিবদ্ধকারী অন্য যে কোনও লিনিয়ার শ্রেণিবদ্ধের চেয়ে আলাদা নয় যদি ডেটা উত্পন্নকরণ প্রক্রিয়াটির অর্থ যদি গুনগুলির মধ্যে ইন্টারঅ্যাকশন থাকে, তবে সেই ইন্টারঅ্যাকশন শর্তাদি সরবরাহ করা কার্যকারিতা উন্নত করতে পারে। সর্বাধিক মার্জিন লিনিয়ার শ্রেণিবদ্ধকারী বরং রিজ রিগ্রেশনের মতো, পেনাল্টি টার্মের একটি সামান্য পার্থক্য যা ওভারফিটিং এড়াতে ডিজাইন করা হয়েছে (নিয়ন্ত্রণের প্যারামিটারের জন্য উপযুক্ত মান দেওয়া হয়) এবং বেশিরভাগ ক্ষেত্রে রিজ রিগ্রেশন এবং সর্বাধিক মার্জিন শ্রেণিবদ্ধ একই ধরণের কর্মক্ষমতা দেবে।

$K(x,x') = (x\cdot x' + c)^d$$d$$c$

$n$$n-1$হাইপার-প্লেন (সিএফ ভিসি ডাইমেনশন) দ্বারা ডাইমেনশনাল স্পেসটি বিচ্ছুরিত হতে পারে (যেকোন স্বেচ্ছাসেবী পদ্ধতিতে পৃথক)। এটি করার ফলে সাধারণত মারাত্মক ওভার-ফিটিং হয় এবং তাই এড়ানো উচিত। সর্বাধিক মার্জিন শ্রেণিবদ্ধকরণের বিষয়টি হ'ল পেনাল্টি শব্দটি যুক্ত করে এই অতি-ফিটনেসকে সীমাবদ্ধ করা যার অর্থ সম্ভবত বৃহত্তম বিচ্ছেদ সাধিত হয় (যার কোনও ভুল শৃঙ্খলা তৈরির জন্য কোনও প্রশিক্ষণের উদাহরণ থেকে সবচেয়ে বড় বিচ্যুতি প্রয়োজন) require এর অর্থ আপনি অত্যধিক ফিটনেস ব্যয় না করে ডেটাটিকে একটি খুব উচ্চ মাত্রিক স্থান (যেখানে একটি লিনিয়ার মডেল খুব শক্তিশালী) রূপান্তর করতে পারেন।

$K(x,x') = \exp{-\gamma\|x - x'\|^2}$

তবে এটি গল্পের অংশ মাত্র। অনুশীলনে, আমরা সাধারণত একটি নরম-মার্জিন এসভিএম ব্যবহার করি, যেখানে মার্জিন সীমাবদ্ধতা লঙ্ঘন করার অনুমতি দেওয়া হয় এবং এমন একটি নিয়মিতকরণ প্যারামিটার রয়েছে যা মার্জিনকে সর্বাধিকতর করার মধ্যে বাণিজ্য-বন্ধকে নিয়ন্ত্রণ করে (যা একটি পেনাল্টি শব্দ, যা ব্যবহৃত ব্যবহৃত একই রিজ রিগ্রেশন) এবং স্ল্যাক ভেরিয়েবলগুলির প্রস্থতা (যা প্রশিক্ষণের নমুনায় ক্ষতি হওয়ার অনুরূপ)। এরপরে আমরা নিয়মিতকরণ প্যারামিটারটি টিউন করে ওভার-ফিটিং এড়াতে পারি, উদাহরণস্বরূপ ক্রস-বৈধকরণ ত্রুটি (বা কিছুটা রেখে-ওয়ান-আউট ত্রুটির উপর আবদ্ধ) হ্রাস করে, যেমন আমরা রিজ রিগ্রেশন-এর ক্ষেত্রে করব।

সুতরাং যখন এসভিএম প্রশিক্ষণ সেটটিকে তুচ্ছভাবে শ্রেণিবদ্ধ করতে পারে , তবে নিয়মিতকরণ এবং কার্নেল পরামিতিগুলি খারাপভাবে বেছে নেওয়া হলে এটি কেবল তখনই ঘটবে। যে কোনও কার্নেল মডেলের সাথে ভাল ফলাফল অর্জনের চাবিকাঠিটি উপযুক্ত কার্নেলটি বেছে নেওয়ার মধ্যে রয়েছে, এবং তারপরে ডেটা অতিরিক্ত বা কম-ফিটিং এড়াতে কার্নেলটি সুরক্ষা এবং নিয়মিতকরণের পরামিতিগুলিতে থাকে।

Comments

ধন্যবাদ ডিকরান। এটি অত্যন্ত বিস্তারিত এবং সহায়ক ছিল। আমি মনে করি আমি প্রশ্নের উত্তর বুঝতে পেরেছি। একটি দ্রুত অনুসরণ। কেউ কীভাবে এসভিএমগুলির জন্য উপযুক্ত কার্নেলটি বেছে নেবে? এটি কি নিয়মিতকরণ / কার্নেল প্যারামিটারগুলির সাথে সমান (যেমন ক্রস বৈধকরণের মাধ্যমে)? বা পছন্দের জন্য কিছু তাত্ত্বিক ভিত্তি আছে? আরবিএফ কার্নেলটি যদি এসভিএমকে সার্বজনীন অনুমানক করে তোলে তবে আমি অনুমান করব যে কার্নেল নির্বাচনটি সুর করার জন্য অন্য একটি প্যারামিটার, তবে নিশ্চিত নয়। আপনি সম্ভবত বলতে পারেন, আমি এটি মোটামুটি নতুন।

— টমাস

শ্রেণিবদ্ধে সমস্যা সম্পর্কিত বিশেষজ্ঞের জ্ঞানের জন্য কার্নেল নির্বাচন করা প্রায়শই একটি ভাল উপায় instance কার্নেলটি স্বয়ংক্রিয়ভাবে নির্বাচন করা ক্রস-বৈধকরণ (যা আমি করব) বা ছুটি-ওয়ান-আউট ত্রুটির (যা এসভিএমগুলির জন্য দক্ষতার সাথে সম্পাদন করা যেতে পারে) দ্বারা আবদ্ধ করা যায়। তবে যদি ডেটাসেটটি ছোট হয় তবে ক্রস-বৈধকরণের ত্রুটির উপরে বাছাইয়ের কারণে ক্রস-বৈধকরণের মাধ্যমে কার্নেল নির্বাচন করা জটিল হতে পারে।

— ডিকরান মার্শুপিয়াল

অনেক অ্যাপ্লিকেশনগুলির জন্য, লিনিয়ার বা আরবিএফ কার্নেলগুলি ভাল ডিফল্ট পছন্দ হয় এবং প্রায়শই কার্নেলের বিস্তৃত পরিসীমা (সমস্যার বিশেষজ্ঞের জ্ঞানের অভাবে) অন্বেষণ করা থেকে তুলনামূলকভাবে খুব কম পাওয়া যায়।

— ডিকরান মার্শুপিয়াল

Answer 2

উত্তরগুলি আপনি লিনিয়ার এসভিএম বা কার্নেল এসভিএম ব্যবহার করছেন কিনা তার উপর নির্ভর করে। লিনিয়ার এসভিএম সহ, আপনি কেবল এটি প্রদত্ত বৈশিষ্ট্যগুলি ব্যবহার করছেন এবং এটি মিথস্ক্রিয়াকে বিবেচনা করে না। কার্নেল এসভিএমের সাহায্যে আপনি কোন কার্নেলটি বেছে নিয়েছেন তার উপর নির্ভর করে আপনি প্রচুর বিভিন্ন বৈশিষ্ট্য ব্যবহার করছেন। যদি একটি পৃথক পৃথক হাইপারপ্লেন থাকে, যেমন, হলে শ্রেণি নির্ধারণ করে যেখানে the বৈশিষ্ট্যগুলি তারপরে আপনার প্রশিক্ষণের ডেটা সম্পূর্ণরূপে থাকতে পারে। সাধারণত, আপনি বৈশিষ্ট্যগুলি নির্দিষ্ট করে না, তবে হিসাবে বৈশিষ্ট্যগুলির সাথে সম্পর্কিত একটি কার্নেল । কার্নেল হিলবার্ট স্পেসগুলি পুনরুত্পাদন করা সন্ধান করুন।$sign(\sum_{i=1}^{K}\beta_i(x)-\beta_0)$$\beta_i,i \in \{1,2,...K\}$$K$$K(x_1,x_2) = \sum_{i=1}^K \beta_i(x_1) \beta_i(x_2)$