অ-রৈখিক ডেটার জন্য যখনই সম্ভব আমার কি কর্নেল ট্রিকটি ব্যবহার করা উচিত?


13

আমি সম্প্রতি কর্নেল ট্রিকের ব্যবহার সম্পর্কে শিখেছি, যা এই মাত্রাগুলিতে ডেটা লিনিয়ারাইজ করার প্রয়াসে উচ্চতর মাত্রিক স্থানগুলিতে ডেটা ম্যাপ করে। এমন কোনও ঘটনা আছে যেখানে আমার এই কৌশলটি ব্যবহার করা এড়ানো উচিত? এটি কি সঠিক কার্নেল ফাংশনটি অনুসন্ধান করার বিষয়?

লিনিয়ার ডেটার জন্য এটি অবশ্যই সহায়ক নয়, তবে অ-রৈখিক ডেটার জন্য এটি সর্বদা দরকারী বলে মনে হয়। রৈখিক শ্রেণিবদ্ধকারীগুলি প্রশিক্ষণের সময় এবং স্কেলিবিলিটির দিক থেকে অ-লিনিয়ারের চেয়ে অনেক সহজ।

উত্তর:


8

লিনিয়ার ডেটার জন্য এটি অবশ্যই সহায়ক নয়, তবে অ-রৈখিক ডেটার জন্য এটি সর্বদা দরকারী বলে মনে হয়। রৈখিক শ্রেণিবদ্ধকারীগুলি প্রশিক্ষণের সময় এবং স্কেলিবিলিটির দিক থেকে অ-লিনিয়ারের চেয়ে অনেক সহজ।

কার্টেল ট্রিক কেন কার্যকর তা @ বার্টোসকেপি ইতিমধ্যে ব্যাখ্যা করেছে। আপনার প্রশ্নের পুরোপুরি সমাধান করার জন্য আমি উল্লেখ করতে চাই যে, কার্নেলাইজেশন কেবল রৈখিকভাবে পৃথকযোগ্য ডেটা নিয়ে কাজ করার একমাত্র বিকল্প নয়

মডেলটি ডাইনারিাইজেশন করার জন্য কমপক্ষে তিনটি ভাল, সাধারণ বিকল্প রয়েছে :

  • নিরপেক্ষ নেটওয়ার্ক ভিত্তিক পদ্ধতি, যেখানে আপনি প্রক্রিয়াকরণ ইউনিটগুলির একটি (বা আরও) স্তর যুক্ত করেন, আপনার ডেটা রৈখিক পৃথকীকরণ ক্ষেত্রে রূপান্তর করতে সক্ষম। সর্বাধিক সহজ ক্ষেত্রে এটি একটি সিগময়েড-ভিত্তিক স্তর, যা প্রক্রিয়াতে অ-রৈখিকতা যুক্ত করে। একবার এলোমেলোভাবে সূচনা করা হলে তারা উপরের স্তরটির গ্রেডিয়েন্ট-ভিত্তিক অপ্টিমাইজেশনের সময় আপডেটগুলি পাচ্ছেন (যা প্রকৃতপক্ষে রৈখিক সমস্যা সমাধান করে)।
  • বিশেষত - আরও লিনিয়ার শ্রেণিবদ্ধকরণের জন্য ডেটা প্রস্তুত করতে গভীর শেখার কৌশলগুলি এখানে ব্যবহার করা যেতে পারে। এটি পূর্বেরটির মতোই একই ধারণা, তবে কিছু লিনিয়ার মডেলের প্রশিক্ষণের উপর ভিত্তি করে আরও সূক্ষ্ম-সুরকরণের জন্য ভাল প্রারম্ভিক পয়েন্টটি সন্ধান করার জন্য আপনি এখানে প্রথমে আপনার প্রসেসিং স্তরগুলি প্রশিক্ষণ দিন।
  • এলোমেলো অনুমান - আপনি কিছু পূর্বনির্ধারিত স্থান এবং তার উপরে ট্রেন লিনিয়ার শ্রেণিবদ্ধকারী থেকে অনুমানগুলি নমুনা করতে পারেন (লিনিয়ার নয়)। এই ধারণাটি তথাকথিত চূড়ান্ত মেশিন লার্নিংয়ে খুব বেশি ব্যবহার করা হয় , যেখানে খুব দক্ষ লিনিয়ার সল্ভারগুলি এলোমেলো অনুমানের উপর একটি সাধারণ শ্রেণিবদ্ধকারীকে প্রশিক্ষণের জন্য এবং খুব ভাল পারফরম্যান্স অর্জন করতে হয় (শ্রেণিবদ্ধকরণ এবং রেগ্রেশন উভয় ক্ষেত্রেই লিনিয়ার সমস্যাগুলির ক্ষেত্রে, উদাহরণস্বরূপ চরম শেখার জন্য পরীক্ষা করে দেখুন মেশিন )।

সংক্ষেপে বলতে গেলে - কার্নেলাইজেশন হ'ল একটি দুর্দান্ত ডাইনারিাইজেশন কৌশল, এবং আপনি যখন এটির সমস্যা রৈখিক না হন তবে আপনি এটি ব্যবহার করতে পারেন, তবে এটি "যদি তবে" মূল্যায়ন করা উচিত নয় blind এটি কমপক্ষে কয়েকটি আকর্ষণীয় পদ্ধতির মধ্যে একটি, যা সমস্যা এবং প্রয়োজনীয়তার উপর নির্ভর করে বিভিন্ন ফলাফলের দিকে নিয়ে যেতে পারে। বিশেষত, ইএনএল কার্নেলাইজড এসভিএম দ্বারা প্রদত্ত যেমনগুলির একই ধরণের সমাধান খুঁজে পেতে পারে তবে একই সময়ে সারি সারি মাত্রার দ্রুত প্রশিক্ষণ দেওয়া যায় (সুতরাং এটি কার্নেলাইজড এসভিএমগুলির তুলনায় আরও ভাল স্কেল করে )।


10

লিনিয়ার পদ্ধতিগুলির জন্য আপনি সাধারণভাবে কার্নেল ট্রিকের জন্য যে মূল্য প্রদান করেন তা সাধারণীকরণের আরও খারাপ। লিনিয়ার মডেলের ক্ষেত্রে এর ভিসি ডাইমেনশনটি মাত্রা সংখ্যার ক্ষেত্রেও লিনিয়ার (যেমন পার্সেপেট্রনের জন্য ভিসি মাত্রা হয় d + 1)।

এখন, যদি আপনি একটি হাই ডাইমেনশনাল স্পেসে জটিল অ-রৈখিক রূপান্তর সম্পাদন করেন তবে আপনার হাইপোথিসিস সেটটির ভিসি মাত্রা উল্লেখযোগ্যভাবে বৃহত্তর, কারণ এটি এখন নতুন, উচ্চ মাত্রিক স্থানের মাত্রার সংখ্যার ক্ষেত্রে লিনিয়ার। এবং এটি দিয়ে, জেনারালাইজেশন সীমাবদ্ধ হয়।

সমর্থন ভেক্টর মেশিনগুলি দুটি কার্য সম্পাদন করে সবচেয়ে দক্ষ উপায়ে কার্নেল ট্রিকটি ব্যবহার করে:


1
স্থানের মাত্রার ক্ষেত্রে "ওজন সংখ্যার ক্ষেত্রেও লিনিয়ার", ওজনের সংখ্যা নয়। আপনি যতটা ওজন চান তার সাথে লিনিয়ার ক্লাসিফায়ার প্যারামাইট্রাইজ করতে পারেন তবে এর ভিসি ডাইমেনশনটি এখনও ডি + 1 (যেখানে ডি স্পেস ডাইমেনিয়ালিটি)। "এসভিএম মডেলের ভিসি ডাইমেনশনটি সাপোর্ট ভেক্টর সংখ্যার সাথে সম্পর্কিত" ভিসি মাত্রাটি এসভি সংখ্যার সাথে কীভাবে বাস্তবায়িত হয়? আমি কঠোর মার্জিন আবদ্ধ সম্পর্কে অবহিত, কিন্তু নরম মার্জিন ক্ষেত্রে আফিকের তেমন কোনও সম্পর্ক নেই। এমনকি রাডামাচারের জটিলতার সীমাতেও আপনি ভেরিয়েবল হিসাবে এসভিগুলির সংখ্যা পাবেন না।
লেজলট

এছাড়াও "সুতরাং এটির অপ্রাসঙ্গিক কার্নেল টার্গেট স্পেসটি কতটা" বড় ", সাধারণীকরণের সাথে আবদ্ধ হওয়াতে আপনি কোনও কিছুই আলগা করেন না" যতদূর আমি সম্পূর্ণ মিথ্যা জানি। উচ্চ মাত্রিক স্থানগুলি এসভিএমের মতো দৃ strongly়ভাবে নিয়মিত মডেল এমনকি সাধারণকরণের ক্ষমতা হ্রাস করতে পারে।
লেজলট

1
@ লেজলট ধন্যবাদ, প্রথম দুটি ভুল সংশোধন করেছেন। আপনার শেষ দুটি মন্তব্যের সাথে সম্পর্কিত হতে আমার কিছুটা সময় প্রয়োজন - আমি আমার তথ্য
পুনরায় যাচাই করার

1
এটি এখন প্রায় সঠিক, তবে অনুমানের কারণ কী, অপ্রাসঙ্গিকভাবে কার্নেলের জায়গার আকার? যে কোনও ডেটাসেট নিন, আরবিএফ কার্নেল এবং সি-> ইনফ দিয়ে একটি এসভিএম চালান এবং আপনি খারাপভাবে উপকার পাবেন। এটা এত সহজ নয়। বৈশিষ্ট্য স্পেসে মাত্রাগুলির সংখ্যা প্রাসঙ্গিক , তবুও এটি সি দিয়ে নিয়ন্ত্রণ করা যায় (ল্যাংরেঞ্জ মাল্টিপ্লায়ার্সের উপরের সীমা হিসাবে) বিশেষত - আরবিএফ সহ এসভিএমের ভিসি মাত্রা অসীম, এবং সাধারণীকরণের আবদ্ধ (ভ্যাপনিকের) অকেজো (রাডামাচার কাজ করতে পারে তবে এটি সম্পূর্ণ ভিন্ন গল্প)।
লেজলট

1
@ লেজলট আমি অন্য একটি রেফারেন্স দিয়েছি - এগুলি স্পষ্টভাবে নরম-মার্জিন কেসের জন্য সীমাবদ্ধ করে, এবং এটি মাত্রার সংখ্যার উপর নির্ভর করে না।
বার্তোসকেপিপি

6

আমি আপনার প্রশ্নের একটি প্রযুক্তিগত উত্তর দেওয়ার চেষ্টা করব।

প্রকৃতপক্ষে, আপনি যে কারণগুলি উল্লেখ করেছেন, প্রশিক্ষণের সময়, স্কেলাবিলিটি, চূড়ান্ত মডেলটির ব্যাখ্যা দেওয়ার ক্ষেত্রে সহজতরতা, প্রাথমিক বা দ্বৈততে কাজ করার পছন্দ, অত্যধিক মানসিকতার প্রতি আরও সহিষ্ণুতা ইত্যাদির জন্য লিনিয়ারটিকে অগ্রাধিকার দেওয়া উচিত choice

যদি লিনিয়ার মডেলটি সন্তোষজনক পারফরম্যান্সের ফল না দেয় তবে আপনি অ-রৈখিক সমাধান চেষ্টা করতে পারেন। কিছু ট্রেড-অফ বিবেচনা করার মধ্যে রয়েছে:

  • কার্নেলের পছন্দ এটি সুস্পষ্ট নয়, সাধারণত আপনার বিভিন্ন বিকল্প পরীক্ষা করতে হবে
  • প্রশিক্ষণ সেট overfitting বিপদ আছে। আসলে আপনি চাইলে ওভারফিট করা বেশ সহজ। অতিরিক্ত সাফল্য এড়াতে আপনার আরও শক্তিশালী মূল্যায়ন কাঠামো প্রয়োজন (অদেখা তথ্যের উপর আপনার পারফরম্যান্সের বৈকল্পিকতা / স্থায়িত্ব পরিমাপ করা প্রয়োজন) এবং সঠিক মডেল নির্বাচন করতে সক্ষম হওয়ার জন্য আপনার পর্যাপ্ত ডেটা প্রয়োজন need
  • আপনি দ্বৈত কাজ করেন, এবং এইভাবে আপনি চূড়ান্ত মডেলটির ব্যাখ্যা করতে পারবেন না, অর্থাত আপনি দাবী করতে পারবেন না যে বৈশিষ্ট্য এক্স এর চেয়ে বেশি বৈশিষ্ট্য ওয়াই ইত্যাদি is
  • প্রশিক্ষণের সময়টি ডেটা ভলিউমের সাথে বাড়ানো হয় (দ্বৈত হওয়ার কারণে বৈশিষ্ট্যের সংখ্যার সাথে কম)

এটি "দ্বৈত সাথে কাজ করা" সম্পর্কে অন্তর্দৃষ্টি অন্তর্দৃষ্টি যা বৈশিষ্ট্য আমদানির দাবি করতে অক্ষম করে। আপনার আরও কিছু ব্যাখ্যা করার উপাদানগুলির কিছু রেফারেন্স থাকবে?
জাভাদবা
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.