কোন ফাংশন কার্নেল হতে পারে?

Question

মেশিন লার্নিং এবং প্যাটার্ন স্বীকৃতি প্রসঙ্গে, কার্নেল ট্রিক নামে একটি ধারণা রয়েছে । সমস্যার মুখোমুখি হচ্ছে যেখানে আমাকে কোনও ফাংশন কার্নেল ফাংশন হতে পারে কিনা তা নির্ধারণ করতে বলা হয়েছে, ঠিক কী করা উচিত? তারা কি প্রথমে তিনটি বা চারটি কার্নেল ফাংশন যেমন বহুভুজ, আরবিএফ এবং গাউসির আকারের কিনা তা আমার আগে যাচাই করা উচিত? তাহলে আমার কী করার কথা? আমি এটি ইতিবাচক সুনির্দিষ্ট হয় দেখাতে হবে? কেউ কি এই জাতীয় সমস্যার জন্য ধাপে ধাপে সমাধান দেখানোর জন্য একটি উদাহরণ সমাধান করতে পারেন? উদাহরণস্বরূপ ভালো লেগেছে, হয় $f(x)=e^{x^tx'}$ একটি কার্নেল ফাংশন (ধরা যাক, আমরা এটি একটি গসিয়ান কার্নেল জানি না)?

Answer 1

সাধারণত, একটি ফাংশন হল একটি বৈধ কার্নেল ফাংশন (কার্নেল ট্রিকের অর্থে) যদি এটি দুটি মূল বৈশিষ্ট্য সন্তুষ্ট করে:$k(x,y)$

• প্রতিসাম্য: $k(x,y) = k(y,x)$

• ইতিবাচক আধা-নির্দিষ্টতা।

তথ্যসূত্র: http://www.cs.berkeley.edu/~jordan/courses/281B-spring04/lectures/lec3.pdf এর পৃষ্ঠা 4

প্রতিদ্বন্দ্বিতা পরীক্ষা করা সাধারণত পরিদর্শন দ্বারা সোজা। বিশ্লেষণাত্মকভাবে ইতিবাচক আধা-সুনির্দিষ্টতা যাচাই করা কখনও কখনও বেশ লোমশ হতে পারে। আমি এই সত্যটি পরীক্ষা করার জন্য দুটি কৌশল সম্পর্কে ভাবতে পারি:

• (1) "অভ্যন্তরীণ-পণ্য" উপস্থাপনের জন্য পরীক্ষা করা

বিবেচনা করুন । আমরা কিছু খুঁজে পাওয়া যাচ্ছে না φ ( একটি ) যেমন যে ট ( এক্স , Y ) = φ ( এক্স ) টি φ ( Y ) ? একটি অল্প গণিত দেখায় যে e x + y = e x e y , সুতরাং ϕ ( ক ) = ই ক এবং আমাদের কাজ শেষ।$k(x,y) = e^{x+y}$$\phi(a)$$k(x,y) = \phi(x)^T \phi(y)$$e^{x+y} = e^x e^y$$\phi(a)=e^a$

আপনি যদি ভাগ্যবান হন তবে আপনার এই বিশ্লেষণে সহায়ক হবে। যদি তা না হয় তবে আপনি বিকল্প (2) অবলম্বন করতে পারেন:$k()$

• (2) এলোমেলো সিমুলেশন দ্বারা ইতিবাচক নির্দিষ্ট-নেস চেক করা।

-ডিম ভেক্টর কে ( → x , → y ) = ∑ D d = 1 মিনিট ( x d , y d ) এর ফাংশনটি বিবেচনা করুন , যেখানে প্রতিটি ভেক্টর → x , → y অবশ্যই অ-নেতিবাচক এবং এক হতে হবে। এটি কি বৈধ কার্নেল?$D$$k(\vec{x},\vec{y}) = \sum_{d=1}^D \min( x_d, y_d)$$\vec{x}, \vec{y}$

আমরা সিমুলেশন দ্বারা এটি পরীক্ষা করতে পারেন। এলোমেলো ভেক্টরগুলির একটি সেট আঁকুন { → x i } N i = 1 এবং একটি গ্রাম ম্যাট্রিক্স কে তৈরি করুন যেখানে কে আই জে = কে ( → x i , → x জে ) । তারপরে কে ইতিবাচক (আধা) নিশ্চিত কিনা তা পরীক্ষা করে দেখুন ।$N$$\{\vec{x}_i\}_{i=1}^N$$K$$K_{ij} = k( \vec{x}_i , \vec{x}_j )$$K$

এই সংখ্যাসূচকভাবে করার সর্বোত্তম উপায় হ'ল ম্যাট্রিক্সের ইগেনভ্যালুগুলি (স্কিপি বা ম্যাটল্যাবের মতো ভাল বিদ্যমান সংখ্যাযুক্ত লাইব্রেরি ব্যবহার করে) যাচাই করা এবং যাচাই করুন যে ক্ষুদ্রতম ইগোভ্যালু 0 এর চেয়ে বড় বা সমান । হ্যাঁ, ম্যাট্রিক্স তাহলে অন্যথায় পিএসডি হয়, আপনি কি না একটি বৈধ কার্নেল আছে।$K$

নমুনা ম্যাটল্যাব / অক্টেভ কোড:

D=5;
N=100;

X = zeros(N,D);
for n = 1:N
   xcur = rand(1,D);
   X(n,:) = xcur/sum(xcur);
end

K = zeros(N,N);
for n = 1:N;  for m = 1:N
    K(n,m) = sum( min( X(n,:), X(m,:) ) );
end;  end;

disp( min( eig(K) ) );

এটি খুব সাধারণ পরীক্ষা, তবে সাবধানতা অবলম্বন করুন । পরীক্ষা ব্যর্থ হলে, আপনি হতে পারেন নিশ্চিত কার্নেল হল না বৈধ, কিন্তু যদি এটা কার্নেল পাসের এখনও নাও হতে পারে বৈধ হতে।

আমি দেখতে পাচ্ছি যে এবং ডি নির্বিশেষে আমি যতগুলি এলোমেলো ম্যাট্রিক্স উত্পন্ন করি এবং নির্বিশেষে , এই কার্নেলটি পরীক্ষায় উত্তীর্ণ হয়, সুতরাং এটি সম্ভবত ইতিবাচক অর্ধ-নির্দিষ্ট (বাস্তবে, এটি সুপরিচিত হিস্টগ্রাম ছেদ কর্নেল , এবং প্রমাণিত হয়েছে) বৈধ)।$N$$D$

যাইহোক, একই পরীক্ষা প্রত্যেক চেষ্টা আমি এটা দিয়েছি (অন্তত 20) উপর ব্যর্থ। সুতরাং এটি সুনির্দিষ্টভাবে অবৈধ এবং যাচাই করা বেশ সহজ।$k(\vec{x},\vec{y}) = \sum_{d=1}^D max( x_d, y_d)$

আমি এই দ্বিতীয় বিকল্পটি সত্যিই পছন্দ করি কারণ এটি সঙ্কলিত আনুষ্ঠানিক প্রমাণগুলির চেয়ে ডিবাগ করা বেশ দ্রুত এবং অনেক সহজ। জিতেন্দ্র মালিকের স্লাইড ১৯ অনুসারে মোড়ের কার্নেলটি ১৯৯১ সালে প্রবর্তিত হয়েছিল তবে ২০০৫ অবধি সঠিকভাবে প্রমাণিত হয়নি। আনুষ্ঠানিক প্রমাণগুলি খুব চ্যালেঞ্জিং হতে পারে!

Comments

আমি এটা বুঝতে হিসাবে দ্বিতীয় শর্ত শুধুমাত্র ইতিবাচক আধা -definiteness। এবং আমি যা বলেছি তা থেকে কেবলমাত্র যদি আপনি এসভিএম অ্যালগরিদমের সংযোগটি প্রমাণ করতে চান তবে এটি প্রয়োজনীয়। অনুশীলনে, এমন অনেকগুলি কার্নেল রয়েছে যা পিএসডি নয়, তবে অনুশীলনে ভালভাবে কাজ করে।

— পিটার

@ পিটার: হ্যাঁ, আপনি ঠিক বলেছেন। এটি * অর্ধ- নির্দিষ্ট হতে পারে, কেবল সুনির্দিষ্ট নয়। সেই অনুসারে সম্পাদিত।

— মাইক হিউজেস

এসভিএম ডোমেনে, একটি পিএসডি কার্নেল ব্যবহার করে সমস্যাটি উত্তল হওয়ার বিষয়টি নিশ্চিত করে, তাই অপ্টিমাইজেশানটি একটি বিশ্বব্যাপী অনুকূল সমাধান অর্জন করে। পিএসডি-সম্পত্তি ব্যতীত, কোনও সমাধান পাওয়া যায় না যে সমাধানটি সর্বাধিক সম্ভাবনার কাছাকাছি রয়েছে no তবে, হ্যাঁ বেশ কয়েকটি কার্নেল রয়েছে (সিগময়েডের মতো) যা পিএসডি নয় তবে বাস্তবে এটি সফল। এই ইস্যুটির জন্য একটি সুনির্দিষ্ট রেফারেন্স হ'ল: পার্সো.এলসিপিসি.ফ.আর / ট্যারেল.জিয়ান-ফিলিপ্প / পাবলিকস / জেপটিক্সিম05 . pdf ।

— মাইক হিউজেস