কোভারিয়েন্স ফাংশন বা কার্নেল - এগুলি ঠিক কী?

Question

আমি গাউসীয় প্রক্রিয়াগুলির ক্ষেত্রে এবং সেগুলি কীভাবে মেশিন লার্নিংয়ে প্রয়োগ করা হচ্ছে সে ক্ষেত্রে আমি বরং নতুন। এই পদ্ধতির প্রধান আকর্ষণ হ'ল সমবায়িক কার্যগুলি সম্পর্কে পড়া এবং শুনছি keep সুতরাং যে কেউ এই জ্ঞানীয় কার্যগুলিতে কি ঘটছে একটি স্বজ্ঞাত উপায়ে ব্যাখ্যা করতে পারে?

অন্যথায়, যদি আপনি তাদের নির্দিষ্ট করে একটি নির্দিষ্ট টিউটোরিয়াল বা নথি নির্দেশ করতে পারেন।

Comments

অধ্যায় 4. gaussianprocess.org/gpml '

— Sycorax পুনর্বহাল মনিকা বলেছেন

যদি এটি প্রাথমিকভাবে একটি রেফারেন্স অনুরোধের সমস্যা হয় তবে আপনি "রেফারেন্স" ট্যাগ যুক্ত করতে পারেন। (প্রশ্নটি বরং বিস্তৃত তবে আপনি কী পড়বেন এবং কী পড়বেন সেদিকে লক্ষ্য করে লোকেরা যদি তা স্বীকার করেন তবে এটি মূলত এই সমস্যাটির সমাধান করে))

— সিলভারফিশ

Answer 1

আলগা শর্তে, একটি কার্নেল বা covariance ফাংশন আপনার ইনপুট স্পেসে দুটি পয়েন্টের মধ্যে পরিসংখ্যানগত সম্পর্ক নির্দিষ্ট করে ; এটি হ'ল, এ গাউসিয়ান প্রসেসের (জিপি) মানের পরিবর্তন কীভাবে জিপি পরিবর্তনের সাথে সম্পর্কিত । কিছু অর্থে, আপনি ইনপুট (*) এর মধ্যে মিলের সংজ্ঞা হিসাবে বিবেচনা করতে পারেন ।এক্স , এক্স ′ এক্স এক্স ′ কে ( ⋅ , ⋅ $k(x, x^\prime)$$x, x^\prime$$x$$x^\prime$$k(\cdot, \cdot)$

সাধারণ কার্নেলগুলি কেবল পয়েন্টের মধ্যে ইউক্লিডিয়ান দূরত্বের (বা এর লিনিয়ার ট্রান্সফরমেশন) উপর নির্ভর করে তবে মজা শুরু হয় যখন আপনি বুঝতে পারবেন যে আপনি আরও অনেক কিছু করতে পারবেন।

ডেভিড দুভেনাড যেমনটি লিখেছেন:

কার্নেলগুলি সমস্ত ধরণের ডেটা স্ট্রাকচারের উপরে সংজ্ঞায়িত করা যেতে পারে: পাঠ্য, চিত্র, ম্যাট্রিক এবং এমনকি কার্নেলগুলি। একটি নতুন ধরণের ডেটাতে কার্নেলের সাথে আসা একটি এনআইপিএস পেপার পাওয়ার সহজ উপায় ছিল।

জিপিগুলির জন্য কার্নেলগুলির একটি সহজ সংক্ষিপ্তসার জন্য, আমি উষ্ণতার সাথে তার কার্নেল কুকবুক এবং এর উল্লেখের পরামর্শ দিচ্ছি ।

---

(*) @ ডিকরান মার্সুপিয়াল নোট হিসাবে, সতর্ক হন যে কথোপকথনটি সত্য নয়; সমস্ত মিলের মেট্রিকগুলি বৈধ কার্নেলগুলি নয় (তার উত্তর দেখুন)।

Answer 2

$K(x, x') = \phi(x)\cdot\phi(x')$$\phi(\cdot)$ এটি এমন একটি ফাংশন যা বৈশিষ্ট্যের জায়গাতে ইনপুট ভেক্টরকে মানচিত্র করে।

তাহলে কার্নেলটি কিছু বৈশিষ্ট্যযুক্ত স্থানের অভ্যন্তরীণ পণ্য হিসাবে কেন ব্যাখ্যাযোগ্য হবে? কারণটি হ'ল লিনিয়ার মডেলগুলির (যেমন লজিস্টিক রিগ্রেশন হিসাবে) লিনিস্টিক মডেলের (যেমন নিউরাল নেটওয়ার্ক) তুলনায় তাত্ত্বিক সীমানা নির্ধারণ করা আরও সহজ। বেশিরভাগ লিনিয়ার মডেলগুলি এমনভাবে লেখা যায় যাতে ইনপুট ভেক্টরগুলি কেবল অভ্যন্তরীণ পণ্যগুলির আকারে উপস্থিত হয়। এর অর্থ হ'ল আমরা কার্নেল বৈশিষ্ট্য স্থানে লিনিয়ার মডেল তৈরি করে একটি অ-লিনিয়ার মডেল তৈরি করতে পারি। এটি তথ্যের একটি স্থির রূপান্তর, সুতরাং রৈখিক মডেলের জন্য সমস্ত তাত্ত্বিক কর্মক্ষমতা সীমাবদ্ধভাবে স্বয়ংক্রিয়ভাবে নতুন কার্নেল অ-লিনিয়ার মডেল * এ প্রয়োগ হয়।

একটি গুরুত্বপূর্ণ বিষয় যা প্রথমে উপলব্ধি করা মুশকিল তা হ'ল আমরা এমন কোনও বৈশিষ্ট্য জায়গার কথা চিন্তা না করি যা আমাদের বিশেষ প্রয়োগের জন্য ভাল হবে এবং তারপরে সেই বৈশিষ্ট্যের জায়গার উত্থাপন করে একটি কার্নেল ডিজাইন করবে। সাধারণভাবে আমরা একটি ভাল মিলের মেট্রিক নিয়ে আসি এবং তারপরে দেখুন এটি কোনও কার্নেল কিনা (পরীক্ষাটি সোজা হয়, যদি সাধারণ অবস্থানে পয়েন্টে কার্নেল ফাংশনটির জোড়ওয়ালা মূল্যায়নের কোনও ম্যাট্রিক্স সুনির্দিষ্ট হয় তবে এটি একটি বৈধ কার্নেল) ।

$^*$

Comments

"একটি কার্নেল (পরীক্ষাটি সহজবোধ্য, যদি কার্নেলের ক্রিয়াকলাপের জোড়ওয়ালা মূল্যায়নের কোনও ম্যাট্রিক্স ইতিবাচক সুনির্দিষ্ট হয়, তবে এটি একটি বৈধ কার্নেল)। আমি বিশ্বাস করি আপনাকে "স্বতন্ত্র পয়েন্টগুলিতে" অন্তর্ভুক্ত করতে হবে।

— মার্ক এল। স্টোন