অসীম মাত্রিক ভিত্তি ফাংশন ভিউয়ের মাধ্যমে গাউসিয়ান প্রক্রিয়া রিগ্রেশন বোঝা

Question

প্রায়শই বলা হয় যে গাউসিয়া প্রক্রিয়া রিগ্রেশন (জিপিআর) বেইসিয়ান লিনিয়ার রিগ্রেশনকে (সম্ভবত) অসীম পরিমাণ ভিত্তির ফাংশনগুলির সাথে সম্পর্কিত করে। আমি জিপিআর ব্যবহার করে কোন ধরণের মডেল প্রকাশ করতে পারি তার একটি অন্তর্দৃষ্টি পেতে আমি এটি বিশদটি বোঝার চেষ্টা করছি।

1. আপনি কি মনে করেন যে জিপিআর বোঝার চেষ্টা করার জন্য এটি একটি ভাল পদ্ধতি?

রাসমুসেন এবং উইলিয়ামস ফর মেশিন লার্নিংয়ের জন্য গাউসিয়ান প্রসেসিস বইটিতে দেখানো হয়েছে যে প্যারামিটারাইজড এক্সফেনসিয়াল স্কোয়ার্ড কার্নেল কে ( x , x ′ ; l ) = σ 2 পি এক্সপ্রেস ( - ( এক্স - এক্স ) 2 দ্বারা বর্ণিত গাউস প্রক্রিয়াগুলির সেট )equivalently পূর্বে বিশ্বাস bayesian রিগ্রেশন হিসাবে বর্ণনা করা যায়W~এন(0,σ 2 পি আমি)ওজন উপর এবং ফর্ম ভিত্তিতে ফাংশন অসীম পরিমাণφগ(এক্স;ঠ)=Exp(-(x-গ)

$$k(x,x';l)= \sigma_p^2\exp\left(-\frac{(x-x)^2}{2l^2}\right)$$ $w \sim \mathcal{N}(0,\sigma_p^2 I)$ সুতরাং, কার্নেলের প্যারামিটারাইজেশন ভিত্তিক ফাংশনগুলির প্যারামিটারাইজেশনে সম্পূর্ণরূপে অনুবাদ করা যায়। $$\phi_c(x;l)=\exp\left(-\frac{(x-c)^2}{2l^2}\right)$$

2. পার্থক্যযুক্ত কার্নেলের প্যারামিটারাইজেশনটি কি সর্বদা পূর্ব এবং ভিত্তি ফাংশনগুলির প্যারামিটারাইজেশনে অনুবাদ করা যেতে পারে বা সেখানে ডিফারেনটেবল কার্নেলগুলি রয়েছে যেখানে উদাহরণ ভিত্তিক ফাংশনগুলির সংখ্যা কনফিগারেশনের উপর নির্ভর করে?

$k(x,x')$

$$k(x,x')=\sum_{i=1}^\infty \lambda_i\phi_i(x)\phi_i(x')$$ $\phi_i$$w \sim \mathcal{N}(0,\text{diag}([\lambda_1^2,\ldots]))$$\phi_i$$k(x,x',\theta)$$\theta$ যে কনফিগারেশনের জন্য সংশ্লিষ্ট eigenvalues এবং eigenfunctions পারে বিভিন্ন দ্বারা।

আমার পরবর্তী প্রশ্নটি Mercers উপপাদকের বিপরীত সম্পর্কে।

3. কোন ভিত্তি ফাংশনগুলির সেটগুলি বৈধ কার্নেলগুলি নিয়ে যায়?

এবং এক্সটেনশন

4. প্যারামিটারাইজড বেস ফাংশনের কোন সেট বৈধ পার্থক্যযোগ্য কার্নেলগুলিতে নিয়ে যায়?

Answer 1

এখানে কয়েকটি মন্তব্য। সম্ভবত অন্য কেউ বিশদটি পূরণ করতে পারেন।

1) বেস প্রতিনিধিত্ব সবসময় একটি ভাল ধারণা। আপনি যদি আপনার সমবায় ফাংশনটি দিয়ে প্রকৃতপক্ষে কিছু গণনা করতে চান তবে এগুলি এড়ানো শক্ত। ভিত্তি সম্প্রসারণ আপনাকে কার্নেলের একটি সান্নিধ্য এবং কিছু দিয়ে কাজ করতে পারে। আশা করি আপনি এমন একটি ভিত্তি সন্ধান করতে পারেন যা আপনি সমস্যার সমাধান করার চেষ্টা করছেন তার অর্থটি তৈরি করে।

$\theta$$\theta$

সাধারণত, বেস ফাংশনগুলির সংখ্যা (অগণিত) অসীম হবে, সুতরাং প্যারামিটারের সাথে সংখ্যাটি পৃথক হবে না, যদি না কিছু মান কার্নেলটি অবনমিত করে তোলে।

$w \sim \mathcal{N}(0,diag[\lambda_1^2, \ldots])$$w$$diag[\lambda_1^2, \ldots]$

$\lambda_i$$\lambda_i$$x$

যদি ভিত্তির ফাংশনগুলি অরথোগোনাল না হয় তবে এগুলি দেখানো আরও কঠিন হবে যে সেগুলি থেকে সংজ্ঞায়িত একটি সমবায় ইতিবাচক সুনির্দিষ্ট। স্পষ্টতই, সেক্ষেত্রে আপনি কোনও ইগেন-প্রসারণের সাথে কাজ করছেন না, তবে আগ্রহের কার্যকারিতাটি আনুমানিক করার কোনও অন্য উপায়ের সাথে করছেন।

তবে আমি মনে করি না লোকেরা সাধারণত একগুচ্ছ ফাংশন থেকে শুরু করে এবং তারপর সেগুলি থেকে একটি কোভারিয়েন্স কার্নেল তৈরি করার চেষ্টা করে।

আরই: কার্নেলের পার্থক্যযোগ্যতা এবং বেস ফাংশনগুলির স্বতন্ত্রতা। আমি আসলে এই প্রশ্নের উত্তর জানি না, তবে আমি নিম্নলিখিত পর্যবেক্ষণটি প্রদান করব।

কার্যকরী বিশ্লেষণ সহজ ফাংশনের সীমাবদ্ধ পরিমাণগুলি দ্বারা কার্যগুলি (একটি অসীম মাত্রিক স্থান থেকে) অনুমানের মাধ্যমে এগিয়ে যায়। এই কাজটি করার জন্য, সবকিছু জড়িত রূপান্তরটির ধরণের উপর নির্ভর করে। সাধারণত, আপনি যদি সুদের কার্যাবলী সম্পর্কে দৃ strong় রূপান্তর বৈশিষ্ট্য (অভিন্ন রূপান্তর বা পরম সারসংক্ষেপ) সহ একটি কমপ্যাক্ট সেটটিতে কাজ করে থাকেন তবে আপনি যে ধরণের স্বজ্ঞাত ফলাফল খুঁজছেন তা পাবেন: সাধারণ ফাংশনগুলির বৈশিষ্ট্যগুলি এখানে চলে যায় সীমাবদ্ধতা ফাংশন - উদাহরণস্বরূপ যদি কার্নেলটি কোনও প্যারামিটারের একটি পৃথক ফাংশন হয়, তবে প্রসারণ ফাংশনগুলি অবশ্যই একই প্যারামিটারের ডিফারেনটেবল ফাংশন এবং তদ্বিপরীত হতে হবে। দুর্বল রূপান্তর বৈশিষ্ট্য বা নন-কমপ্যাক্ট ডোমেনগুলির অধীনে, এটি ঘটে না। আমার অভিজ্ঞতায় প্রতিটি "যুক্তিসঙ্গত" ধারণার একটি পাল্টা উদাহরণ পাওয়া যায়।

দ্রষ্টব্য: এই প্রশ্নের পাঠকদের কাছ থেকে সম্ভাব্য বিভ্রান্তি ঘটাতে, দ্রষ্টব্য যে পয়েন্ট 1 এর গাউসিয়ান সম্প্রসারণ পয়েন্ট 2 এর ইগেন-বিস্তারের উদাহরণ নয়।