গাউসিয়ান প্রক্রিয়া (রিগ্রেশন) সর্বজনীন আনুমানিক সম্পত্তি আছে?

[ক, খ] এর উপর যে কোনও ধারাবাহিক ক্রিয়াকলাপ, যেখানে ক এবং খ প্রকৃত সংখ্যা, সেখানে গাউসিয়া প্রসেসিস (রিগ্রেশন) দ্বারা আনুষ্ঠানিকভাবে বা নির্বিচারে ফাংশনের (কিছু আদর্শে) কাছাকাছি থাকতে পারে?

gaussian-process approximation

— মাইকেল ডি
সূত্র

আরো নির্দিষ্ট করা!

— হেনরি.এল

হ্যাঁ! ভাল, আসলে, এটি সমবায় কার্যকারিতার উপর নির্ভর করে, তবে তাদের মধ্যে কিছু কিছু তারা করে । ডাস্টিন ট্রান ইত্যাদি। বৈরিয়াল গাউসিয়ান প্রসেসের জন্য বায়েশিয়ান কাঠামোয় একটি সর্বজনীন আনুমানিক উপপাদ্যও প্রমাণিত হয়েছিল , যা ওয়ারপিং কার্যগুলির কারণে আরও জটিল মডেল, তবে এটি খুব ঘনিষ্ঠভাবে সম্পর্কিত। প্রশ্নটি আবার খুললে আমি উত্তর লিখব। পিএস নোট করুন যে সর্বজনীন আনুমানিকতা, নিউরাল নেটওয়ার্ক হিসাবে, কেবল একটি কমপ্যাক্ট সেট রাখে, সমস্ত ।

R^{p}

$\mathbb{R}^p$

— ডেল্টাআইভ

এই প্রশ্নে "সর্বজনীন আনুমানিকতা" এর বক্তব্যটি রেফারেন্সযুক্ত উইকিপিডিয়া নিবন্ধের বিবৃতিটির সাথে সামান্য বা কিছুই করার নেই বলে মনে হয়। প্রকৃতপক্ষে, এটি এমনকি কোনওটি কীভাবে কোনও প্রক্রিয়া সহ কোনও ফাংশন অনুমান করতে পারে তাও পরিষ্কার নয় । আপনি যা জিজ্ঞাসা করার চেষ্টা করছেন সে সম্পর্কে আপনি বিস্তারিত বলতে পারেন?

— হোবার

পরিভাষা যদিও @whuber একটি সামান্য বিট আলগা, আমি মনে করি প্রশ্ন মূলত উপায় হতে পারে "একটি ইনপুট ফাংশন জন্য

, একটি নির্দিষ্ট গ্রামীণফোন যা ইচ্ছামত ঘনিষ্ঠ হয় একটি আদায় হয়

(কিছু আদর্শ মধ্যে)?" অথবা সম্ভবত, "আমরা একটি ফাংশন থেকে অসীম অনেক নমুনা পয়েন্ট পালন হিসাবে

, এবং যে তথ্য সহ স্ট্যান্ডার্ড জিপি অনুমান কার্য সম্পাদন, শিখেছি অবর গড় ফাংশন পদ্ধতির সত্য ফাংশন আছে

(কিছু অর্থে)?" এই দুটি অবশ্যই পৃথক বৈশিষ্ট্য, তবে আমি তাদের যথেষ্ট পরিমাণে জবাবদিহি করার জন্য বিবেচনা করব (এবং এর ফলে পঞ্চম পুনরায় ভোট দেওয়ার জন্য)।

f

$f$

f

$f$

f

$f$

f

$f$

— ডুগল

হতে পারে, আপনি আনুমানিক পরিবর্তে অভিব্যক্তি প্রমাণ করতে চান। অন্যথায়, প্রমাণটি সহজ: আপনি গড় হিসাবে আগে হিসাবে ফাংশন নিতে পারেন। এটি

চেয়ে বেশি কিছু নয় তবে এটি কাজ করে।

x = x

$x=x$

— কারেল ম্যাসেক

@ ডুগাল নোট হিসাবে, দুটি পৃথক উপায়ে আপনার প্রশ্নের ব্যাখ্যা করা যেতে পারে। তারা নিবিড়ভাবে সম্পর্কিত, এমনকি যদি এটি নাও লাগে।

প্রথম ব্যাখ্যা হয়: দিন এর একটি কম্প্যাক্ট উপসেট হতে দিন (সংহতি নিম্নলিখিত সকলের জন্য মৌলিক !!!), একটি ক্রমাগত সহভেদাংক ফাংশন হবে (অথবা কার্নেল) এ সংজ্ঞায়িত , এবং বোঝাতে সঙ্গে উপর ক্রমাগত ফাংশন normed স্থান , সর্বোচ্চ আদর্শ দিয়ে সজ্জিত করা । যে কোনও ফাংশনের জন্য , করতে পারেন $X$ $\mathbb{R}^d$ $k(\mathbf{x},\mathbf{x})$ $X\times X$ $C(X)$ $X$ $||\cdot||_{\infty}$ $f\in C(X)$ $f$ একটি prespecified সহনশীলতা আনুমানিক হতে RKHS (প্রতিলিপি কার্নেল হিলবার্ট স্পেস) যুক্ত একটি ফাংশন দ্বারা $\epsilon$ $k$ ? আপনি ভালভাবেই ভাবতে পারেন যে আরকেএইচএস কী, গাউসিয়ান প্রক্রিয়া রিগ্রেশনটির সাথে এইগুলির কী সম্পর্ক রয়েছে। একটি RKHS ভেক্টর স্থান সব সম্ভব ফাংশন সমন্বয় রৈখিক সব সম্ভব সসীম দ্বারা গঠিত এর অবসান হয় যেখানে । এটি গাউসিয়ান প্রক্রিয়া রিগ্রেশন সম্পর্কিত খুব কঠোরভাবে সম্পর্কিত, কারণ একটি গাউসিয়ান প্রক্রিয়া পূর্বে $K(X)$ $f_\mathbf{y}(\mathbf{x})=k(\mathbf{x},\mathbf{y})$ $\mathbf{y}\in X$ স্পেস , তারপরে (বন্ধ হওয়া) সমস্ত সম্ভাব্য উত্তরোত্তর অর্থের স্থান যা গাউসিয়ান প্রক্রিয়া রিগ্রেশন দ্বারা উত্পন্ন করা যায় ঠিক আরকেএইচএস। প্রকৃতপক্ষে, সমস্ত সম্ভাব্য উত্তরোত্তর উপায়গুলি ফর্মের $GP(0,k(\mathbf{x},\mathbf{x}))$ $C(X)$

চ (এক্স) = Σ_{আমি = 1}^{এন} গ_{আমি} ট (এক্স, {এক্স}_{আমি})

$f(\mathbf{x}) =\sum_{i=1}^n c_i k(\mathbf{x},\mathbf{x}_i)$

অর্থাত্ এগুলি হ'ল ফাংশনের সীমাবদ্ধ রৈখিক সংমিশ্রণ । সুতরাং, আমরা কার্যকরভাবে যদি বলছি, একটি গসিয়ান প্রক্রিয়া পূর্বে প্রদত্ত উপর , কোনো ফাংশন জন্য সবসময় আছে একটি ফাংশন $f_\mathbf{x_i}(\mathbf{x})=k(\mathbf{x},\mathbf{x_i})$ $GP(0,k(\mathbf{x},\mathbf{x}))$ $C(X)$ $f\in C(X)$ $f^*$ জিপিআর দ্বারা উত্পাদিত হতে পারে এমন সমস্ত ক্রিয়াকলাপের (সমাপনীকরণ) স্পেসে, যা পছন্দসই কাছাকাছি । $f$

উত্তর, কিছু নির্দিষ্ট কার্নেলের জন্য (ক্লাসিক স্কোয়ার্ড এক্সপেনসিয়াল কার্নেল সহ, তবে বহুপক্ষীয় কার্নেল সহ নয়), হ্যাঁ । এটা তোলে প্রমাণিত হতে পারে যে এই ধরনের কার্নেলের জন্য হয় ঘন মধ্যে , অর্থাত্, কোন এবং কোন সহনশীলতা জন্য , একটি হল মধ্যে যেমন যে $K(X)$ $C(X)$ $f\in C(X)$ $\epsilon$ $f^*$ $K(X)$ $||f-f^*||_{\infty}<\epsilon$ । অনুমানগুলি নোট করুন: কমপ্যাক্ট, ধ্রুবক এবং তথাকথিত সার্বজনীন আনুমানিক বৈশিষ্ট্যযুক্ত একটি অবিচ্ছিন্ন কার্নেল। আরও সাধারণ (এভাবে জটিল) প্রসঙ্গে পুরো প্রমাণের জন্য এখানে দেখুন । $X$ $f$ $k$

এই ফলাফলটি প্রথম দর্শনের চেয়ে অনেক কম শক্তিশালী। এমনকি যদি অবর যার গ্রাউন্ড-পেনেট্রেটিং রাডার দ্বারা উত্পন্ন করা যেতে পারে স্থান (এর অবসান), আমরা প্রমাণ করেন নি হয় যে হয় বিশেষ অবর, একটি প্রশিক্ষণ সেট বৃহৎ যথেষ্ট, জন্য যেখানে অবশ্যই গ্রাউন্ড-পেনেট্রেটিং রাডার দ্বারা ফিরে মানে প্রশিক্ষণ সেটটি পয়েন্ট এ এর গোলমাল পর্যবেক্ষণ নিয়ে গঠিত । আমরা এমনকি প্রমানও করতে পারি নি যে জিপিআর দ্বারা ফিরে আসা উত্তরটি মোটেও রূপান্তর করে $f^*$ $f$ $\mathbf{x}_1,\dots,\mathbf{x}_n$ $n \to \infty$ ! এটি আসলে ডুগালের প্রস্তাবিত দ্বিতীয় ব্যাখ্যা interpretation এই প্রশ্নের উত্তর প্রথম প্রশ্নের উত্তর নির্ভর করে: যদি কোনো ফাংশন নয় RKHS যা একটি "ভালো পড়তা" হয় , অবশ্যই আমরা আশা করি না যে অবর গড় থেকে গ্রাউন্ড-পেনেট্রেটিং রাডার এগোয় দ্বারা ফিরে এটা। তবে এটি একটি আলাদা প্রশ্ন different আপনি যদি এই প্রশ্নেরও উত্তর পেতে চান তবে দয়া করে একটি নতুন প্রশ্ন জিজ্ঞাসা করুন। $f^*$ $f$

— DeltaIV
সূত্র