ফাংশনগুলির উপর বিতরণ কী?

Question

আমি সিই রাসমুসেন এবং সিকেআই উইলিয়ামস দ্বারা মেশিন লার্নিংয়ের জন্য গাউসিয়ান প্রক্রিয়া পাঠ্যপুস্তকটি পড়ছি এবং ফাংশনগুলির উপর বিতরণ কী বোঝায় তা বুঝতে আমার কিছুটা সমস্যা হচ্ছে । পাঠ্যপুস্তকে একটি উদাহরণ দেওয়া হয়েছে, যে কোনও ব্যক্তিকে খুব দীর্ঘ ভেক্টর হিসাবে কল্পনা করা উচিত (আসলে, এটি অসীম দীর্ঘ হওয়া উচিত?)) সুতরাং আমি যেমন ভেক্টর মানগুলি "উপরে" টানা সম্ভাব্যতা বন্টন হতে ফাংশনগুলির উপরে বিতরণ কল্পনা করি। তাহলে কি কোনও সম্ভাবনা হ'ল কোনও ফাংশন এই বিশেষ মানটি গ্রহণ করবে? অথবা এটি একটি সম্ভাব্যতা যে কোনও ফাংশন একটি প্রদত্ত পরিসরে থাকা একটি মান গ্রহণ করবে? বা ফাংশনগুলির উপর বিতরণ একটি সম্পূর্ণ ফাংশনটির জন্য সম্ভাব্যতা নির্ধারিত হয়?

পাঠ্যপুস্তক থেকে উদ্ধৃতি:

অধ্যায় 1: ভূমিকা, পৃষ্ঠা 2

গাউসীয় প্রক্রিয়া হ'ল গাউসীয় সম্ভাবনা বন্টনের একটি সাধারণীকরণ। যেখানে সম্ভাব্যতা বিতরণটি এলোমেলো ভেরিয়েবলগুলি বর্ণনা করে যা স্কেলার বা ভেক্টর (মাল্টিভারিয়েট বিতরণের জন্য), একটি স্টোকাস্টিক প্রক্রিয়া ফাংশনের বৈশিষ্ট্যগুলিকে পরিচালনা করে। গাণিতিক পরিশীলনটিকে একপাশে রেখে, কেউ কোনও ফাংশনটিকে খুব দীর্ঘ ভেক্টর হিসাবে আলগাভাবে ভাবতে পারে, ভেক্টরের প্রতিটি এন্ট্রি একটি নির্দিষ্ট ইনপুট x এ ফাংশনের মান f (x) নির্দিষ্ট করে। দেখা যাচ্ছে, যদিও এই ধারণাটি কিছুটা নির্বোধ, তবুও আশ্চর্যরূপে আমাদের যা প্রয়োজন তা বন্ধ। প্রকৃতপক্ষে, আমরা এই অসীম মাত্রিক বস্তুগুলির সাথে কীভাবে গণনামূলকভাবে আচরণ করি তার প্রশ্নটির মধ্যে সবচেয়ে মনোরম রেজোলিউশন কল্পনাযোগ্য: আপনি যদি সীমাবদ্ধ বিন্দুতে কেবল ফাংশনের বৈশিষ্ট্য জিজ্ঞাসা করেন,

দ্বিতীয় অধ্যায়: রিগ্রেশন, পৃষ্ঠা 7

গাউসিয়ান প্রক্রিয়া (জিপি) রিগ্রেশন মডেলগুলি ব্যাখ্যা করার বিভিন্ন উপায় রয়েছে। কেউ গাউসিয়ান প্রক্রিয়াটিকে ফাংশনগুলির উপর বিতরণের সংজ্ঞা হিসাবে বিবেচনা করতে পারেন এবং ফাংশন-স্পেস ভিউতে সরাসরি ফাংশনগুলির স্পেসে স্থান নির্ধারণ করে।

---

প্রাথমিক প্রশ্ন থেকে:

আমি নিজের কাছে এটি কল্পনা করার চেষ্টা করার জন্য এই ধারণাগত ছবিটি তৈরি করেছি। আমি নিজের পক্ষে এই জাতীয় ব্যাখ্যাটি সঠিক কিনা তা নিশ্চিত নই।

---

আপডেটের পরে:

গিজসের উত্তরের পরে আমি ছবিটি ধারণার মতো আরও কিছু হতে আপডেট করেছি:

Comments

স্বজ্ঞাত ব্যাখ্যার জন্য এটি পরীক্ষা করে দেখুন jgoertler.com/visual-exploration-gaussian-processes

— বাইসপজাই

Answer 1

$\mathbb{R}$$\mathbb{R}^2$$\mathbb{R}^n$$\mathbb{R}^n$

আপনি কেবল ফাংশনগুলির বৃহত সংগ্রহ হিসাবে ফাংশনগুলির স্থানটি ভাবতে পারেন, যদি আপনি এটি করেন তবে সম্ভবত একটি ব্যাগ। এখানে বিতরণ তারপরে আপনাকে সেই জিনিসগুলির একটি উপসেট আঁকার সম্ভাবনা দেয়। বিতরণটি বলবে: আপনার পরবর্তী অঙ্কন (কোনও ফাংশনের) সম্ভাবনাটি এই উপসেটটিতে রয়েছে, উদাহরণস্বরূপ, 10%। দুটি মাত্রায় ফাংশনগুলিতে গাউসিয়ান প্রক্রিয়ার ক্ষেত্রে, আপনি জিজ্ঞাসা করতে পারেন, একটি- xসমন্বয় এবং একটি বিরতি দেওয়া হয়েছেy-মানগুলি, এটি একটি ছোট উল্লম্ব লাইন বিভাগ, একটি (এলোমেলো) ক্রিয়াটি এই ছোট লাইনের মধ্য দিয়ে যাওয়ার সম্ভাবনা কী? এটি একটি ইতিবাচক সম্ভাবনা হতে চলেছে। সুতরাং গাউসিয়া প্রক্রিয়া একটি কার্যকারিতা স্থানের উপর একটি বিতরণ (সম্ভাবনার) নির্দিষ্ট করে। এই উদাহরণে, ফাংশনগুলির স্পেসের উপসেটটি সাবসেটটি লাইন সেগমেন্টের মধ্য দিয়ে যায়।

$\mathbb{R}$

Comments

ধন্যবাদ, সুতরাং স্পষ্ট করে বলতে গেলে, এটি কোনও ফাংশনের মানগুলির উপরে বিতরণ নয়, পরিবর্তে ফাংশনগুলির সংগ্রহের উপরে বিতরণ, তাই না? আমার আরও একটি প্রশ্ন রয়েছে: আপনি বলেছিলেন যে এটি একটি সম্ভাবনা যে কোনও এলোমেলো ফাংশন একটি নির্দিষ্ট ব্যবধানের মধ্য দিয়ে যাবে, সুতরাং জিপিআরের উদাহরণে এটি একটি এলোমেলো ফাংশন হবে তবে প্রদত্ত ফাংশনগুলির একটি নির্দিষ্ট "পরিবার" থেকে কোভেরিয়েন্স কার্নেল?

— ক্যামিলিজর

হ্যাঁ এটি ফাংশনগুলির সংগ্রহের উপরে বিতরণ। যদি আপনার গাউসিয়ান প্রক্রিয়া থাকে তবে একটি বিরতি দিয়ে যাওয়ার উদাহরণটি প্রযোজ্য। কোভেরিয়েন্স কার্নেল আসলে কোনও গাউস প্রক্রিয়া নির্দিষ্ট করে। সুতরাং আপনি যদি কোনও কোভেরিয়েন্স কার্নেল জানেন তবে আপনি একটি নির্দিষ্ট ব্যবধানের মধ্য দিয়ে যাওয়ার এলোমেলো ক্রিয়াকলাপের সম্ভাবনা গণনা করতে পারেন।

— গিজ

@Gijs আপনি কটাক্ষপাত করা খুশি পারে এই , আমি সহভেদাংক ম্যাট্রিক্স এবং কিভাবে বিভিন্ন পারস্পরিক সম্পর্ক পদ এখনও জিপি থেকে অনুরূপ আউটপুটে ফলাফলে স্বজ্ঞা খোঁজ করছি

— GENIVI-শিক্ষার্থী

Answer 2

আপনার প্রশ্ন ইতিমধ্যে গণিত এসই সাইটে জিজ্ঞাসা করা হয়েছে, এবং সুন্দরভাবে উত্তর দেওয়া হয়েছে:

/math/2297424/extending-a-distribution-over-samples-to-a-distribution-over-functions

মনে হচ্ছে আপনি অসীম-মাত্রিক জায়গাগুলি , লিনিয়ার ক্রিয়াকলাপগুলি, পুশফোরওয়ার ব্যবস্থা ইত্যাদির বিষয়ে গাউসিয়ান পদ্ধতিগুলির ধারণার সাথে পরিচিত নন তাই আমি এটিকে যথাসম্ভব সহজ রাখার চেষ্টা করব।

$L^2([0,1])$$I=[0,1]$$\mathbb{R}$$\mathbb{R}^n$$L^2$

তবে, কোলমোগোরভ এক্সটেনশন উপপাদ্যের উপর ভিত্তি করে একটি সাধারণ "কৌশল "ও রয়েছে , যা মূলত স্টোচাস্টিক প্রক্রিয়াগুলি বেশিরভাগ সম্ভাব্য কোর্সে চালু করা হয় যা ভারী পরিমাপ-তাত্ত্বিক নয়। এখন আমি খুব হাতের তরঙ্গ এবং অ-কঠোর হতে চলেছি , এবং নিজেকে গাউসির প্রক্রিয়ার ক্ষেত্রে সীমাবদ্ধ রাখছি । আপনি যদি আরও সাধারণ সংজ্ঞা চান তবে উপরের উত্তরটি পড়তে পারেন বা উইকিপিডিয়া লিঙ্কটি সন্ধান করতে পারেন। আপনার নির্দিষ্ট ব্যবহারের ক্ষেত্রে প্রয়োগ করা কলমোগোরভ এক্সটেনশন উপপাদটি নিম্নোক্ত বা কম উল্লেখ করে:

• $S_n=\{ t_1, \dots ,t_n\} \subset I$$\mathbf{x}_n=(x(t_1),\dots,x(t_n))$
• $S_n, S_m, \enspace S_n\subset S_m$$f_{S_n}(x_1,\dots,x_n)$$f_{S_m}(x_1,\dots,x_{n},x_{n+1},\dots,x_m)$$f_{S_m}$$S_m$$S_n$$f_{S_n}$

$$\int_{\mathbb{R}^{n-m+1}}f_{S_m}(x_1,\dots,x_{n},x_{n+1},\dots,x_m)\text{d}x_{n+1}\dots \text{d}x_m=f_{S_n}(x_1,\dots,x_n)$$

• $X$$L^2$$S_n$$n$

প্রকৃত উপপাদ্যটি বহুলভাবে সাধারণ, তবে আমার ধারণা আপনি এটিই খুঁজছিলেন।