গাউসিয়ান প্রক্রিয়াতে গড় ফাংশনটি কেন আগ্রহহীন?

Question

আমি সবেমাত্র জিপি সম্পর্কে পড়া শুরু করেছি এবং নিয়মিত গাউসীয় বিতরণের সাথে সামঞ্জস্যপূর্ণ এটি একটি গড় ফাংশন এবং covariance ফাংশন বা কার্নেল দ্বারা চিহ্নিত করা হয়। আমি একটি আলাপে ছিলাম এবং স্পিকার বলেছিলেন যে গড় ফাংশনটি সাধারণত বেশ উদ্বেগজনক হয় এবং সমস্ত অনুমানের প্রচেষ্টা সঠিক কোভেরিয়েন্স ফাংশনটি অনুমান করার জন্য ব্যয় করা হয়।

কেউ আমাকে ব্যাখ্যা করতে পারেন কেন এমন হওয়া উচিত?

Answer 1

আমি মনে করি স্পিকারের কী হচ্ছে আমি জানি। ব্যক্তিগতভাবে আমি তার / তার সাথে পুরোপুরি একমত নই, এবং এমন অনেক লোক আছে যারা নেই। তবে ন্যায়সঙ্গতভাবে, যারা এমনগুলিও করেন :) প্রথমত, দ্রষ্টব্য যে covariance ফাংশন (কার্নেল) নির্দিষ্ট করে বোঝায় ফাংশনগুলির উপর পূর্ব বিতরণ নির্দিষ্ট করে। কেবল কার্নেল পরিবর্তন করে, স্কুয়ার এক্সপেনসিয়াল কার্নেল দ্বারা উত্পাদিত খুব মসৃণ, অসীম স্বতন্ত্রভাবে পৃথকযোগ্য, গাউসিয়ান প্রক্রিয়াটির উপলব্ধি তীব্রভাবে পরিবর্তিত হয়

"স্পিকি" -তে, কোনও এক্সফেনশিয়াল কার্নেলের সাথে সম্পর্কিত (বা tern 1/2 সহ মাতৃ কার্নেল ) ননডেফেরেটিয়েবল ফাংশন$\nu=1/2$

এটি দেখতে আরেকটি উপায় একটি পরীক্ষা বিন্দুতে ভবিষ্যদ্বাণীপূর্ণ গড় (গসিয়ান প্রক্রিয়া ভবিষ্যৎবাণী গড়, কন্ডিশনার প্রশিক্ষণের পয়েন্ট জিপি প্রাপ্ত) লিখতে হয় , একটি শূন্য গড় ফাংশন সহজ ক্ষেত্রে:$x^*$

$$y^*=\mathbf{k}^{*T}(K+\sigma^{2}I)^{-1}\mathbf{y}$$

যেখানে পরীক্ষা বিন্দু মধ্যে covariances বাহক এক্স * ও প্রশিক্ষণ পয়েন্ট এক্স 1 , ... , x এন , কে প্রশিক্ষণ পয়েন্ট সহভেদাংক ম্যাট্রিক্স, হয় σ গোলমাল শব্দ (ঠিক সেট σ = 0 যদি আপনার বক্তৃতা সম্পর্কিত শব্দবিহীন পূর্বাভাস, অর্থাত্ গাউসিয়ান প্রক্রিয়া অন্তরঙ্গকরণ এবং y = ( y 1 , … , y n$\mathbf{k}^*$$x^*$$x_1,\ldots,x_n$$K$$\sigma$$\sigma=0$$\mathbf{y}=(y_1,\ldots,y_n)$প্রশিক্ষণ সেটে পর্যবেক্ষণের ভেক্টর। আপনি দেখতে পাচ্ছেন, জিপি এর পূর্বের গড়টি শূন্য হলেও ভবিষ্যদ্বাণীমূলক গড়টি শূন্য নয়, এবং কার্নেলের উপর নির্ভর করে এবং প্রশিক্ষণের পয়েন্টগুলির উপর নির্ভর করে, এটি একটি খুব নমনীয় মডেল হতে পারে, অত্যন্ত শিখতে সক্ষম জটিল নিদর্শন।

আরও সাধারণভাবে, এটি কার্নেল যা জিপির সাধারণীকরণ বৈশিষ্ট্যগুলি সংজ্ঞায়িত করে। কিছু কার্নেলের সর্বজনীন আনুমানিক সম্পত্তি থাকে , যেমন, তারা পর্যাপ্ত প্রশিক্ষণ পয়েন্টের ভিত্তিতে কোনও কমপ্যাক্ট সাবসেটের যে কোনও ধ্রুবক ক্রিয়াকলাপটিকে অনুমান করতে সক্ষম নীতিগতভাবে সক্ষম।

তারপরে, কেন আপনার মধ্যকার ফাংশনটি সম্পর্কে মোটেও যত্ন নেওয়া উচিত? প্রথমত, একটি সরল গড় ফাংশন (একটি লিনিয়ার বা অরথোগোনাল বহুপদী এক) মডেলটিকে আরও ব্যাখ্যাযোগ্য করে তোলে এবং জিপি হিসাবে এই সুবিধাটি নমনীয় (এইভাবে জটিল) হিসাবে মডেলটির জন্য অবমূল্যায়ন করা উচিত নয়। দ্বিতীয়ত, কোনও উপায়ে শূন্যের অর্থ (বা যার মূল্যের জন্য ধ্রুবকটিও রয়েছে) জিপি জাতীয় ধরণের প্রশিক্ষণের ডেটা থেকে অনেক দূরে ভবিষ্যদ্বাণীকে ডুবিয়ে দেয়। অনেক নিশ্চল কার্নেলের (পর্যাবৃত্ত কার্নেলের ব্যতীত) যেমন আছে জন্য Dist ( এক্স আমি , এক্স * ) → $k(x_i-x^*) \to 0$$\operatorname{dist}(x_i,x^*)\to\infty$। 0 এ এই রূপান্তরটি আশ্চর্যজনকভাবে ঘটতে পারে বিশেষত স্কোয়ার এক্সপেনসিয়াল কার্নেলের সাথে, এবং বিশেষত যখন একটি সংক্ষিপ্ত সম্পর্কের দৈর্ঘ্যের জন্য প্রশিক্ষণের সেটটি ভালভাবে ফিট করতে হয়। এভাবে শূন্য গড় ফাংশন সঙ্গে একটি জিপি সবসময় ভবিষ্যদ্বাণী করা হবে তাড়াতাড়ি আপনি ট্রেনিং সেট থেকে দূরে পেতে হিসাবে।$y^*\approx 0$

এখন, এটি আপনার অ্যাপ্লিকেশনটিতে অর্থবোধ করতে পারে: সর্বোপরি, মডেলটিকে প্রশিক্ষণের জন্য ব্যবহৃত ডেটার পয়েন্টগুলির সেট থেকে দূরে ভবিষ্যদ্বাণী করতে ডেটাচালিত মডেল ব্যবহার করা প্রায়শই খারাপ ধারণা। কেন এটি একটি খারাপ ধারণা হতে পারে তার অনেক আকর্ষণীয় এবং মজাদার উদাহরণের জন্য এখানে দেখুন । এই ক্ষেত্রে, শূন্য মানে জিপি, যা সর্বদা প্রশিক্ষণ সেট থেকে 0 দূরে রূপান্তরিত হয়, এটি একটি মডেলের তুলনায় নিরাপদ (যেমন উদাহরণস্বরূপ উচ্চ ডিগ্রি মাল্টিভারিয়েট অরথোগোনাল বহুবর্ষীয় মডেল), যা খুশি হয়ে উন্মত্তভাবে বড় ভবিষ্যদ্বাণীগুলি প্রকাশের সাথে সাথেই প্রকাশ করবে আপনি প্রশিক্ষণ ডেটা থেকে দূরে পেতে।

$x^*$

Comments

ডেল্টা, আপনি কি জানেন যে একটি ভাল মানে কী হবে?

— সমুদ্রের এক বৃদ্ধ।

@ আওল্ডম্যানিথেসিয়া এটি প্রয়োগের উপর অনেক কিছু নির্ভর করে। যেমন আমি ব্যাখ্যা করেছি, যদি না আপনার কোনও ব্যাখ্যাযোগ্য মডেল প্রয়োজন হয় বা আপনি আপনার প্রশিক্ষণ সেট থেকে "দূরে" ভবিষ্যদ্বাণীগুলিতে আগ্রহী না হন, তবে গড় কার্যকারিতা নয়, বরং কোভারিয়েন্স ফাংশনটি উন্নত করার জন্য আপনার প্রচেষ্টাগুলিকে মনোনিবেশ করা আরও ভাল হবে

— ডেল্টাভিও

ডেল্টা, আমার ক্ষেত্রে আমার কিছু ভবিষ্যদ্বাণী করার চেষ্টা করা উচিত যা পর্যবেক্ষণ করা তথ্য থেকে অনেক দূরে হতে পারে ... আমি এই প্রশ্নটি এখানে জিজ্ঞাসা করেছি stats.stackexchange.com/questions/375468/…

— এক বৃদ্ধ সমুদ্র.

Answer 2

যে ব্যক্তি বক্তৃতা দিচ্ছিলেন তার পক্ষে আমরা কথা বলতে পারি না; স্পিকার যখন বক্তব্যটি দিয়েছেন তখন সম্ভবত স্পিকারের মনে আলাদা ধারণা ছিল। যাইহোক, আপনি যদি কোনও জিপি থেকে উত্তরোত্তর পূর্বাভাস তৈরি করার চেষ্টা করছেন, একটি ধ্রুবক গড় ফাংশনটির একটি বদ্ধ-ফর্ম সমাধান রয়েছে যা একেবারে গণনা করা যায়। তবে, আরও সাধারণ গড়ের ফাংশনের ক্ষেত্রে আপনাকে অবশ্যই আনুমানিক পদ্ধতিগুলি অনুকরণ করতে হবে, যেমন সিমুলেশন।

অতিরিক্তভাবে, সমবায় ফাংশনটি কীভাবে দ্রুত (এবং কোথায়) গড় ফাংশন থেকে বিচ্যুতি ঘটে তা নিয়ন্ত্রণ করে, তাই প্রায়শই এটি ঘটে যে আরও নমনীয় / অনমনীয় কোভারিয়েন্স ফাংশনটি আরও বেশি অলঙ্কৃত গড় ফাংশনটি প্রায় কাছাকাছি করার জন্য "যথেষ্ট যথেষ্ট" হতে পারে - যা আবার মঞ্জুর করে which একটি ধ্রুবক গড় কার্যকারিতা সুবিধার বৈশিষ্ট্য অ্যাক্সেস।

Comments

এই ব্যাখ্যার জন্য ধন্যবাদ। হ্যাঁ, আমি আমার প্রশ্ন জিজ্ঞাসা করতে পারি না এবং ভাবছিলাম যে এর কোনও মূল কারণ আছে কিনা।

— লুকা

Answer 3

$y_t=c+\gamma y_{t-1}+e_t$$E[y_t]\equiv\mu=\frac{c}{1-\gamma}$

$c$$\gamma$

$$V=\frac{\mu}{r}$$ $r$

$$y_1=c+\gamma y_0$$ $y_0$

Answer 4

$x_i$$\mu(x_i)$

$x$

Answer 5

এটিকে সহজভাবে বলতে গেলে, গড় ফাংশন পর্যবেক্ষণ থেকে 'দূরে' ইনপুটগুলির জন্য কোভারিয়েন্স ফাংশনকে প্রাধান্য দেয়।
এটি আপনার সিস্টেমের ম্যাক্রো গতিশীলতায় আপনার পূর্ববর্তী জ্ঞানকে ইনজেক্ট করার একটি উপায়।

Comments

আমি আপনার উত্তর বুঝতে পারি না। আপনি কি স্পষ্ট করতে পারেন?

— মাইকেল আর চেরনিক