ম্যাটার্ন কোভেরিয়েন্স ফাংশনের যুক্তি কী?

19

ম্যাটর্ন কোভেরিয়েন্স ফাংশনটি সাধারণত গাউসিয়া প্রসেসে কার্নেল ফাংশন হিসাবে ব্যবহৃত হয়। এটি এর মতো সংজ্ঞায়িত করা হয়েছে

C_{ν} (d) = σ^{2} \frac{2^{1 - ν}}{Γ (ν)} (\sqrt{2 ν} \frac{d}{ρ})^{ν} K_{ν} (\sqrt{2 ν} \frac{d}{ρ})

$C_{\nu }(d)=\sigma ^{2}{\frac {2^{1-\nu }}{\Gamma (\nu )}}{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}^{\nu }K_{\nu }{\Bigg (}{\sqrt {2\nu }}{\frac {d}{\rho }}{\Bigg )}$

যেখানে দূরত্বে ফাংশন (যেমন ইউক্লিডিয় দূরত্ব হিসাবে) হয়, গামা ফাংশন, হয় হয় দ্বিতীয় ধরনের সংশোধিত বেসেল ফাংশন, এবং ইতিবাচক পরামিতি। অনুশীলনে বা হতে বেছে নেওয়া অনেক সময়। । $d$ $\Gamma$ $K_\nu$ $\rho$ $\nu$ $\nu$ $\frac{3}{2}$ $\frac{5}{2}$

এই কর্নেলটি 'কম মসৃণ' হওয়ায় মানক গাউসিয়ান কার্নেলের চেয়ে আরও ভাল কাজ করে তবে এই কার্নেলটিকে পছন্দ করার কারণেই কি অন্য কোনও কারণ রয়েছে? এটি কীভাবে আচরণ করে সে সম্পর্কে কিছু জ্যামিতিক অন্তর্নিহিতা, বা আপাতদৃষ্টিতে রহস্যজনক সূত্রের কিছু ব্যাখ্যা অত্যন্ত প্রশংসিত হবে।

spatial gaussian-process kernel-trick

— হাওচি কিয়াং
সূত্র

18

@ দহনজাহান সুন্দর উত্তর ছাড়াও, আমি ভেবেছিলাম যে বেসেল এবং গামা ফাংশনগুলি কোথা থেকে এসেছে সে সম্পর্কে আমি আরও কিছুটা বলার চেষ্টা করব। সমবায় কার্য অনুষ্ঠানে পৌঁছানোর জন্য একটি সূচনা পয়েন্ট হ'ল বোচনার উপপাদ্য।

উপপাদ্য (Bochner) একটি ক্রমাগত নিশ্চল ফাংশন ইতিবাচক নির্দিষ্ট হয় যদি এবং কেবল যদি ফুরিয়ার একটি নির্দিষ্ট ইতিবাচক পরিমাপ রুপান্তর হল: $k(x, y) = \widetilde{k}(|x − y|)$ $\widetilde{k}$
$\tilde{k} (t) = \int_{R} e^{- i ω t} d µ (ω)$ $\widetilde{k}(t) = \int_{\mathbb{R}} e^{−iωt}dµ(ω)$

এটি থেকে আপনি অনুমান করতে পারেন যে ম্যাটরন কোভারিয়েন্স ম্যাট্রিক্সটি (উত্স) এর ফুরিয়ার রূপান্তর হিসাবে উদ্ভূত হয়েছে । যে সব ভাল কিন্তু এটা সত্যিই আমাদের বলে না কিভাবে আপনার দেওয়া এই এই সসীম ইতিবাচক পরিমাপ উতরান । ওয়েল, এটা (ক্ষমতা) একটি সম্ভাব্যতার সূত্রাবলি প্রক্রিয়া ভুতুড়ে ঘনত্ব এর । $\frac{1}{(1+\omega^2)^p}$ $\frac{1}{(1+\omega^2)^p}$ $f(x)$

কোন স্টোকাস্টিক প্রক্রিয়া? এটি জানা যায় যে ম্যাটরোন কোভেরিয়েন্স ফাংশন সহ র্যান্ডম প্রক্রিয়া হ'ল স্টোকাস্টিক আংশিক ডিফারেনশিয়াল সমীকরণ (এসপিডিই) যেখানে ইউনিট বৈকল্পিক সহ গাউসিয়ান সাদা শব্দ, ল্যাপ্লেস অপারেটর, এবং (আমার মনে হয় এটি ক্রেসি এবং উইক্লেতে রয়েছে )। $\mathbb{R}^d$

(κ^{2} - ∆)^{α / 2} X (s) = φ W (s),

$(κ^2 − ∆)^{α/2} X(s) = φW(s),$

W (s)

$W(s)$

Δ = \sum_{i = 1}^{d} \frac{\partial^{2}}{\partial x_{i}^{2}}

$\Delta = \sum_{i=1}^d \frac{\partial^2}{\partial x^2_i}$

α = ν + d / 2

$α =ν + d/2$

কেন এই নির্দিষ্ট এসপিডিই / স্টোকাস্টিক প্রক্রিয়াটি বেছে নেবেন? উত্সটি স্থানিক পরিসংখ্যানগুলিতে যেখানে এটি যুক্তিযুক্ত যে : এ সর্বাধিক কাজ করে এমন সহজ এবং প্রাকৃতিক covariance : $\mathbb{R}^2$

সূচকীয় পারস্পরিক সম্পর্কের কাজটি একটি মাত্রায় প্রাকৃতিক সম্পর্ক, কারণ এটি একটি মার্কভ প্রক্রিয়ার সাথে সম্পর্কিত। দুটি মাত্রায় এটি আর হয় না, যদিও সূচকীয় ভূ-তাত্ত্বিক কাজের একটি সাধারণ সম্পর্কযুক্ত ফাংশন। হুইটল (1954) ল্যাপ্লেসের ধরণের স্টোকাস্টিক ডিফারেনশনাল সমীকরণের সাথে সম্পর্কিত পারস্পরিক সম্পর্ক নির্ধারণ করে:

$[{(\frac{\partial}{\partial {টি}_{1}})}^{2} + + {(\frac{\partial}{\partial {টি}_{2}})}^{2} - κ^{2}] এক্স ({টি}_{1}, {টি}_{2}) = ε ({টি}_{1}, {টি}_{2})$ $\left[ \left(\frac{\partial}{\partial t_1}\right)^2 + \left(\frac{\partial}{\partial t_2}\right)^2 - \kappa^2 \right] X(t_1, t_2) = \epsilon(t_1 , t_2)$ যেখানে সাদা আওয়াজ। সংশ্লিষ্ট স্বতন্ত্র জালিয়াতি প্রক্রিয়া একটি দ্বিতীয় ক্রম স্বাবলম্বতা। (সূত্র) $\epsilon$

প্রসূতি সমীকরণের সাথে যুক্ত এসডিইতে অন্তর্ভুক্ত প্রক্রিয়াগুলির পরিবারগুলির মধ্যে ব্রাউনিয়ান গতির মধ্য দিয়ে যাওয়া একটি কণার বেগের অর্নস্টাইন-উহলেনবেক মডেল অন্তর্ভুক্ত রয়েছে । আরও সাধারণভাবে, আপনি প্রতিটি পূর্ণসংখ্যা জন্য প্রক্রিয়াগুলির একটি পরিবারের জন্য একটি পাওয়ার স্পেকট্রাম সংজ্ঞায়িত করতে পারেন যা ম্যাটরন পরিবারের সহকারীও রয়েছে। এটি রাসমুসেন এবং উইলিয়ামসের পরিশিষ্টে রয়েছে। $AR(1)$ $AR(p)$ $p$

এই covariance ফাংশন Matérn ক্লাস্টার প্রক্রিয়া সম্পর্কিত নয়।

তথ্যসূত্র

ক্রেসি, নোয়েল এবং ক্রিস্টোফার কে। উইকল। স্প্যাটিও-টেম্পোরাল ডেটার জন্য পরিসংখ্যান। জন উইলি অ্যান্ড সন্স, 2015।

গুতোর্প, পিটার এবং তিলম্যান গনিটিং। "সম্ভাবনা এবং পরিসংখ্যানের ইতিহাসে অধ্যয়ন XMLX মাতৃ সহবাস পরিবারে।" বায়োমেটিকার 93.4 (2006): 989-995।

রাসমুসেন, সিই এবং উইলিয়ামস, মেশিন লার্নিংয়ের জন্য সিকেআই গাউসিয়ান প্রসেসেস। এমআইটি প্রেস, 2006

— MachineEpsilon
সূত্র

2

এক-মাত্রিক ক্ষেত্রে, আকৃতি সঙ্গে Matern সহভেদাংক সঙ্গে একটি ধনাত্মক পূর্ণসংখ্যা যার এমন কোন ক্রমাগত সময় AutoRegressive প্রক্রিয়ার আদেশের । তবে, সমস্ত মডেলগুলির একটি মাতৃসামগ্রী নেই।

ν = p - 1 / 2

$\nu = p - 1/2$

p

$p$

CAR (p)

$\text{CAR}(p)$

p

$p$

CAR (p)

$\text{CAR}(p)$

— ইয়ভেস

এটি আমার পক্ষে একটি স্পষ্ট ভুল বোঝাবুঝি, আমি উত্তরটি আপডেট করব। ধন্যবাদ!

— মেশিনেপসিলন

16

আমি জানি না, তবে আমি এই প্রশ্নটি খুব আকর্ষণীয় পেয়েছি এবং এটি পড়ার পরে আমি কী পেয়েছি তা এখানে।

এর কয়েকটি নির্দিষ্ট মানগুলির জন্য , ম্যাটরন কোভেরিয়েন্স ফাংশনটি একটি ক্ষতিকারক এবং বহুবর্ষের পণ্য হিসাবে প্রকাশ করা যেতে পারে । উদাহরণস্বরূপ : তখন খুব অবাক হওয়ার কিছু নেই যে, , আসলে রূপান্তরিত হয় থেকে গসিয়ান RBF : জন্য , ম্যাটরন কোভেরিয়েন্স ফাংশনটি পরম তাত্পর্যপূর্ণ কার্নেল $\nu$ $\nu = 5/2$

{সি}_{5 / 2} (ঘ) = σ^{2} (1 + + \frac{\sqrt{5} ঘ}{ρ} + + \frac{5 ঘ^{2}}{3 ρ^{2}}) মেপুঃ (- \frac{\sqrt{5} ঘ}{ρ})

$C_{5/2}(d) = \sigma^2\left(1 + \frac{\sqrt 5 d}{\rho} + \frac{5d^2}{3\rho^2} \right) \exp \left(- \frac{\sqrt 5 d}{\rho}\right)$

ν \to \infty

$\nu \to \infty$

C_{ν}

$C_\nu$

\underset{ν \to \infty}{লিম} {সি}_{ν} (ঘ) = σ^{2} মেপুঃ (- \frac{ঘ^{2}}{2 ρ^{2}})

$\lim_{\nu \to \infty} C_\nu(d) = \sigma^2 \exp \left( -\frac{d^2}{2\rho^2}\right)$

ν = 1 / 2

$\nu = 1/2$

{সি}_{1 / 2} (ঘ) = σ^{2} মেপুঃ (- \frac{ঘ}{ρ})

$C_{1/2}(d) = \sigma^2 \exp\left( -\frac{d}{\rho} \right)$

তদ্ব্যতীত, প্যারামিটার é সহ ম্যাটরোন কোভেরিয়েন্স ফাংশন সহ একটি গাউসীয় প্রক্রিয়া হ'ল পার্থক্যযোগ্য । $\nu$ $\lceil \nu \rceil -1$

রাসমুসেন ও উইলিয়ামস থেকে তোলা একটি ছবিতে এটি বেশ সুন্দরভাবে প্রদর্শিত হয়েছে (2006)

ইন স্থানিক ডেটা এর ক্ষেপক , স্টেইন (যিনি আসলে Matérn সহভেদাংক ফাংশনের নাম প্রস্তাব), যুক্তি (PG। 30) যে গসিয়ান সহভেদাংক ফাংশনের অসীম differentiability শারীরিক প্রসেসের জন্য অবাস্তব ফলাফল উৎপাদ, শুধুমাত্র একটি ছোট একটানা ভগ্নাংশ দেখে যেহেতু স্থান / সময়, তাত্ত্বিকভাবে, পুরো ফাংশনটি প্রদান করে। তিনি মাতরান সংস্করণটিকে সাধারণীকরণ হিসাবে প্রস্তাব করেছিলেন যা শারীরিক প্রক্রিয়াগুলিকে আরও বাস্তবের সাথে মেলে ধরতে সক্ষম।

সারসংক্ষেপ

ম্যাটার্ন কোভেরিয়েন্স ফাংশনটিকে গাউসীয় রেডিয়াল ভিত্তিক কার্যটির সাধারণীকরণ হিসাবে দেখা যেতে পারে । এটিতে পরম এক্সপোনেনসিয়াল কার্নেলও রয়েছে, যা মূলত পৃথক ফলাফল দেয় এবং এর সসীম পার্থক্যজনিততার কারণে শারীরিক প্রক্রিয়াগুলি ক্যাপচার করতে সক্ষম (সীমাবদ্ধ for )। $\nu$

বেসেল ফাংশনটির উপস্থিতির রহস্যময়তার জন্য, আমি এর পিছনে আরও স্বজ্ঞাততা দেখতে পছন্দ করব তবে আমি অনুমান করব যে এটি ( এর অবিকল এটিই (অ্যাসিপোটোটিক) আচরণ যা এই প্রসঙ্গে এটি তৈরি করেছে এবং স্টেইনকে নেতৃত্ব দিয়েছেন ম্যাটার্ন কোভেরিয়েন্স ফাংশনটি সংজ্ঞায়িত করুন। অবশ্যই এই সম্ভাবনাটি উড়িয়ে দেয় না যে কেন এটি সমস্ত সত্য। $\nu$

— Dahn
সূত্র

1

(+1) আমি আগ্রহী ছিলাম যদি ম্যাটার্নের বই.পস.সিলন.স্লু.সি / 10033/ 1/… তে এই সম্প্রচার ফাংশনটির ব্যাখ্যা বা ডাইরিভিটিশন আছে ? আমি এখনও পর্যন্ত এটি সনাক্ত করতে সক্ষম হইনি। এই সমবায় ফাংশনটি মনে হয় স্টেইনের বইতে এটির খুব বিশিষ্ট স্থান রয়েছে, তাই আমি আরও জানতে আগ্রহী।

— মেশিনেপসিলন

@ মাচিনিপসিলন কি ম্যাটরন প্রতিটি কার্যক্রমে উল্লেখ / সংজ্ঞা দেয়? স্টেইনের বইটি থেকে আমি অনুভূতিটি পেয়েছি যে তিনিই সেই বইটি নিয়ে এসেছিলেন এবং এটি কেবল মাতার্নের নামে রেখেছিলেন।

— দাহ্ন

আমি নিশ্চিত নই, এটাই আমি খুঁজে পেতে চেয়েছিলাম! আমি একবার দেখার চেষ্টা করব কারণ রাসমুসেন বইটিও উল্লেখ করেছেন।

— মেশিনেপসিলন