সর্বাধিক সম্ভাবনা ব্যবহার করে মাল্টিভারিয়েট নরমাল মডেল লাগানোর সময় কোভারিয়েন্স ম্যাট্রিক্সের বৈশিষ্ট্যগুলি কীভাবে নিশ্চিত করা যায়?

22

ধরুন আমার নীচের মডেলটি রয়েছে

y_{i} = f (x_{i}, θ) + ε_{i}

$y_i=f(x_i,\theta)+\varepsilon_i$

যেখানে , ব্যাখ্যামূলক ভেরিয়েবলের একটি ভেক্টর, হ'ল অ-লিনিয়ার ফাংশন এবং , যেখানে প্রাকৃতিকভাবে ম্যাট্রিক্স। $y_i\in \mathbb{R}^K$ $x_i$ $\theta$ $f$ $\varepsilon_i\sim N(0,\Sigma)$ $\Sigma$ $K\times K$

লক্ষ্য অনুমান করার জন্য স্বাভাবিক এবং । সুস্পষ্ট পছন্দ সর্বাধিক সম্ভাবনা পদ্ধতি। এই মডেলের জন্য লগ-সম্ভাবনা (ধরে আমাদের কাছে একটি নমুনা রয়েছে ) দেখে মনে হচ্ছে $\theta$ $\Sigma$ $(y_i,x_i),i=1,...,n$

l (θ, Σ) = - \frac{n}{2} \log (2 π) - \frac{n}{2} \log det Σ - \sum_{i = 1}^{n} (y_{i} - f (x_{i}, θ))^{'} Σ^{- 1} (y - f (x_{i}, θ)))

$l(\theta,\Sigma)=-\frac{n}{2}\log(2\pi)-\frac{n}{2} \log\det\Sigma-\sum_{i=1}^n(y_i-f(x_i,\theta))'\Sigma^{-1}(y-f(x_i,\theta)))$

এখন এটি সহজ বলে মনে হচ্ছে, লগ-সম্ভাবনা নির্দিষ্ট করা হয়, ডেটা রাখা হয় এবং অ-লিনিয়ার অপ্টিমাইজেশনের জন্য কিছু অ্যালগরিদম ব্যবহার করে। সমস্যাটি কীভাবে তা নিশ্চিত করা যায় $\Sigma$ ইতিবাচক সুনির্দিষ্ট। উদাহরণস্বরূপ optimআর (বা অন্য কোনও লিনিয়ার অপ্টিমাইজেশন অ্যালগরিদম) ব্যবহার করে আমার গ্যারান্টি দেওয়া হবে না $\Sigma$ ইতিবাচক সুনির্দিষ্ট।

সুতরাং প্রশ্নটি কীভাবে নিশ্চিত করা যায় যে $\Sigma$ ইতিবাচক সুনির্দিষ্ট থাকে? আমি দুটি সম্ভাব্য সমাধান দেখতে পাচ্ছি:

Reparametrise $\Sigma$ হিসাবে $RR'$ যেখানে $R$ উপরের ত্রিদলীয় বা প্রতিসম ম্যাট্রিক্স হয়। তারপরে $\Sigma$ সর্বদা ইতিবাচক-সুনির্দিষ্ট হবে এবং $R$ বেআইনী হতে পারে।
প্রোফাইল সম্ভাবনা ব্যবহার করুন। থিতা (ig $\hat\theta(\Sigma)$ এবং থিতা) জন্য সূত্রগুলি আবিষ্কার করুন $\hat{\Sigma}(\theta)$ । কিছু $\theta_0$ এবং পুনরাবৃত্তি $\hat{\Sigma}_j=\hat\Sigma(\hat\theta_{j-1})$ , $\hat{\theta}_j=\hat\theta(\hat\Sigma_{j-1})$ অভিমুখে না হওয়া পর্যন্ত।

অন্য কোনও উপায় আছে এবং এই 2 পদ্ধতির সম্পর্কে কী তারা কাজ করবে, তারা মানক? এটি বেশ স্ট্যান্ডার্ড সমস্যা বলে মনে হচ্ছে, তবে দ্রুত অনুসন্ধান আমাকে কোনও পয়েন্টার দেয়নি। আমি জানি যে বায়েশিয়ান অনুমানও সম্ভব হবে, তবে এই মুহুর্তের জন্য আমি এতে যুক্ত হতে চাই না।

maximum-likelihood optimization covariance

— mpiktas
সূত্র

কলম্যান অ্যালগরিদমে আমার একই সমস্যা রয়েছে তবে সমস্যাটি আরও জটিল এবং হ্যামিল্টনের কৌশলটি ব্যবহার করা সহজ নয়। আমি তখন আশ্চর্য হই যে কোন সহজ কাজটি কেবল ব্যবহার করতে পারে কিনা । এইভাবে আমি কোডটিকে ত্রুটি না দেওয়ার জন্য এবং সমাধানটি পরিবর্তন না করার জন্য বাধ্য করি। সম্ভাব্যতার চূড়ান্ত অংশ হিসাবে এই পদটি একই চিহ্ন থাকতে বাধ্য করার সুবিধাও রয়েছে। কোন ধারনা?

\log (det Σ + 1)

$\log (\det \Sigma+1)$

— econ_pipo

6

ধরে নেওয়া যে কোভারিয়েন্স ম্যাট্রিক্স তৈরির ক্ষেত্রে আপনি স্বয়ংক্রিয়ভাবে প্রতিসম ইস্যুটির যত্ন নিচ্ছেন, আপনার লগ হওয়ার সম্ভাবনা হবে যখন positive টার্মের কারণে নির্দিষ্ট নয় is ঠিক মডেল? একটি সংখ্যাসূচক সমস্যা এড়ানোর জন্য যদি আমি precalculate হবে , এবং যদি এটা ইতিবাচক নয়, তারপর লগ সম্ভাবনা সমান -Inf, অন্যথায় অবিরত ভুলবেন না। আপনাকে যে কোনও উপায়ে নির্ধারক গণনা করতে হবে, সুতরাং এটি আপনাকে কোনও অতিরিক্ত গণনার জন্য ব্যয় করে না। $-\infty$ $\Sigma$ $\log {\rm det} \ \Sigma$ ${\rm det} \ \Sigma < 0$ ${\rm det} \ \Sigma$

— ম্যাক্রো
সূত্র

5

দেখা যাচ্ছে যে আপনি প্রয়োজনীয় বৈশিষ্ট্যগুলি নিশ্চিত করতে প্রোফাইল সর্বাধিক সম্ভাবনা ব্যবহার করতে পারেন। আপনি প্রমাণ করতে পারেন যে প্রদত্ত , দ্বারা সর্বাধিক $\hat\theta$ $l(\hat\theta,\Sigma)$

\hat{Σ} = \frac{1}{n} \sum_{i = 1}^{n} {\hat{ε}}_{i} {\hat{ε}}_{i}^{'},

$\hat\Sigma=\frac{1}{n}\sum_{i=1}^n\hat{\varepsilon}_i\hat{\varepsilon}_i',$

কোথায়

{\hat{ε}}_{i} = y_{i} - f (x_{i}, \hat{θ})

$\hat{\varepsilon}_i=y_i-f(x_i,\hat\theta)$

তাহলে সেটা দেখা সম্ভব

\sum_{i = 1}^{n} (y_{i} - f (x_{i}, \hat{θ}))^{'} {\hat{Σ}}^{- 1} (y - f (x_{i}, \hat{θ}))) = c o n s t,

$\sum_{i=1}^n(y_i-f(x_i,\hat\theta))'\hat\Sigma^{-1}(y-f(x_i,\hat\theta)))=const,$

সুতরাং আমাদের কেবলমাত্র সর্বোচ্চ করা দরকার need

l_{R} (θ, Σ) = - \frac{n}{2} \log det \hat{Σ} .

$l_R(\theta,\Sigma)=-\frac{n}{2} \log\det\hat\Sigma.$

স্বাভাবিকভাবেই এই ক্ষেত্রে প্রয়োজনীয় সকল বৈশিষ্ট্য সন্তুষ্ট হবে। প্রমানগুলি মামলার ক্ষেত্রে অভিন্ন যখন রৈখিক হয় যা টাইম সিরিজ বিশ্লেষণে জেডি হ্যামিল্টনের পৃষ্ঠা 295 পাওয়া যায় , তাই আমি সেগুলি বাদ দিয়েছি। $\Sigma$ $f$

— mpiktas
সূত্র

3

কোভেরিয়েন্স ম্যাট্রিক্সের জন্য বিকল্প প্যারামিটারাইজেশন ইজেনভ্যালু এর শর্তে এবং "দেয়" কোণ । $\lambda_1,...,\lambda_p$ $p(p-1)/2$ $\theta_ij$

যে, আমরা লিখতে পারেন

Σ = G^{T} Λ G

$\Sigma = G^T \Lambda G$

যেখানে অরথনোরাল, এবং $G$

Λ = d i a g (λ_{1}, . . ., λ_{p})

$\Lambda = diag(\lambda_1, ..., \lambda_p)$

সঙ্গে । $\lambda_1 \geq ... \geq \lambda_p \geq 0$

এদিকে, পরিপ্রেক্ষিতে স্বতন্ত্র স্থিতিমাপ যাবে কোণ, , যেখানে এবং [1] $G$ $p(p-1)/2$ $\theta_{ij}$ $i = 1,2,...,p-1$ $j = i, ..., p-1$

(বিশদ যুক্ত করতে হবে)

[1]: হফম্যান, রাফেনিটি, রুয়েডেনবার্গ। "এলার অ্যাঙ্গেলগুলির এন ‐ ডাইমেনশনাল আর্থোগোনাল ম্যাট্রিক্সে সাধারণীকরণ"। জে ম্যাথ। Phys। 13, 528 (1972)

— charles.y.zheng
সূত্র

ম্যাট্রিক্স

আসলে অর্থোগোনাল, কারণ

একটি প্রতিসম ম্যাট্রিক্স। এটি সেই পদ্ধতির যা আমি সুপারিশ করতে যাচ্ছিলাম - মূলত

ভেক্টর এবং মডেল ফাংশন

ঘোরানোর মতো যাতে ত্রুটিগুলি স্বাধীন হয়, তারপরে ঘোরানো প্রতিটি উপাদানগুলিতে ওএলএস প্রয়োগ করা হয় (আমার মনে হয়)।

G

$G$

Σ

$\Sigma$

y_{i}

$y_i$

f (x_{i}, θ)

$f(x_i,\theta)$

— সম্ভাব্যতাব্লোগিক

2

Charles.y.zheng এর সমাধান লাইনের বরাবর, আপনি মডেল করতে চাইতে পারেন , যেখানে একটি তির্যক ম্যাট্রিক্স, এবং করার জন্য একটি র্যাঙ্ক আপডেট একটি Cholesky গুণকনির্ণয় হয় । আপনার কেবল তখনই ধনাত্মক রাখতে ধনাত্মক সুনির্দিষ্ট। অর্থাৎ তোমাদের মধ্যে তির্যক অনুমান করা উচিত এবং উপাদান পরিবর্তে আনুমানিক হিসাব । $\Sigma = \Lambda + C C^{\top}$ $\Lambda$ $C$ $\Lambda$ $\Lambda$ $\Sigma$ $\Lambda$ $C$ $\Sigma$

— shabbychef
সূত্র

ত্রিভুজটি যতক্ষণ ধনাত্মক ততক্ষণ এই সেটিংগুলিতে তির্যক উপাদানগুলির নীচে কি আমি চাই কিছু হতে পারে? ম্যাট্রিকগুলি নলিতে এইভাবে সিমুলেট করার সময় এগুলি সবই ইতিবাচক সুনির্দিষ্ট হয় না।

— sztal

একটি তির্যক ম্যাট্রিক্স হয়।

Λ

$\Lambda$

— shabbychef