কিভাবে একটি ম্যাট্রিক্স ইতিবাচক সুনির্দিষ্ট করা যায়?

আমি নিম্নলিখিত ফ্যাক্টর বিশ্লেষণ মডেলের জন্য একটি ইএম অ্যালগরিদম বাস্তবায়নের চেষ্টা করছি;

W_{j} = μ + B a_{j} + e_{j} for j = 1, \dots, n

$W_j = \mu+B a_j+e_j \quad\text{for}\quad j=1,\ldots,n$

যেখানে পি-মাত্রিক র্যান্ডম ভেক্টর হয়, সুপ্ত ভেরিয়েবল একটি কুই-মাত্রিক ভেক্টর এবং পরামিতি একটি pxq ম্যাট্রিক্স হয়। $W_j$ $a_j$ $B$

মডেলটির জন্য ব্যবহৃত অন্যান্য অনুমানের ফলস্বরূপ, আমি জানি যে যেখানে ত্রুটি শর্তাদি , = ডায়াগ ( , এর ভেরিয়েন্স কোভারিয়েন্স ম্যাট্রিক্স is , ..., )। $W_j\sim N(\mu, BB'+D)$ $D$ $e_j$ $D$ $\sigma_1^2$ $\sigma_2^2$ $\sigma_p^2$

EM অ্যালগরিদম কাজ করার জন্য, আমি এবং ম্যাট্রিক্সের অনুমানযুক্ত গম্বুজ পুনরাবৃত্তি করছি এবং এই পুনরাবৃত্তির সময় আমি এবং এর নতুন অনুমান ব্যবহার করে প্রতিটি বিবর্তনে বিপরীতমুখীটি গণনা করছি । দুর্ভাগ্যবশত পুনরাবৃত্তিও অবশ্যই সময়, তার ইতিবাচক definiteness হারায় (কিন্তু এটা উচিত না কারণ এটি একটি ভ্যারিয়েন্স-সহভেদাংক ম্যাট্রিক্স হয়) এবং এই পরিস্থিতি আলগোরিদিম অভিসৃতি ধ্বংসাবশেষ। আমার প্রশ্নগুলি হ'ল: $B$ $D$ $BB'+D$ $B$ $D$ $BB'+D$

এই পরিস্থিতিটি কি দেখায় যে ইএম এর প্রতিটি পদক্ষেপে সম্ভাবনা বাড়ানো উচিত হওয়ায় আমার অ্যালগরিদমের সাথে কিছু ভুল আছে?
ম্যাট্রিক্সকে ইতিবাচক সুনির্দিষ্ট করার জন্য ব্যবহারিক উপায়গুলি কী কী?

সম্পাদনা করুন: আমি একটি ম্যাট্রিক্স ইনভার্সন লেমা ব্যবহার করে বিপরীত গণনা করছি যা বলেছে যে:

(B B^{'} + D)^{- 1} = D^{- 1} - D^{- 1} B (I_{q} + B^{'} D^{- 1} B)^{- 1} B^{'} D^{- 1}

$(BB'+D)^{-1}=D^{-1}-D^{-1}B (I_q+B'D^{-1}B)^{-1} B'D^{-1}$

যেখানে ডান দিকটি কেবল ম্যাট্রিক্সের বিপরীতগুলি জড়িত । $q\times q$

factor-analysis expectation-maximization

— অ্যান্ডি আমোস
সূত্র

এটি কীভাবে

এর ইতিবাচক সুনির্দিষ্টতা হারায় " তা আরও ভালভাবে বুঝতে সহায়তা করতে পারে । এর দ্বারা বোঝা যায় যে

বা

(অথবা উভয়ই) ইতিবাচক সুনির্দিষ্ট হয়ে উঠছে। যে কখন করবেন কঠিন

থেকে সরাসরি নির্ণয় করা হয়

এ আর এমন কঠিন যখন

তার তির্যক উপর স্কোয়ার সঙ্গে একটি তির্যক ম্যাট্রিক্স হিসেবে নির্ণিত হয়!

B B^{'} + D

$BB'+D$

B B^{'}

$BB'$

D

$D$

B B^{'}

$BB'$

B

$B$

D

$D$

— whuber

@ শুভর সাধারণত এফ এ

, তাই

কখনও ইতিবাচক সুনির্দিষ্ট হয় না। তবে (তাত্ত্বিকভাবে)

হওয়া উচিত, ধরে নেওয়া যে

এর

শূন্যের চেয়ে বড়।

q < p

$q<p$

B B^{'}

$BB'$

B B^{'} + D

$BB' + D$

σ_{j}^{2}

$\sigma^2_j$

— জেএমএস

এই প্রশ্নের সাথে সম্পর্কিত হয়: stats.stackexchange.com/questions/6364/...

— গিলিয়দের

@ জেএমএস আপনাকে ধন্যবাদ। আমি মনে করি আমার মন্তব্য এখনও প্রাসঙ্গিক হল:

অনির্দিষ্ট হতে পারে, কিন্তু এখনও যে কোন নেতিবাচক eigenvalues থাকবে না। সমস্যাগুলি দেখা দিতে পারে যখন বিপরীত অ্যালগরিদমের মধ্যে

মধ্যে সর্বকনিষ্ঠ সংখ্যাসূচক ত্রুটির সাথে তুলনীয় হয়। এই যদি হয় তাহলে, এক সমাধান SVD আবেদন করতে হয়

আউট সত্যিই ছোট (অথবা ঋণাত্মক) eigenvalues এবং শূন্য, তারপর recompute

যোগ

।

B B^{'}

$BB'$

σ_{i}^{2}

$\sigma_i^2$

B B^{'}

$BB'$

B B^{'}

$BB'$

D

$D$

— whuber

এটি

ছোট উপাদান হতে পারে ;

যেহেতু অন্যথায় ভালভাবে নিয়ন্ত্রিত হবে

D

$D$

I_{q} + B^{'} D^{- 1} B

$I_q + B'D^{-1}B$

q < p

$q<p$

— JMS

ঠিক আছে, যেহেতু আপনি এফএ করছেন আমি অভিমানী করছি যে পূর্ণ কলাম র্যাঙ্ক হল এবং । যদিও আমাদের আরও কয়েকটি বিশদ প্রয়োজন। এটি একটি সংখ্যাসূচক সমস্যা হতে পারে; এটি আপনার ডেটাতেও সমস্যা হতে পারে। $B$ $q$ $q<p$

আপনি কীভাবে বিপরীত গণনা করছেন? আপনার কি স্পষ্টভাবে বিপরীত প্রয়োজন, বা একটি রৈখিক সিস্টেমের সমাধান হিসাবে গণনাটি পুনরায় প্রকাশ করতে পারেন? (যেমন পেতে জন্য সমাধান করুন যা সাধারণত দ্রুত এবং আরও স্থিতিশীল থাকে) $A^{-1}b$ $Ax=b$

কি হচ্ছে ? অনুমানগুলি কি আসলেই ছোট / 0 / নেতিবাচক? কিছু অর্থে এটা সমালোচনামূলক লিঙ্ক কারণ অবশ্যই র্যাঙ্ক ঘাটতি রয়েছে এবং সংজ্ঞায়িত একটি একবচন সহভেদাংক ম্যাট্রিক্স যোগ করার আগে , তাই আপনি এটা বিপরীতমুখী করতে পারেন না। ইতিবাচক তির্যক ম্যাট্রিক্স যোগ করার পদ্ধতি টেকনিক্যালি পুরো র্যাঙ্ক তোলে কিন্তু এখনও ভয়ঙ্করভাবে অসুস্থ নিয়ন্ত্রিত হতে পারে যদি ছোট। $D$ $BB'$ $D$ $D$ $BB'+D$ $D$

প্রায়শই আইডিসিঙ্ক্র্যাটিক বৈকল্পিকগুলির জন্য অনুমান (আপনার , এর তির্যক উপাদান ) শূন্যের কাছাকাছি বা এমনকি নেতিবাচক; এগুলিকে হেইউড কেস বলা হয়। উদাহরণস্বরূপ দেখুন http://www.technion.ac.il/docs/sas/stat/chap26/sect21.htm (কোনও এফএ লেখার পাশাপাশি এটিও আলোচনা করা উচিত, এটি একটি খুব পুরানো এবং সুপরিচিত সমস্যা)। এটি মডেল অপব্যবহার, আউটলিয়ার, দুর্ভাগ্য, সৌর শিখার ফলে হতে পারে ... এমএলই বিশেষত এই সমস্যার প্রবণতা বোধ করে, তাই যদি আপনার ইএম অ্যালগরিদম এমএলই খুঁজে পেতে ডিজাইন করা হয়। $\sigma^2_i$ $D$

$BB'+D$

— JMS
সূত্র

আমাকে দ্বিতীয়টি হিসাবে চলুন যে অ্যালগোরিদমের মূল অংশে আপনি কখনই আসলে কোনও ম্যাট্রিক্সকে উল্টাতে চান না। যদিও স্ট্যান্ডার্ড অনুমানটি পেতে আপনার খুব শেষে প্রয়োজন হতে পারে। এই ব্লগ পোস্টটি দেখুন johndcook.com/blog/2010/01/19/dont-invert-that-matrix

— সমশ্রম

পুনরাবৃত্তির সংখ্যা বাড়ার সাথে সাথে ডি ম্যাট্রিক্সের মানগুলি আরও ছোট হচ্ছে। আপনি চিহ্নিত হিসাবে সম্ভবত এই সমস্যা হতে পারে।

— অ্যান্ডি আমোস

B B^{'}

$BB'$

D

$D$

σ_{i}^{2}

$\sigma_i^2$

\sum_{q} B_{i q}^{2} \approx σ_{i}^{2}

$\sum_q B_{iq}^2 \approx \sigma_i^2$