একটি নমুনা covariance ম্যাট্রিক্স সবসময় প্রতিসম এবং ধনাত্মক সুনির্দিষ্ট হয়?

33

যখন কোনও নমুনার কোভেরিয়েন্স ম্যাট্রিক্স গণনা করা হয় তখন কি একটি প্রতিসাম্য এবং ধনাত্মক-নির্দিষ্ট ম্যাট্রিক্স পাওয়ার নিশ্চয়তা দেওয়া হয়?

বর্তমানে আমার সমস্যার 4600 টি পর্যবেক্ষণ ভেক্টর এবং 24 টি মাত্রার নমুনা রয়েছে।

sampling covariance

— Morten
সূত্র

কোভেরিয়েন্স ম্যাট্রিক্সের নমুনা নেওয়ার জন্য আমি সূত্রটি ব্যবহার করি: যেখানে হল নমুনার সংখ্যা এবং । নমুনা গড়।

Q_{n} = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤}

$Q_n = \frac{1}{n} \sum\limits_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top$

n

$n$

\bar{x}

$\bar{x}$

— মর্টেন

4

এটিকে সাধারণত 'নমুনা কোভরিয়েন্স ম্যাট্রিক্স গণনা করা' বা 'কোভারিয়েন্স ম্যাট্রিক্সের নমুনা' না দিয়ে 'কোভারিয়েন্স ম্যাট্রিক্সের অনুমান করা' বলা হবে।

— গ্লেন_বি -রিনস্টেট মনিকা

1

একটি সাধারণ পরিস্থিতি যেখানে কোভেরিয়েন্স ম্যাট্রিক্স সুনির্দিষ্ট হয় না যখন 24 "মাত্রা" এমন মিশ্রণের রচনা রেকর্ড করে যা 100% এর সমষ্টি হয়।

— whuber

41

ভেক্টরগুলির নমুনার জন্য , , নমুনাটির অর্থ ভেক্টরটি এবং নমুনা কোভেরিয়েন্স ম্যাট্রিক্স হল Non ম্যাথবিবি ননজারো ভেক্টরের জন্য , আমাদের কাছে অতএব, সর্বদা ইতিবাচক আধা-নির্দিষ্ট । $x_i=(x_{i1},\dots,x_{ik})^\top$ $i=1,\dots,n$

\bar{x} = \frac{1}{n} \sum_{i = 1}^{n} x_{i},

$\bar{x}=\frac{1}{n} \sum_{i=1}^n x_i \, ,$

Q = \frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤} .

$Q = \frac{1}{n} \sum_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top \, .$

y \in R^{k}

$y\in\mathbb{R}^k$

y^{⊤} Q y = y^{⊤} (\frac{1}{n} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤}) y

$y^\top Qy = y^\top\left(\frac{1}{n} \sum_{i=1}^n (x_i-\bar{x})(x_i-\bar{x})^\top\right) y$

= \frac{1}{n} \sum_{i = 1}^{n} y^{⊤} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{⊤} y

$= \frac{1}{n} \sum_{i=1}^n y^\top (x_i-\bar{x})(x_i-\bar{x})^\top y$

= \frac{1}{n} \sum_{i = 1}^{n} {((x_{i} - \bar{x})^{⊤} y)}^{2} \geq 0 . (*)

$= \frac{1}{n} \sum_{i=1}^n \left( (x_i-\bar{x})^\top y \right)^2 \geq 0 \, . \quad (*)$

Q

$Q$

ইতিবাচক সুনির্দিষ্ট হওয়ার জন্য অতিরিক্ত শর্তটি হ'ল whuber এর মন্তব্যে বোকামি দেওয়া হয়েছিল। এটি নিম্নলিখিত হিসাবে যায়। $Q$

জন্য নির্ধারণ করুন । Non , এ যেকোন ননজারো জন্য শূন্য হয় এবং কেবল যদি , প্রতিটি । সেট ধরুন ধারন । তারপরে, আসল সংখ্যাগুলি রয়েছে যেমন । তবে তারপরে আমাদের , যে , একটি বৈপরীত্য উত্পন্ন করে । সুতরাং, যদি এর স্প্যান , তবে $z_i=(x_i-\bar{x})$ $i=1,\dots,n$ $y\in\mathbb{R}^k$ $(*)$ $z_i^\top y=0$ $i=1,\dots,n$ $\{z_1,\dots,z_n\}$ $\mathbb{R}^k$ $\alpha_1,\dots,\alpha_n$ $y=\alpha_1 z_1 +\dots+\alpha_n z_n$ $y^\top y=\alpha_1 z_1^\top y + \dots +\alpha_n z_n^\top y=0$ $y=0$ $z_i$ $\mathbb{R}^k$ $Q$ ইতিবাচক নির্দিষ্ট । এই শর্তটি সমান। । $\mathrm{rank} [z_1 \dots z_n] = k$

— জেন
সূত্র

2

আমি এই পদ্ধতিকে পছন্দ করি তবে কিছু যত্নের পরামর্শ দেব: ইতিবাচক সুনির্দিষ্ট নয়। এটির জন্য প্রয়োজনীয় (প্রয়োজনীয় এবং পর্যাপ্ত) শর্তগুলি কনস্ট্যান্টিনের উত্তরের আমার মন্তব্যে বর্ণিত হয়েছে।

Q

$Q$

— whuber

1

যেহেতু কে এর কম বা সমান , শর্তটি সমান হতে পারে

[z_{1}, z_{2}, \dots, z_{n}]

$[z_1, z_2, \cdots, z_n]$

k

$k$

— একটি অফার

13

একটি সঠিক কোভেরিয়েন্স ম্যাট্রিক্স সর্বদা প্রতিসম এবং ধনাত্মক * আধা * নির্দিষ্ট।

দুটি ভেরিয়েবলের মধ্যে । $\sigma(x,y) = E [(x-E(x))(y-E(y))]$

আপনি যদি এবং এর অবস্থান পরিবর্তন করেন তবে এই সমীকরণটি পরিবর্তন হবে না । অতএব ম্যাট্রিক্স সমান্তরিত হতে হবে। $x$ $y$

এটি ইতিবাচক * আধা * নির্দিষ্ট হতে হবে কারণ:

আপনি সর্বদা আপনার চলকগুলির এমন রূপ পরিবর্তন করতে পারেন যাতে কোভারিয়েন্স-ম্যাট্রিক্সটি তির্যক হয়। তির্যকটিতে, আপনি আপনার রূপান্তরিত পরিবর্তনগুলির বৈকল্পগুলি খুঁজে পেয়েছেন যা শূন্য বা ধনাত্মক, এটি সহজেই দেখতে পাওয়া যায় যে এটি রূপান্তরিত ম্যাট্রিক্সকে ইতিবাচক অর্ধ-চূড়ান্ত করে তোলে। তবে, যেহেতু সুনির্দিষ্টতার সংজ্ঞাটি রূপান্তর-আক্রমণকারী, সুতরাং অনুসরণ করে যে কোনও নির্বাচিত সমন্বয় ব্যবস্থায় কোভারিয়েন্স-ম্যাট্রিক্স ইতিবাচক অর্ধ-চূড়ান্ত।

যখন আপনি উপরে উল্লিখিত সূত্রটি দিয়ে আপনার কোভেরিয়েন্স ম্যাট্রিক্সের (অর্থাৎ আপনি যখন আপনার নমুনা কোভারিয়েন্স গণনা করবেন ) অনুমান করেন তখন তা ওভ হবে। তবুও প্রতিসম হয়। এটি ইতিবাচক অর্ধ-চূড়ান্তও হতে হবে (আমি মনে করি), কারণ প্রতিটি নমুনার জন্য, পিডিএফ যা প্রতিটি নমুনা পয়েন্টকে সমান সম্ভাবনা দেয় তার নমুনা covariance এর covariance হিসাবে থাকে (কেউ দয়া করে এটি যাচাই করুন), সুতরাং উপরে বর্ণিত সমস্ত কিছুই এখনও প্রযোজ্য।

— কনস্ট্যান্টিন শোবার্ট
সূত্র

1

পিএস: আমি ভাবতে শুরু করি যে এটি আপনার প্রশ্ন ছিল না ...

— কনস্টান্টিন শুবার্ট

তবে আপনি যদি জানতে চান যে আপনার স্যাম্পলিং অ্যালগরিদম এটির গ্যারান্টি দেয় তবে আপনাকে কীভাবে নমুনা দিচ্ছেন তা আপনাকে জানাতে হবে।

— কনস্টান্টিন শুবার্ট

1

মর্টেন, সূত্র থেকে প্রতিসাম্য অবিলম্বে। আধা-সুনির্দিষ্টতা দেখানোর জন্য আপনাকে যে কোনও ভেক্টর

জন্য যে

স্থাপন করতে হবে । কিন্তু

হয়

বার সমষ্টি

(যেখানে

, কোথা

একটি সমষ্টি

u Q_{n} u^{'} \geq 0

$uQ_nu'\ge 0$

u

$u$

Q_{n}

$Q_n$

1 / n

$1/n$

v_{i} v_{i}^{'}

$v_iv_i'$

v_{i} = x_{i} - \bar{x})

$v_i=x_i-\bar{x})$

n u Q_{n} u^{'}

$n uQ_nu'$

=

, যাভেক্টরেরবর্গক্ষেত্রেরদৈর্ঘ্য

। কারণ

এবং স্কোয়ারের যোগফল কখনও নেতিবাচক হতে পারে না,

,কিউইডি। এটি এও দেখায় যে

অবিকল সেই ভেক্টরগুলির জন্য

যা সমস্ত

এর কাছে orthogonal(

u (v_{i} v_{i}^{'}) u^{'}

$u(v_iv_i')u'$

(u v_{i}) (u v_{i})^{'}

$(uv_i)(uv_i)'$

u v_{i}

$uv_i$

n > 0

$n\gt 0$

u Q_{n} u^{'} \geq 0

$uQ_nu'\ge 0$

u Q_{n} u^{'} = 0

$uQ_nu'=0$

u

$u$

v_{i}

$v_i$ অর্থাত ,

সকলের জন্য

)। যখন

বিস্তৃত হয়, তারপরে

এবং

সুনির্দিষ্ট হয়।

u v_{i} = 0

$uv_i=0$

i

$i$

v_{i}

$v_i$

u = 0

$u=0$

Q_{n}

$Q_n$

— হোয়বার

1

@ মর্টেন আপনি জ্যামিতিকভাবে কোনও ম্যাট্রিক্সের গুণকে বুঝতে পারলে রূপান্তর-আগ্রাসনটি বেশ স্পষ্ট। আপনার ভেক্টরটিকে তীর হিসাবে ভাবুন। যে নম্বরগুলি আপনার ভেক্টরকে বর্ণনা করে তা স্থানাঙ্ক ব্যবস্থার সাথে পরিবর্তিত হয় তবে আপনার ভেক্টরের দিক এবং দৈর্ঘ্য তা দেয় না। এখন, ম্যাট্রিক্সের একটি গুণটির অর্থ আপনি সেই তীরটির দৈর্ঘ্য এবং দিক পরিবর্তন করেছেন, তবে আবার প্রভাব প্রতিটি জ্যাকেট সিস্টেমে জ্যামিতিকভাবে একই। স্কেলার পণ্যগুলির সাথে একই: এটি জ্যামিতিকভাবে সংজ্ঞায়িত করা হয় এবং জ্যামিত্রি হ'ল রূপান্তর-আক্রমণকারী। সুতরাং আপনার সমীকরণের সমস্ত সিস্টেমে একই ফলাফল রয়েছে।

— কনস্ট্যান্টিন শুবার্ট

1

@Morten যখন আপনি স্থানাঙ্ক মনে করি, যুক্তি ভালো যায়: যখন

আপনার রূপান্তর ম্যাট্রিক্স তারপর হল:

সঙ্গে

রুপান্তরিত তুল্য-ভেক্টর, যেমন

, তাই আপনি প্রতিটি যখন রুপান্তর সমীকরণের উপাদান

, আপনি পেতে

A

$A$

v^{'} = A v

$v'=Av$

v^{'}

$v'$

M^{'} = A M A^{T}

$M'=AMA^T$

v^{T} M v > 0

$v^T M v > 0$

, যা

সমান, এবং, কারণ অ অর্থোগোনাল,

ইউনিট ম্যাট্রিক্স এবং আমরা আবার

পাই, যার অর্থ রূপান্তরিত এবং অপরিবর্তিত সমীকরণের ফলাফল হিসাবে একই স্কেলার থাকে, সুতরাং এগুলি উভয় হয় বা উভয়ই বৃহত্তর শূন্য নয়।

v^{' T} M^{'} v^{'} = (A v)^{T} A M A^{T} A v > 0

$v'^T M' v' = (Av)^T A M A^T A v > 0$

v^{T} A^{T} A M A^{T} A v > 0

$v^T A^T A M A^T A v > 0$

A^{T} A

$A^T A$

v^{T} M v > 0

$v^T M v > 0$

— কনস্ট্যান্টিন শুবার্ট

0

ভেরিয়েন্স-কোভারিয়েন্স ম্যাট্রিক্স সর্বদা প্রতিসম হয়, কারণ প্রকৃত সমীকরণ থেকে প্রমাণিত হতে পারে ম্যাট্রিক্সের প্রতিটি পদটি গণনা করা।

এছাড়াও, ভেরিয়েন্স-কোভারিয়েন্স ম্যাট্রিকগুলি সর্বদা n মাপের বর্গ ম্যাট্রিক হয়, যেখানে n আপনার পরীক্ষায় ভেরিয়েবলের সংখ্যা।

প্রতিসম ম্যাট্রিকের ইগেনভেেক্টরগুলি সর্বদা অরথোগোনাল।

পিসিএর সাহায্যে আপনি ম্যাট্রিক্সের ইগেনালুগুলি নির্ধারণ করে দেখুন যে আপনি নিজের পরীক্ষায় ব্যবহৃত ভেরিয়েবলের সংখ্যা হ্রাস করতে পারবেন কিনা।

— | GEN
সূত্র

1

স্বাগতম জেনারেল। নোট করুন যে আপনার ব্যবহারকারীর নাম, অদ্বিতীয় এবং আপনার ব্যবহারকারীর পৃষ্ঠার একটি লিঙ্ক আপনার করা প্রতিটি পোস্টে স্বয়ংক্রিয়ভাবে যুক্ত হয়ে গেছে, সুতরাং আপনার পোস্টগুলিতে সই করার দরকার নেই।

— এন্টোইন ভার্নেট

3

ইতিবাচক সুনির্দিষ্টতার বিষয়টি বিবেচনা করে এই উত্তরটির উন্নতি করা যেতে পারে

— সিলভারফিশ

এটি সত্যই প্রশ্নের উত্তর দেয় না: এটি কেবল অসমর্থিত দাবিগুলির একটি সংগ্রহ যা প্রাসঙ্গিক বা নাও হতে পারে। আপনি কি একে এমনভাবে পুনর্নির্মাণ করতে পারবেন যাতে প্রশ্নের উত্তর দেওয়া হয় এবং যুক্তিটি কীভাবে ব্যাখ্যা করা হয়?

— whuber

0

আমি নীচে জেনের চমৎকার যুক্তিতে যুক্ত করব যা আমরা প্রায়শই কেন বলি যে covariance ম্যাট্রিক্স যদি তবে ইতিবাচক সুনির্দিষ্ট । $n-1\geq k$

If $x_1,x_2,...,x_n$ are a random sample of a continuous probability distribution then $x_1,x_2,...,x_n$ are almost surely (in the probability theory sense) linearly independent. Now, $z_1,z_2,...,z_n$ are not linearly independent because $\sum_{i=1}^n z_i = 0$ , but because of $x_1,x_2,...,x_n$ being a.s. linearly independent, $z_1,z_2,...,z_n$ a.s. span $\mathbb{R}^{n-1}$ . If $n-1\geq k$ , they also span $\mathbb{R}^k$ .

To conclude, if $x_1,x_2,...,x_n$ are a random sample of a continuous probability distribution and $n-1\geq k$ , the covariance matrix is positive definite.

— giominas
সূত্র

0

For those with a non-mathematical background like me who don't quickly catch the abstract mathematical formulae, this is a worked out example excel for the most upvoted answer. The covariance matrix can be derived in other ways also.

— Parikshit Bhinde
সূত্র

Could you explain how this spreadsheet demonstrates positive-definiteness of the covariance matrix?

— whuber

It does not. I had a hard time visualizing the covariance matrix in its notational form itself. So i created this sheet for myself and thought it could help someone.

— Parikshit Bhinde

Please, then, edit it to include an answer to the question.

— whuber

Done :) Thanks for suggesting.

— Parikshit Bhinde

The question is "is one then guaranteed to get a symmetric and positive-definite matrix?" I am unable to perceive any element of your post that addresses this, because (1) it never identifies a covariance matrix; (2) it does not demonstrate positive-definiteness of anything.

— whuber