যখন নমুনার আকার ভেরিয়েবলের সংখ্যার চেয়ে কম হয় তখন একটি নমুনা কোভারিয়েন্স ম্যাট্রিক্স একক কেন হয়?

30

ধরা যাক আমার কাছে ডাইমেনশনাল মাল্টিভারিয়েট গাউসির বিতরণ রয়েছে। এবং আমি এই বিতরণ থেকে পর্যবেক্ষণ (তাদের প্রতিটি ভেক্টর) নিই এবং নমুনা কোভারিয়েন্স ম্যাট্রিক্স গণনা করি । এই গবেষণাপত্রে , লেখকরা বলেছেন যে দিয়ে গণনা করা নমুনা কোভারিয়েন্স ম্যাট্রিক্স একবচন। $p$ $n$ $p$ $S$ $p > n$

এটি কীভাবে সত্য বা উদ্ভূত?
কোন ব্যাখ্যা?

covariance-matrix linear-algebra

— user34790
সূত্র

4

মনে রাখবেন যে এটি অন্তর্নিহিত বিতরণের তুলনায় সত্য স্বাধীন: এটি গাউসিয়ান হওয়ার দরকার নেই।

— অ্যামিবা বলেছেন মিনিকা পুনরায় ইনস্টল করুন 6'15

22

প্রমাণ ছাড়াই প্রদত্ত ম্যাট্রিক্স র‌্যাঙ্ক সম্পর্কে কিছু তথ্য (তবে তাদের সমস্ত বা প্রায় সকলের প্রমাণ হয় আদর্শ লিনিয়ার বীজগণিত গ্রন্থগুলিতে দেওয়া উচিত, বা কিছু ক্ষেত্রে যথেষ্ট তথ্য দেওয়ার পরে অনুশীলন হিসাবে সেট করা উচিত):

যদি এবং দুটি স্বতন্ত্র ম্যাট্রিক হয় তবে: $A$ $B$

(ঝ) কলাম র্যাঙ্ক = সারি র্যাঙ্ক $A$ $A$

(ii) $\text{rank}(A) = \text{rank}(A^T) = \text{rank}(A^TA) = \text{rank}(AA^T)$

(iii) $\text{rank}(AB)\leq \min(\text{rank}(A),\text{rank}(B))$

(iv) $\text{rank}(A+B) \leq \text{rank}(A) + \text{rank}(B)$

(v) যদি $B$ পুরো র‌্যাঙ্কের বর্গ ম্যাট্রিক্স হয় তবে $\text{rank}(AB) = \text{rank}(A)$

নমুনা ডেটার $n\times p$ ম্যাট্রিক্স বিবেচনা করুন , $y$ । উপরে থেকে, পদে $y$ সর্বাধিক হয় $\min(n,p)$ ।

তদ্ব্যতীত, উপরের দিক থেকে স্পষ্টতই এর র‌্যাঙ্কটি র‌্যাঙ্কের চেয়ে বড় হবে না ( সম্ভবত কিছু সরলকরণের মাধ্যমে ম্যাট্রিক্স আকারে এর গণনা বিবেচনা করে )। $S$ $y$ $S$

যদি তবে ক্ষেত্রে । $n<p$ $\text{rank}(y)<p$ $\text{rank}(S)<p$

— গ্লেন_বি -রিনস্টেট মনিকা
সূত্র

চমৎকার উত্তর! এটি সম্পূর্ণরূপে পরিষ্কার নয় তবে y এবং S কীভাবে A এবং B এর সাথে সম্পর্কিত?

— মাতিফু

এস y থেকে গণনা করা হয়; (মূল পোস্টে "এক্স")। আপনি এস এর পদমর্যাদার উপর আবদ্ধ হতে y (উপরোক্ত নিয়মাবলীগুলির মাধ্যমে) এবং এর উপর যে কৌশলগুলি করেছেন তা ব্যবহার করতে পারেন এবং এ এবং বি দ্বারা পরিচালিত ভূমিকাগুলি ধাপে ধাপে পরিবর্তিত হয়।

— Glen_b- পুনরায় ইনস্টল করুন মনিকা

14

আপনার প্রশ্নের সংক্ষিপ্ত উত্তর হ'ল র‌্যাঙ্ক । সুতরাং যদি , তবে একবিন্দু। $(S) \le n - 1$ $p > n$ $S$

আরও বিশদ উত্তরের জন্য, মনে রাখবেন যে (নিরপেক্ষ) নমুনা কোভারিয়েন্স ম্যাট্রিক্স হিসাবে লেখা যেতে পারে

S = \frac{1}{n - 1} \sum_{i = 1}^{n} (x_{i} - \bar{x}) (x_{i} - \bar{x})^{T} .

$S = \frac{1}{n-1}\sum_{i=1}^n (x_i - \bar{x})(x_i - \bar{x})^T.$

কার্যকরীভাবে, আমরা summing হয় ম্যাট্রিক্স, প্রতিটি 1. পর্যবেক্ষণ ধরে নেওয়া যাক একটি র্যাঙ্ক থাকার কিছু অর্থে প্রতিটি পর্যবেক্ষণ সুসংগত স্বাধীন হয়, পদে অবদান 1 , এবং একটি 1 র্যাঙ্ক থেকে বিয়োগ করা হয় (যদি ) কারণ আমরা একে পর্যবেক্ষণ কেন্দ্র । তবে, যদি মাল্টিকোলাইনারিটি পর্যবেক্ষণগুলিতে উপস্থিত থাকে, তবে র‌্যাঙ্ক হ্রাস হতে পারে, যা র‌্যাঙ্কটি চেয়ে কম হতে পারে বলে ব্যাখ্যা করে । $n$ $x_i$ $(S)$ $p > n$ $\bar{x}$ $(S)$ $n - 1$

এই সমস্যাটি অধ্যয়নের জন্য প্রচুর পরিমাণে কাজ চলে গেছে। উদাহরণস্বরূপ, আমার এবং আমার সহকর্মী এই একই বিষয়ে একটি কাগজ লিখেছিলেন , যেখানে সেটিং- এ লিনিয়ার বৈষম্যমূলক বিশ্লেষণের ক্ষেত্রে সিঙ্গুলার হলে কীভাবে এগিয়ে যেতে হবে তা নির্ধারণে আমরা আগ্রহী ছিলাম । $S$ $p \gg n$

— ramhiser
সূত্র

4

আপনি কেন দয়া করে 1 টি বিয়োগ করতে পারেন কারণ আমরা প্রতিটি পর্যবেক্ষণকে দ্বারা কেন্দ্র করি $\bar x$ ?

— অ্যাভোকাডো

@ লোগানেকলস: দেখুন কোভারিয়েন্স ম্যাট্রিক্সের র‌্যাঙ্ক সর্বাধিক কেন?

n - 1

$n−1$ আপনার প্রশ্নের উত্তরের জন্য

— অ্যামিবা বলছেন মনিকাকে

চমৎকার উত্তর! আমরা যে বিবৃতিটি সংক্ষেপিত করছি তার জন্য কেবল একটি ব্যাখ্যা / লিঙ্ক যুক্ত করতে পেরেছি 𝑛 ম্যাট্রিকেস, প্রত্যেকের 1 নম্বর রয়েছে ? ধন্যবাদ!

— মাফতিউ

10

আপনি যখন পরিস্থিতিটিকে সঠিক উপায়ে দেখেন তখন উপসংহারটি স্বজ্ঞাতভাবে স্পষ্ট এবং তাত্ক্ষণিক হয়।

এই পোস্টে দুটি বিক্ষোভ অফার। প্রথম, অবিলম্বে নীচে, কথায় আছে। এটি একটি সাধারণ অঙ্কনের সমতুল্য, একেবারে শেষে প্রদর্শিত হবে। এর মধ্যে শব্দ এবং অঙ্কনটির অর্থ কী তার একটি ব্যাখ্যা।

ওয়ারিয়ট পর্যবেক্ষণের জন্য কোভারিয়েন্স ম্যাট্রিক্স হ'ল একটি ম্যাট্রিক্স তার ট্রান্সপোজ by দ্বারা একটি ম্যাট্রিক্স (পুনরায় সংযুক্ত তথ্য) বামে গুণিত দ্বারা গণনা করা হয় । ম্যাট্রিক্সের এই পণ্যটি ভেক্টর স্পেসগুলির পাইপলাইনের মাধ্যমে ভেক্টরগুলিকে প্রেরণ করে যেখানে মাত্রা এবং । ফলস্বরূপ কোভরিয়েন্স ম্যাট্রিক্স, কো লিনিয়ার ট্রান্সফর্মেশন, একটি উপস্থানে প্রেরণ করবে যার মাত্রা সর্বাধিক । এটি অবিলম্বে যে সমবায় ম্যাট্রিক্সের র‌্যাঙ্কটি চেয়ে বেশি নয় । ফলস্বরূপ, যদি $n$ $p$ $p\times p$ $\mathbb{X}_{np}$ $\mathbb{X}_{pn}^\prime$ $p$ $n$ $\mathbb{R}^n$ $\min(p,n)$ $\min(p,n)$ $p\gt n$ পরে র‌্যাঙ্কটি সর্বাধিক , যা - তুলনায় কঠোরভাবে কম - এর অর্থ কোভারিয়েন্স ম্যাট্রিক্স একবচন। $n$ $p$

এই পোস্টটির বাকী অংশগুলিতে এই সমস্ত পরিভাষা সম্পূর্ণরূপে ব্যাখ্যা করা হয়েছে।

(যেমন অ্যামিবা দয়া করে এখন-মুছে দেওয়া মন্তব্যে নির্দেশ করেছেন এবং সম্পর্কিত প্রশ্নের উত্তরে দেখায় , এর চিত্রটি আসলে (একটি ভেক্টর সমন্বিত একটি কোডের এক নম্বর উপস্থানে রয়েছে) উপাদানগুলি শূন্য সমান) কারণ এর কলামগুলি সমস্তই শূন্যে পুনরায় সংযুক্ত হয়েছে Therefore সুতরাং নমুনা কোভারিয়েন্স ম্যাট্রিক্স ছাড়িয়ে যেতে পারে না ) $\mathbb X$ $\mathbb{R}^n$ $\frac{1}{n-1}\mathbb{X}^\prime \mathbb{X}$ $n-1$

লিনিয়ার বীজগণিতগুলি ভেক্টর স্পেসগুলির ট্র্যাকিংয়ের মাত্রাগুলি সম্পর্কে। পদমর্যাদা এবং একাকীত্ব সম্পর্কে দৃ for় ধারণা পাওয়ার জন্য আপনার কেবল কয়েকটি মৌলিক ধারণার প্রশংসা করতে হবে:

ম্যাট্রিক্সের গুণটি ভেক্টরগুলির রৈখিক রূপান্তর উপস্থাপন করে। একটি ম্যাট্রিক্স একটি মাত্রিক স্থান থেকে একটি মাত্রিক স্থান রৈখিক রূপান্তর উপস্থাপন করে । বিশেষত, এটি যে কোনও কে প্রেরণ করে । এটি লিনিয়ার রূপান্তর যা ম্যাট্রিক্স গুণনের মৌলিক গাণিতিক বৈশিষ্ট্যের লিনিয়ার রূপান্তর সংজ্ঞা এবং তাত্ক্ষণিকভাবে অনুসরণ করে। $m\times n$ $\mathbb{M}$ $n$ $V^n$ $m$ $V^m$ $x\in V^n$ $\mathbb{M}x = y \in V^m$
লিনিয়ার রূপান্তরগুলি কখনই মাত্রা বাড়াতে পারে না। এর অর্থ হ'ল রূপান্তর under অধীনে পুরো ভেক্টর স্পেস এর চিত্রটির (যা এর একটি সাব-ভেক্টর স্পেস ) একটি মাত্রা চেয়ে বড় হতে পারে না । এটি একটি (সহজ) উপপাদ্য যা মাত্রার সংজ্ঞাটি অনুসরণ করে। $V^n$ $\mathbb M$ $V^m$ $n$
যে কোনও সাব-ভেক্টর জায়গার মাত্রা এটি যে জায়গাতে রয়েছে তার চেয়ে বেশি হতে পারে না। এটি একটি উপপাদ্য, তবে আবার এটি সুস্পষ্ট এবং প্রমাণ করা সহজ।
র্যাঙ্ক একটি রৈখিক রূপান্তর তার ইমেজ মাত্রা নেই। একটি ম্যাট্রিক্সের র‌্যাঙ্কটি এটি প্রতিনিধিত্ব করে এমন লিনিয়ার রূপান্তরের র‌্যাঙ্ক। এগুলি সংজ্ঞা
একটি একবচন ম্যাট্রিক্স র্যাঙ্ক কঠোরভাবে কম হয়েছে $\mathbb{M}_{mn}$ $n$ (তার ডোমেনের মাত্রা)। অন্য কথায়, এর চিত্রটির একটি ছোট মাত্রা রয়েছে। এটি একটি সংজ্ঞা।

স্বজ্ঞাততা বিকাশ করতে, এটি মাত্রা দেখতে সহায়তা করে । তাই আমি এবং এর মতো সমস্ত ভেক্টর এবং ম্যাট্রিকগুলির সাথে সাথে তাদের পরে মাত্রাগুলি লিখব । সুতরাং জেনেরিক সূত্র $\mathbb{M}_{mn}$ $x_n$

y_{m} = M_{m n} x_{n}

$y_m = \mathbb{M}_{mn} x_n$

মানে যে দেয়ার উদ্দেশ্যে করা হচ্ছে ম্যাট্রিক্স , যখন প্রয়োগ -vector , একটি উত্পাদন করে -vector । $m\times n$ $\mathbb M$ $n$ $x$ $m$ $y$

ম্যাট্রিকের পণ্যগুলিকে রৈখিক রূপান্তরগুলির "পাইপলাইন" হিসাবে ভাবা যেতে পারে। , ধরুন হ'ল মাত্রিক ভেক্টর, লিনিয়ার ট্রান্সফর্মেশনগুলি এবং থেকে -vector স্থান থেকে আসছে । এটি এবং অবশেষে মাত্রার ভেক্টর স্পেসগুলির মাধ্যমে ধারাবাহিকভাবে নেয় । $y_a$ $a$ $\mathbb{M}_{mn}, \mathbb{L}_{lm}, \ldots, \mathbb{B}_{bc},$ $\mathbb{A}_{ab}$ $n$ $x_n$ $V^n$ $x_n$ $m, l, \ldots, c, b,$ $a$

বাধাটির জন্য দেখুন : যেহেতু মাত্রা (পয়েন্ট 2) বৃদ্ধি করতে পারে না এবং উপ-স্পেসগুলিতে তারা যে জায়গাগুলিতে পড়ে থাকে তার চেয়ে বড় মাত্রা (পয়েন্ট 3) থাকতে পারে না, এটি অনুসরণ করে যে এর চিত্রটির মাত্রা সবচেয়ে ছোট মাত্রা ছাড়িয়ে যাবে না পাইপলাইনে মুখোমুখি। $V^n$ $\min(a,b,c,\ldots,l,m,n)$

পাইপলাইনের এই চিত্রটি তখন product পণ্যটিতে প্রয়োগ করা হলে ফলাফলটি পুরোপুরি প্রমাণ করে : $\mathbb{X}^\prime \mathbb{X}$

— whuber
সূত্র