সর্বাধিক

Question

এই প্রশ্নে যেমন বলা হয়েছে , কোভারিয়েন্স ম্যাট্রিক্সের সর্বাধিক র‌্যাঙ্ক $n-1$ যেখানে $n$ নমুনার আকার এবং তাই যদি কোভারিয়েন্স ম্যাট্রিক্সের মাত্রা নমুনার আকারের সমান হয়, তবে এটি একক হবে। আমি বুঝতে পারি না কেন আমরা কোভারিয়েন্স ম্যাট্রিক্সের সর্বোচ্চ র‌্যাঙ্ক এন থেকে বিয়োগ করি ।$1$$n$

Comments

অন্তর্দৃষ্টি পেতে, 3D মধ্যে $n=2$ পয়েন্ট সম্পর্কে ভাবেন । এই পয়েন্টগুলি যে সাব-স্পেসে থাকে তার মাত্রা কত? আপনি কি তাদের একটি লাইনে ফিট করতে পারবেন (1 ডি সাবস্পেস)? অথবা আপনার কি প্লেন (2 ডি সাবস্পেস) দরকার?

— অ্যামিবা বলছে মনিকাকে

সুতরাং আপনি কি বুঝতে পারছেন যে $n=2$ 1 কোভেরিয়েন্স ম্যাট্রিক্সের র‌্যাঙ্কের দিকে নিয়ে যায়? ঠিক আছে, আসুন $n=3$ পয়েন্ট নেওয়া যাক । আপনি কি দেখতে পাচ্ছেন যে আপনি সর্বদা তাদের 2 ডি প্লেনে ফিট করতে পারেন?

— অ্যামিবা বলছে মনিকাকে

@ অ্যামিবা আপনার উদাহরণটি পরিষ্কার ছিল তবে আমি বুঝতে পারি না যে আপনার উদাহরণের মধ্যে হাইপার-প্লেনের ফিটিং এবং কোভারিয়েন্স ম্যাট্রিক্সের মধ্যে কী সম্পর্ক?

— ব্যবহারকারী 3070752

বিলম্বের জন্য দুঃখিত;)

— ব্যবহারকারী 3070752

Answer 1

নমুনা সহভেদাংক ম্যাট্রিক্স দেওয়া পক্ষপাতিত্বহীন মূল্নির্ধারক ডাটা পয়েন্টের x আমি ∈ আর ঘ হয় সি = $n$$\newcommand{\x}{\mathbf x}\x_i \in \mathbb R^d$যেখানে points x =∑xi/nসমস্ত পয়েন্টের তুলনায় গড়। আসুন(xi- ˉ x )ziহিসাবে চিহ্নিতকরি।

$$\mathbf C = \frac{1}{n-1}\sum_{i=1}^n (\x_i - \bar \x)(\x_i - \bar \x)^\top,$$ $\bar \x = \sum \x_i /n$$(\x_i-\bar \x)$$\newcommand{\z}{\mathbf z}\z_i$ ফ্যাক্টরটি র‌্যাঙ্কটি পরিবর্তন করে না, এবং যোগফলের প্রতিটি পদটি (সংজ্ঞা অনুসারে) র‌্যাঙ্ক1 থাকে, সুতরাং প্রশ্নের মূলটি নিম্নরূপ:$\frac{1}{n-1}$$1$

কেন আছে র্যাঙ্ক এন - 1 এবং র্যাঙ্ক না এন , মনে হবে যেমন, কারণ আমরা summing হয় এন rank- 1 ম্যাট্রিক্স?$\sum \z_i\z_i^\top$$n-1$$n$$n$$1$

উত্তরটি হ'ল কারণ আমি স্বাধীন নই। নির্মাণ করে, ∑ z i = 0 । আপনি কি জানেন তাই আপনি যদি এন - 1 এর z- র আমি , তারপর গত অবশিষ্ট z- র এন সম্পূর্ণরূপে নির্ধারিত হয়; আমরা n স্বতন্ত্র র‌্যাঙ্ক- 1 ম্যাট্রিক্সের যোগফল দিচ্ছি না , আমরা কেবল n - 1 স্বতন্ত্র র‌্যাঙ্ক- 1 ম্যাট্রিক্সের যোগফল দিচ্ছি এবং তারপরে আরও একটি র‌্যাঙ্ক 1 ম্যাট্রিক্স যুক্ত করব যা বাকী অংশগুলি সম্পূর্ণ রৈখিকভাবে নির্ধারিত হয়। এই শেষ সংযোজন সামগ্রিক স্থান পরিবর্তন করে না।$\z_i$$\sum\z_i = 0$$n-1$$\z_i$$\z_n$$n$$1$$n-1$$1$$1$

আমরা এই সরাসরি দেখতে পারেন যদি আমরা পুনর্লিখন হিসাবে z- র এন = - এন - 1 Σ আমি = 1 z- র আমি , এবং এখন উপরে অভিব্যক্তি সেটিকে প্লাগ: এন Σ আমি = 1 z- র আমি z- র ⊤ আমি = ঢ - 1 ∑ i = 1 z আমি z ⊤ i + ( - এন - 1 ∑ i = $\sum\z_i = 0$

$$\z_n = -\sum_{i=1}^{n-1}\z_i,$$ এখনযোগফলের মধ্যেকেবলমাত্র n - 1 পদ বাকী রয়েছে এবং এটি পরিষ্কার হয়ে যায় যে পুরো যোগফলটির সর্বাধিক n - 1 থাকতে পারে । $$\sum_{i=1}^n \z_i\z_i^\top = \sum_{i=1}^{n-1} \z_i\z_i^\top + \Big(-\sum_{i=1}^{n-1}\z_i\Big)\z_n^\top=\sum_{i=1}^{n-1} \z_i(\z_i-\z_n)^\top.$$ $n-1$$n-1$

এই ফলাফল, যাইহোক, কেন সমাহার এর নিরপেক্ষ অনুমানক এর ফ্যাক্টর এবং1নয়$\frac{1}{n-1}$ ।$\frac{1}{n}$

উপরের মন্তব্যে আমি জ্যামিতিক অন্তর্নিহিত নির্দেশটি হ'ল যে কোনও ব্যক্তি 2D তে যে কোনও দুটি বিন্দুতে সর্বদা 1D রেখায় ফিট করতে পারে এবং 3 ডি-তে কোনও তিন পয়েন্টের সাথে একটি 2 ডি বিমানকে সর্বদা ফিট করতে পারে, অর্থাৎ উপসরের মাত্রিকতা সর্বদা ; এটি কেবলমাত্র কাজ করে কারণ আমরা ধরে নিই যে আমাদের পয়েন্টগুলিতে ফিট করার জন্য এই লাইনটি (এবং বিমান) "কাছাকাছি চলে যেতে পারে"। এই লাইনটি (বা বিমান) "পজিশনিং" যেমন এটি ˉ x এর মধ্য দিয়ে যায় এটি উপরের বীজগণিত যুক্তিতে কেন্দ্রীকরণের সমতুল্য।$n-1$$\bar \x$

Answer 2

কিছুটা ছোট, আমি বিশ্বাস করি, ব্যাখ্যাটি এরকম হয়:

আসুন ম্যাট্রিক্স $n$ x $m$ ম্যাট্রিক্স $x$ স্যাম্পল ডেটা পয়েন্টের সংজ্ঞা দিন যেখানে $n$ হল বেশ কয়েকটি ভেরিয়েবল এবং $m$ প্রতিটি প্রতিটি ভেরিয়েবলের জন্য কয়েকটি নমুনা। আসুন আমরা ধরে নিই যে কোনও ভেরিয়েবল লিনিয়ার নির্ভরশীল নয়।

পদে $x$ হয় $min(n,m)$ ।

আসুন সংজ্ঞায়িত ম্যাট্রিক্স $n$ এক্স $m$ ম্যাট্রিক্স $z$ rowwise এর কেন্দ্রিক ভেরিয়েবল:

$z = x - E[x]$

কেন্দ্রিক ডেটা র‌্যাঙ্ক হয়ে যায় $min(n,m-1)$

$\sum_{i=1}^{m}z_{*i} =0$

$z$

$x$

$cov(x,x) = \frac{1}{m-1}zz^T$

$rank(zz^T)$

$rank(zz^T) = rank(z) = min(n,m-1)$