একটি পারস্পরিক সম্পর্ক মেট্রিক্সের শূন্য ইগেনুয়ালুয়ের জন্য পর্যাপ্ত এবং প্রয়োজনীয় শর্তাদি

Question

প্রদত্ত দৈব চলক , সম্ভাব্যতা বিতরণের সঙ্গে , পারস্পরিক সম্পর্ক ম্যাট্রিক্স ইতিবাচক আধা নির্দিষ্ট, অর্থাত্ তার eigenvalues ধনাত্মক বা শূন্য।$n$$X_i$$P(X_1,\ldots,X_n)$$C_{ij}=E[X_i X_j]-E[X_i]E[X_j]$

আমি তে থাকা শর্তগুলিতে আগ্রহী যেগুলি শূন্য ইগেনালুগুলি থাকতে / এর জন্য পর্যাপ্ত । উদাহরণস্বরূপ, পর্যাপ্ত শর্তটি এলোমেলো পরিবর্তনগুলি স্বতন্ত্র নয়: কিছু আসল সংখ্যার জন্য । উদাহরণস্বরূপ, যদি , তবে হয় শূন্য ইগেনুয়ালু সহ সি এর একটি আইগনেক্টর । তাহলে আমরা আছে মি স্বাধীন রৈখিক সীমাবদ্ধতার x_i 'এই ধরনের গুলি, এটা সূচিত করা হবে মি শূন্য eigenvalues।$P$$C$$m$$\sum_i u_i X_i=0$$u_i$$P(X_1,\ldots,X_n)=\delta(X_1-X_2)p(X_2,\ldots,X_n)$$\vec u=(1,-1,0,\ldots,0)$$C$$m$$X_i$$m$

কমপক্ষে একটি অতিরিক্ত (তবে তুচ্ছ) সম্ভাবনা রয়েছে, যখন $X_a=E[X_a]$ কিছু $a$ (যেমন $P(X_1,\ldots,X_n)\propto\delta(X_a-E[X_a])$ ), যেহেতু কেস $C_{ij}$ এর একটি কলাম এবং শূন্যের একটি লাইন রয়েছে: $C_{ia}=C_{ai}=0,\,\forall i$ । যেহেতু এটি সত্যই আকর্ষণীয় নয়, আমি ধরে নিচ্ছি যে সম্ভাবনা বিতরণটি সেই ফর্মের নয়।

আমার প্রশ্ন হ'ল: শূন্য ইগেনালুগুলি প্ররোচিত করার একমাত্র উপায় লিনিয়ার সীমাবদ্ধতাগুলি (যদি আমরা উপরে বর্ণিত তুচ্ছ ব্যতিক্রমকে নিষেধ করি), বা এলোমেলো ভেরিয়েবলগুলিতে অ-লিনিয়ার সীমাবদ্ধতাগুলিও সি এর শূন্য ইগন্যালিউজ তৈরি করতে পারে $C$?

Comments

সংজ্ঞা অনুসারে, শূন্য ভেক্টর অন্তর্ভুক্ত ভেক্টরগুলির একটি সংগ্রহ লিনিয়ার নির্ভরশীল, তাই আপনার অতিরিক্ত সম্ভাবনা নতুন বা আলাদা কিছু নয়। আপনি " ইগেনভ্যালু" বলতে কী বোঝাতে চেয়েছেন দয়া করে ব্যাখ্যা করতে পারেন ? এটি দেখতে একরকম টাইপোগ্রাফিক ত্রুটি। $m$

— whuber

@ শুভ: হ্যাঁ, টাইপো সংশোধন। আমি মনে করি দুটি শর্ত পৃথক: একটি হল ভেরিয়েবলের মধ্যে সম্পর্ক সম্পর্কিত, অন্যটি কেবলমাত্র সম্ভাবনা সম্পর্কে (যেমন )। $p(X_a)=\delta(X_a-E(X_a))$

— আদম

আপনার প্রশ্নের সূত্রপাত বিভ্রান্তিকর। এটি লিনিয়ার বীজগণিতের প্রাথমিক উপপাদ্যের মতো দেখায় তবে "স্বতন্ত্র" র্যান্ডম ভেরিয়েবলের উল্লেখগুলি থেকে বোঝা যায় এটি পুরোপুরি অন্য কিছু সম্পর্কে হতে পারে। এটা বুঝতে কি সঠিক হবে যে আপনি যখনই "স্বতন্ত্র" ব্যবহার করেন তখন আপনি লিনিয়ার স্বাধীনতার অর্থে বোঝায় না (পরিসংখ্যানগতভাবে) স্বাধীন র্যান্ডম ভেরিয়েবলের অর্থে? "অনুপস্থিত ডেটা" সম্পর্কিত আপনার রেফারেন্সটি আরও বিভ্রান্তিকর, কারণ এটি আপনার "এলোমেলো ভেরিয়েবল" এর অর্থ সম্ভবত ডেটা ম্যাট্রিক্সের কেবল কলামগুলি বোঝায়। এই অর্থগুলি স্পষ্ট করে দেখতে ভাল লাগবে।

— whuber

@ হুবার: আমি প্রশ্নটি সম্পাদনা করেছি। আশা করি এটি পরিষ্কার হয়ে গেছে।

— আদম

স্বাধীনতার জন্য শর্তটি। অগত্যা শূন্য হওয়া প্রয়োজন (যে কোনও ধ্রুবক তা করবে), যদি না প্রতিটি গড় শূন্য হয়। $\sum_i u_i X_i=0$$X_i$

— সেক্সটাস এম্পেরিকাস

Answer 1

সম্ভবত স্বরলিপিটি সহজ করে আমরা প্রয়োজনীয় ধারণাগুলি আনতে পারি। দেখা যাচ্ছে যে আমাদের প্রত্যাশাগুলি বা জটিল সূত্রগুলির জড়িত থাকার দরকার নেই, কারণ সবকিছু খাঁটি বীজগণিত।

---

গাণিতিক বস্তুর বীজগণিত প্রকৃতি

মধ্যে প্রশ্ন উদ্বেগ সম্পর্ক (1) র্যান্ডম ভেরিয়েবল একটি নির্দিষ্ট সেট কোভ্যারিয়েন্স ম্যাট্রিক্স $X_1, \ldots, X_n$ এবং (2) যারা ভেরিয়েবল, যেমন বিবেচিত মধ্যে সম্পর্ক রৈখিক ভেক্টর ।

প্রশ্নে ভেক্টর স্পেস হ'ল সমস্ত সীমাবদ্ধ-বৈকল্পিক র্যান্ডম ভেরিয়েবলের সেট (যে কোনও সম্ভাব্যতার স্পেসে $(\Omega,\mathbb P)$ ) মডিউল প্রায় নিশ্চিত ধ্রুবক ভেরিয়েবলের উপস্থানে , $\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R.$ (এটি, আমরা দুটি এলোমেলো ভেরিয়েবল $X$ এবং $Y$ একই ভেক্টর হিসাবে বিবেচনা করি যখন $X-Y$ এর প্রত্যাশা থেকে পৃথক হওয়ার সম্ভাবনা থাকে ।) আমরা কেবল এক্স i দ্বারা উত্পন্ন সীমাবদ্ধ-মাত্রিক ভেক্টর স্পেস নিয়েই কাজ করছি$V$$X_i,$ যা এটিকে বিশ্লেষক না করে বীজগণিত সমস্যা হিসাবে চিহ্নিত করে।

আমাদের বৈকল্পিকগুলি সম্পর্কে কী জানতে হবে

$V$ কেবল ভেক্টর স্পেসের চেয়ে বেশি: এটি একটিচতুর্ভুজ মডিউল,কারণ এটি ভেরিয়েন্স দিয়ে সজ্জিত। ভেরিয়েন্সগুলি সম্পর্কে আমাদের যা জানা দরকার তা হল দুটি জিনিস:

1. ভ্যারিয়েন্স স্কেলের-মূল্যবান ফাংশন $Q$ সম্পত্তি যে সঙ্গে $Q(aX)=a^2Q(X)$ সব ভেক্টরের জন্য $X.$

2. বৈকল্পিকতা অজস্র ge

দ্বিতীয়টির কিছু ব্যাখ্যা দরকার। $Q$ একটি "ডট পণ্য" নির্ধারণ করে যা প্রদত্ত একটি প্রতিসম বিলিিনার ফর্ম

$$X\cdot Y = \frac{1}{4}\left(Q(X+Y) - Q(X-Y)\right).$$

(এই ভেরিয়েবল সহভেদাংক ছাড়া অন্য অবশ্যই কিছু না হয় $X$ এবং $Y.$ ভেক্টর) $X$ এবং $Y$ হয় লম্ব যখন তাদের ডট পণ্য লম্ব সম্পূরক ভেক্টর কোনো সেট একটি ⊂ ভী সব ভেক্টর গঠিত যে উপাদানে লম্ব এর একটি , লিখিত$0.$$\mathcal A \subset V$$\mathcal A,$

$$\mathcal{A}^0 = \{v\in V\mid a . v = 0\text{ for all }v \in V\}.$$

এটি স্পষ্টভাবে একটি ভেক্টর স্পেস। যখন , প্রশ্ন হল nondegenerate।$V^0 = \{0\}$$Q$

আমাকে প্রমাণ করতে দিন যে বৈকল্পিকটি প্রকৃতপক্ষে অপ্রচলিত, যদিও এটি সম্ভবত সুস্পষ্ট বলে মনে হচ্ছে। ধরুন , ভি 0 এর একটি ননজারো উপাদান । এর অর্থ সমস্ত Y ∈ V এর জন্য এক্স ⋅ ওয়াই = 0 ; equivalently,$X$$V^0.$$X\cdot Y = 0$$Y\in V;$

$$Q(X+Y) = Q(X-Y)$$

সমস্ত ভেক্টর জন্য টেকিং ওয়াই = এক্স দেয়$Y.$$Y=X$

$$4 Q(X) = Q(2X) = Q(X+X) = Q(X-X) = Q(0) = 0$$

এবং এইভাবে তবে, আমরা জানি (চেবিশেভের বৈষম্য ব্যবহার করে, সম্ভবত) যে শূন্য বৈকল্পের একমাত্র এলোমেলো ভেরিয়েবলগুলি অবশ্যই ধ্রুবক, যা তাদের ভি , কিউইডিতে শূন্য ভেক্টরের সাথে চিহ্নিত করে ।$Q(X)=0.$$V,$

প্রশ্নের ব্যাখ্যা

প্রশ্নগুলিতে ফিরে আসা, পূর্ববর্তী স্বরলিপিটিতে এলোমেলো ভেরিয়েবলের কোভারিয়েন্স ম্যাট্রিক্সটি তাদের সমস্ত বিন্দু পণ্যগুলির একটি নিয়মিত অ্যারে,

$$T = (X_i\cdot X_j).$$

সম্পর্কে ভাবার একটি ভাল উপায় আছে : এটি আর এন এর উপর একটি রৈখিক রূপান্তরকে সাধারণ উপায়ে নির্ধারণ করে যে কোনও ভেক্টরকে x = ( x 1 , … , x n ) ∈ R n ভেক্টর টি ( x ) = y প্রেরণ করে = ( y 1 , … , x n ) যার i তম উপাদানটি ম্যাট্রিক্সের গুণ গুণ দ্বারা দেওয়া হয়েছে$T$$\mathbb{R}^n$$x=(x_1, \ldots, x_n)\in\mathbb{R}^n$$T(x)=y=(y_1, \ldots, x_n)$$i^\text{th}$

$$y_i = \sum_{j=1}^n (X_i\cdot X_j)x_j.$$

কার্নেল এই রৈখিক রূপান্তর subspace শূন্য এ পাঠায় হল:

$$\operatorname{Ker}(T) = \{x\in \mathbb{R}^n\mid T(x)=0\}.$$

পূর্বোল্লিখিত সমীকরণ থেকেই বোঝা যে যখন যে জন্য $x\in \operatorname{Ker}(T),$$i$

$$0 = y_i = \sum_{j=1}^n (X_i\cdot X_j)x_j = X_i \cdot \left(\sum_j x_j X_j\right).$$

যেহেতু এটি প্রতিটি জন্য সত্য , এটি এক্স i দ্বারা বিস্তৃত সমস্ত ভেক্টরকে ধরে রেখেছে : যথা, ভি নিজেই। ফলে, যখন এক্স ∈ Ker ( টি ) , ভেক্টর কর্তৃক প্রদত্ত Σ ঞ এক্স ঞ এক্স ঞ মধ্যে মিথ্যা ভী 0 । কারণ ভ্যারিয়েন্স nondegenerate, এই উপায়ে Σ ঞ এক্স ঞ এক্স ঞ = 0. অর্থাৎ এক্স মধ্যে একটি রৈখিক নির্ভরতা বর্ণনা এন মূল র্যান্ডম ভেরিয়েবল।$i,$$X_i$$V$$x\in\operatorname{Ker}(T),$$\sum_j x_j X_j$$V^0.$$\sum_j x_j X_j = 0.$$x$$n$

আপনি সহজেই পরীক্ষা করে দেখতে পারেন যে এই যুক্তির শৃঙ্খলাটি বিপর্যয়কর:

ভেক্টর হিসাবে মধ্যে লিনিয়ার নির্ভরতা টি এর কার্নেলের উপাদানগুলির সাথে এক থেকে একের সাথে যোগাযোগের হয় $X_j$ $T.$

(মনে রাখবেন, এই বিবৃতিটি এখনও হিসাবে স্থিরভাবে স্থানান্তরিত হিসাবে সংজ্ঞায়িত হিসাবে বিবেচনা করে - এটি এল 2 ( Ω , পি ) / আর এর উপাদান হিসাবে - কেবল র্যান্ডম ভেরিয়েবলের চেয়ে বেশি।)$X_j$$\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R$

অবশেষে, সংজ্ঞা দ্বারা, একটি eigenvalue এর কোন স্কালে হয় λ , যার জন্য অস্তিত্ব আছে একটি অশূন্য ভেক্টর এক্স সঙ্গে টি ( X ) = λ এক্স । যখন λ = 0 একটি ইগেনুয়ালু হয়, তখন সম্পর্কিত আইজেনভেেক্টরগুলির স্থান টি (টি স্পষ্টত) এর কর্নেল হয় $T$$\lambda$$x$$T(x) = \lambda x.$$\lambda=0$$T.$

---

সারসংক্ষেপ

আমরা প্রশ্নের উত্তর আগত করেছেন: র্যান্ডম ভেরিয়েবল রৈখিক নির্ভরতা সেট, পদাধিকারবলে উপাদান অনুরূপ এক টু এক তাদের সহভেদাংক ম্যাট্রিক্স কার্নেলের সাথে টি । এর কারণটি হ'ল বৈকল্পিকটি একটি অজানা কোয়াড্র্যাটিক ফর্ম। কার্নেলটি শূন্য ইগন্যালুয়ের সাথে যুক্ত ইগেনস্পেস (বা শূন্য ইগেনালু নেই যখন কেবল শূন্য উপগ্রহ)।$\mathcal{L}^2(\Omega,\mathbb P)/\mathbb R,$$T.$

---

উল্লেখ

আমি চতুর্থ অধ্যায়টির কিছুটা স্বরলিপি এবং কিছু ভাষা গ্রহণ করেছি

জিন-পিয়েরে সেরে, একটি কোর্স ইন গাণিতিক। স্প্রিঞ্জার-ভার্লাগ 1973।

Comments

ওহ, দুর্দান্ত! কেবলমাত্র একটি প্রশ্ন যা আমি সবকিছু বুঝতে পেরেছি: আপনি যখন " ভেক্টর হিসাবে লিখেন" তখন আপনি কোনও ভেক্টরে এলোমেলো ভেরিয়েবলগুলি সংগ্রহ করার অর্থ নয় (যেমন → এক্স = ( এক্স 1 , … , এক্স এন ) ), বা আপনি কি ? যদি আমি সঠিক, আমি অনুমান করছি যে আপনি এলোমেলো পরিবর্তনশীল এক্স i এর সম্ভাব্য মানগুলি একটি ভেক্টর হিসাবে সংগ্রহ করছেন, যখন সম্ভাবনার বন্টন বৈকল্পিকের সংজ্ঞায় লুকিয়ে আছে, তাই না? $X_j$$\vec X=(X_1,\ldots,X_n)$$X_i$

— আদম

আমি মনে করি যে মূল দিকটি পুরোপুরি পরিষ্কার নয় নিম্নলিখিতটি হ'ল (যা কেবল সম্ভাব্যতা তত্ত্ব সম্পর্কে আমার আনুষ্ঠানিক জ্ঞানের অভাব প্রদর্শন করতে পারে): আপনি মনে করছেন যে যদি 0 ইজেনভ্যালু থাকে তবে আমাদের কাছে । এই সীমাবদ্ধতা সম্ভাব্যতা বিতরণ পি এর উল্লেখ করে না , যা Q এ লুকানো আছে (আমি মনে করি এটি এই বিক্ষোভ সম্পর্কে চতুর পয়েন্ট)। তবে পি এর উল্লেখ ছাড়াই এক্স 1 = এক্স 2 থাকার অর্থ কী ? বা এটি কেবল ইঙ্গিত দেয় যে পি ∝ δ ( এক্স 1 - এক্স 2$X_1=X_2$$P$$Q$$X_1=X_2$$P$$P\propto \delta(X_1-X_2)$, তবে তবে কীভাবে আমরা জানি যে এটি ব-দ্বীপ ফাংশনে X 1 এবং এক্স 2 এর লিনিয়ার সংমিশ্রণ $X_1$$X_2$ হতে হবে ?

— আদম

আমি ভীত, আমি আপনার এই প্রসঙ্গে অ্যাডাম "ডেল্টা ফাংশন" ব্যবহার বুঝতে পারি না। এটি আংশিক কারণ আমি এর জন্য কোনও প্রয়োজন দেখছি না এবং আংশিক কারণ স্বরলিপিটি অস্পষ্ট: উদাহরণস্বরূপ, এটি কোনও ক্রোনেকার ব-দ্বীপ বা ডায়ারাক ডেল্টা হতে পারে?

— whuber

এটি ভেরিয়েবলগুলির উপর নির্ভর করে কোনও ক্রোনেকার বা ডায়ারাক হবে (পৃথক বা অবিচ্ছিন্ন)। এই ব-দ্বীপ এর ইন্টিগ্রেশন পরিমাপ অংশ, যেমন আমি 2-বাই-2 ম্যাট্রিক্স উপর সংহত হতে পারে (তাই চার বাস্তব ভেরিয়েবল এক্স 1 , এক্স 2 , এক্স 3 এবং এক্স 4 , কিছু ওজনের (বলুন পি = Exp ( - টি R ( এম । এম টি ) ) ) বা আমি একটি উপ-গ্রুপের সাথে একীকরণ করেছি it এটি যদি প্রতিসম ম্যাট্রিক হয় (উদাহরণস্বরূপ এক্স 2 = এক্স $M$$X_1$$X_2$$X_3$$X_4$$P=\exp(-tr(M.M^T))$$X_2=X_3$), আমি আনুষ্ঠানিকভাবে গুন দ্বারা আরোপ করতে পারে দ্বারা δ ( এক্স 1 - এক্স 2 ) । এটি একটি লিনিয়ার সীমাবদ্ধতা হবে। মার্টিজন ওয়েটারিংসের উত্তরের নীচে দেওয়া মন্তব্যে অ-রৈখিক প্রতিবন্ধকতার একটি উদাহরণ দেওয়া হয়েছে। $P$$\delta(X_1-X_2)$

— আদম

(continued) The question is : what can of non-linear constraints that I can add on my variables can induce a 0 eigenvalue. By your answers, it seems to be : only non-linear constraint that imply linear constraint (as exemplified in the comments below Martijn Weterings's answer). Maybe the problem is that my way of thinking of the problem is from a physicist point of view, and I struggle to explain it in a different language (I think here is the right place to ask this question, no physics.SE).

— Adam

Answer 2

Linear independence is not just sufficient but also a neccesary condition

To show that the variance-covariance matrix has eigenvalues equal to zero if and only if the variables are not linearly independent, it only remains to be shown that "if the matrix has eigenvalues equal to zero then the variables are not linearly independent".

If you have a zero eigenvalue for $C_{ij} = \text{Cov}(X_i,X_j)$ then there is some linear combination (defined by the eigenvector $v$)

$$Y = \sum_{i=1}^n v_i (X_i)$$

such that

$$\begin{array}{rcl} \text{Cov}(Y,Y) &=& \sum_{i=1}^n \sum_{j=1}^n v_i v_j \text{Cov}(X_i,X_j) \\ &=&\sum_{i=1}^n v_i\sum_{j=1}^n v_j C_{ij} \\ &= &\sum_{i=1}^n v_i \cdot 0 \\ &=& 0 \end{array}$$

which means that $Y$ needs to be a constant and thus the variables $X_i$ have to add up to a constant and are either constants themselves (the trivial case) or not linearly independent.

^{- the first line in the equation with $\text{Cov}(Y,Y)$ is due to the property of covariance}

$$\scriptsize\text{Cov}(aU+bV,cW+dX) = ac\,\text{Cov}(U,W) + bc\,\text{Cov}(V,W) +ad\, \text{Cov}(U,X) + bd \,\text{Cov}(V,X)$$

^{- the step from the second to the third line is due to the property of a zero eigenvalue}

$$\scriptsize \sum_{j=1}^nv_jC_{ij} = 0$$

---

Non-linear constraints

So, since linear constraints are a necessary condition (not just sufficient), non-linear constraints will only be relevant when they indirectly imply a (necessary) linear constraint.

In fact, there is a direct correspondence between the eigenvectors associated with the zero eigenvalue and the linear constraints.

$$C \cdot v = 0 \iff Y = \sum_{i=1}^n v_i X_i = \text{const}$$

Thus non-linear constraints leading to a zero eigenvalue must, together combined, generate some linear constraint.

---

How can non-linear constraints lead to linear constraints

Your example in the comments can show this intuitively how non-linear constraints can lead to linear constraints by reversing the derivation. The following non-linear constraints

$$\begin{array}{lcr} a^2+b^2&=&1\\ c^2+d^2&=&1\\ ac + bd &=& 0 \\ ad - bc &=& 1 \end{array}$$

can be reduced to

$$\begin{array}{lcr} a^2+b^2&=&1\\ c^2+d^2&=&1\\ a-d&=&0 \\ b+c &=& 0 \end{array}$$

You could inverse this. Say you have non-linear plus linear constraints, then it is not strange to imagine how we can replace one of the linear constraints with a non-linear constraint, by filling the linear constraints into the non-linear constraints. E.g when we substitute $a=d$ and $b=-c$ in the non-linear form $a^2+b^2=1$ then you can make another relationship $ad-bc=1$. And when you multiply $a=d$ and $c=-b$ then you get $ac=-bd$.

Comments

I guess this (and the answer by whuber) is an indirect answer to my question (which was : "is linear dependence the only way to obtain a zero eigenvalue") in this way : even if the dependence between the random variables is non-linear, it can always be rewritten as a linear dependence by just writing $Y=\sum_i \nu_i X_i$. Although I was really looking for way to characterize the possible non-linear constraints themselves, I guess it is nevertheless a useful result.

— Adam

Yes, I know... what I'm saying is that if there is a non-linear dependence and there is a zero eigenvalue, then by your answer, it means that the non-linear dependence can be "factored" in some way into a linear dependence. It is a weaker version of what I was looking for, but still something.

— Adam

Your a giving an example that does not work, which does not mean that it cannot be the case...

— Adam

Here is a counter-example of what your saying (if you think it is not, then it might help us find what is wrong with my formulation of the problem :) ) : Take a 2-by-2 random matrix $M$, with the non-linear constraint $M.M^T=1$ and $\det M=1$. These 3 non-linear constraint can be rewritten in terms of 2 linear constraints, and one linear : meaning that the covariance matrix has two 0 eigenvector. Remove the constraint $\det M=1$, and they disappear.

— Adam

$M_{11}=X_1$, $M_{12}=X_2$, $M_{21}=X_3$ and $M_{22}=X_4$. The constraints are $X_1^2+X_2^2=1$, $X_3^2+X_4^2=1$, $X_1 X_3+X_2 X_4=0$ (only two are independent). They do not imply a zero eigenvalue. However, adding $X_1 X_4-X_2 X_3=1$ does imply two eigenvectors with 0 eigenvalues.

— Adam

Answer 3

Suppose $C$ has an eigenvector $v$ with corresponding eigenvalue $0$, then $\operatorname{var}(v^T X) = v^T Cv = 0$. Thus, by Chebyshev's inequality, $v^TX$ is almost surely constant and equal to $v^T E [X]$. That is, every zero eigenvalue corresponds to a linear restriction, namely $v^T X = v^T E[X]$. There is no need to consider any special cases.

Thus, we conclude:

"are linear constraints the only way to induce zero eigenvalues [?]"

Yes.

"can non-linear constraints on the random variables also generate zero eigenvalues of C ?"

Yes, if they imply linear constraints.

Comments

I agree. I was hoping that one could be more specific on the kind of non-linear constraints, but I guess that it is hard to do better if we do not specify the constraints.

— Adam

Answer 4

The covariance marix $C$ of $X$ is symmetric so you can diagnonalize it as $C=Q\Lambda Q^T$, with the eigenvalues in the diagonal matrix $\Lambda.$ Rewriting this as $\Lambda=Q^TCQ$, the rhs is the covariance matrix of $Q^TX$, so zero eigenvalues on the lhs correspond to linear combinations of $X$ with degenerate distributions.

Comments

This is a very nice concise description, but how could we make it more intuitive that $Q^TCQ = \text{cov}(Q^TX)$?

— Sextus Empiricus