কোভেরিয়েন্স অনুমানের ডিনোমিনিটারটি এন -1 এর পরিবর্তে এন -2 হওয়া উচিত নয় কেন?

Question

(নিরপেক্ষ) ভেরিয়েন্স অনুমানের ডিনোমেনেটর হ'ল সেখানে পর্যবেক্ষণ রয়েছে এবং কেবলমাত্র একটি পরামিতি অনুমান করা হচ্ছে।$n-1$$n$

$$\mathbb{V}\left(X\right)=\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}{n-1}$$

একই টোকেন দিয়ে আমি ভাবছি যে যখন দুটি পরামিতি অনুমান করা হচ্ছে তখন কেন কোভারিয়েন্সের ডিনোমিনিটারটি হওয়া উচিত নয় ?$n-2$

$$\mathbb{Cov}\left(X, Y\right)=\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)\left(Y_{i}-\overline{Y}\right)}{n-1}$$

Comments

যদি আপনি এটি করেন, আপনার বৈকল্পিকতার জন্য দুটি দ্বন্দ্বপূর্ণ সংজ্ঞা থাকবে: একটি হ'ল প্রথম সূত্র এবং অন্যটি হবে সাথে প্রয়োগ করা দ্বিতীয় সূত্র । $Y=X$

— whuber

একটি দ্বি / মাল্টিভারিয়েট গড় (প্রত্যাশা) এক, 2 পরামিতি নয়।

— ttnphns

@ttnphns এটি সত্য নয়: দ্বিপরিচালিত গড়টি অবশ্যই দুটি পরামিতি কারণ এটি প্রকাশের জন্য এটিতে দুটি বাস্তব সংখ্যা প্রয়োজন requires (প্রকৃতপক্ষে এটি একটি একক ভেক্টর প্যারামিটার, তবে এটি বলার ফলে এটির দুটি উপাদান রয়েছে কেবল তা ছদ্মবেশ ধারণ করে)) এটি পুল-ভেরিয়েন্স টি-পরীক্ষার জন্য স্বাধীনতার ডিগ্রিতে স্পষ্টভাবে প্রদর্শিত হয়, উদাহরণস্বরূপ, যেখানে বিয়োগ করা হয়, 1 নয় । এই প্রশ্নটি সম্পর্কে আকর্ষণীয় বিষয়টি হ'ল এটি কীভাবে অস্পষ্ট, অযৌক্তিক এবং সম্ভাব্য বিভ্রান্তিকর সেই সাধারণ "ব্যাখ্যা" যা আমরা n থেকে 1 বিয়োগ করি কারণ একটি প্যারামিটার অনুমান করা হয়েছে। $2$$1$$1$$n$

— whuber

@ হুবুহু, আপনি ঠিক এই মুহূর্তে। যদি এটি শুধুমাত্র (স্বতন্ত্র পর্যবেক্ষণ) থাকে তবে আমরা অবিবাহিত পরীক্ষাগুলির চেয়ে বহুগুণ পরীক্ষায় বেশি ডিএফ ব্যয় করব না। $n$

— ttnphns

@ ভুবার: আমি সম্ভবত বলব যে এটি দেখায় যে "পরামিতি" হিসাবে গণনা করা পরিস্থিতিটির উপর নির্ভর করে। এক্ষেত্রে ভেরিয়েন্সটিকে এন পর্যবেক্ষণগুলির মধ্যে গণনা করা হয়$n$ এবং তাই প্রতিটি পর্যবেক্ষণ - বা মোট গড় - একটি প্যারামিটার হিসাবে দেখা যায়, যদিও এটি মাল্টিভারিয়েট গড় হয়, যেমন টিটিএনফান্স বলেছে। যাইহোক, অন্যান্য ক্ষেত্রে যখন উদাহরণস্বরূপ একটি পরীক্ষা মাত্রার লিনিয়ার সংমিশ্রণ বিবেচনা করে, প্রতিটি পর্যবেক্ষণের প্রতিটি মাত্রা "প্যারামিটার" হয়ে যায় becomes আপনি ঠিক বলেছেন যে এটি একটি জটিল সমস্যা।

— অ্যামিবা বলেছেন 21

Answer 1

কোভেরিয়েন্সগুলি বিভিন্ন রূপ।

যেহেতু মেরুকরণ পরিচয় দ্বারা

$$\newcommand{\c}{\text{Cov}}\newcommand{\v}{\text{Var}} \c(X,Y) = \v\left(\frac{X+Y}{2}\right) - \v\left(\frac{X-Y}{2}\right),$$

ডিনোমিনেটরদের অবশ্যই একই হতে হবে।

Answer 2

একটি বিশেষ ক্ষেত্রে আপনাকে অন্তর্দৃষ্টি দেওয়া উচিত; নিম্নলিখিত সম্পর্কে চিন্তা করুন:

$$\hat{\mathbb{Cov}}\left(X, X\right)= \hat{\mathbb{V}}\left(X\right)$$

আপনি খুশি যে পরেরটি বেসেল সংশোধনের কারণে।$\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}{n-1}$

কিন্তু প্রতিস্থাপন দ্বারা এক্স মধ্যে ^ সি ণ বনাম ( এক্স , ওয়াই ) সাবেক জন্য দেয় Σ এন আমি = 1 ( এক্স আমি - ¯ এক্স ) ( এক্স আমি - ¯ এক্স$Y$$X$$\hat{\mathbb{Cov}}\left(X, Y\right)$ , এখন আপনি কী মনে করেন সবচেয়ে ভাল খালিটি পূরণ করতে পারে?$\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)\left(X_{i}-\overline{X}\right)}{\text{mystery denominator}}$

Comments

ঠিক আছে. তবে ওপি জিজ্ঞাসা করতে পারে "কোভ (এক্স, এক্স) এবং কোভ (এক্স, ওয়াই) কে যুক্তির এক লাইনে কেন বিবেচনা করবেন? আপনি কেন Y এর পরিবর্তে কোভ () এ কোয়ার্টে স্থান নিচ্ছেন? কোভ (এক্স, ওয়াই) আলাদা পরিস্থিতি কি? " আপনি তা

— এড়ান

Answer 3

একটি দ্রুত এবং ময়লা উত্তর ... প্রথম বিবেচনা করা যাক ; যদি আপনি ছিল এন পর্যবেক্ষণ পরিচিত প্রত্যাশিত মান সঙ্গে ই ( এক্স ) = 0 আপনি ব্যবহার করেন $\text{var}(X)$$n$ $E(X) = 0$ প্রকরণটি অনুমান করতে।${1\over n}\sum_{i=1}^n X_i^2$

প্রত্যাশিত মান হচ্ছে অজানা, আপনি আপনার রুপান্তর করতে পারেন পর্যবেক্ষণ মধ্যে এন - 1 পরিচিত প্রত্যাশিত মান সঙ্গে পর্যবেক্ষণ গ্রহণ করে একজন আমি = এক্স আমি - এক্স 1 জন্য আমি = 2 , ... , এন । ডিনোমিনেটরে একটি এন - 1 দিয়ে আপনি একটি সূত্র পাবেন - তবে এ আমি স্বাধীন নই এবং আপনাকে এটি বিবেচনায় নিতে হবে; শেষে আপনি সাধারণ সূত্রটি খুঁজে পাবেন।$n$$n-1$$A_i = X_i - X_1$$i = 2, \dots,n$$n-1$$A_i$

এখন সহভেদাংক জন্য আপনাকে একই ধারণা ব্যবহার করতে পারেন: যদি প্রত্যাশিত মান ছিল ( 0 , 0 ) , আপনি একটি ছিল চাই $(X,Y)$$(0,0)$সূত্রে এন । অন্যান্য সমস্ত পর্যবেক্ষণকৃত মানগুলিতে(এক্স1,ওয়াই1)বিয়োগ করেআপনিপরিচিত প্রত্যাশিত মান সহn-1 টিপর্যবেক্ষণ পাবেন ... এবং একটি${1\over n}$$(X_1,Y_1)$$n-1$সূত্রের n - 1 - আবারও, এটি বিবেচনায় নেওয়ার জন্য কিছুটা নির্ভরশীলতার পরিচয় দেয়।${1\over n-1}$

দ্রষ্টব্য যে কাজ করতে পরিচ্ছন্ন উপায় একটি orthonormal ভিত্তিতে নির্বাচন হয় হলো, এন - 1 ভেক্টর গ 1 , ... , গ N - 1 ∈ আর এন যেমন যে$\big\langle (1, \dots, 1)' \big\rangle^{\perp}$$n-1$$c_1, \dots, c_{n-1} \in \mathbb R^n$

• সকলের জন্য আমি ,$\sum_j c_{ij}^2 = 1$$i$
• আমি সকলের জন্য,$\sum_j c_{ij} = 0$$i$
• সকলের জন্য আমি 1 ≠ আমি 2 ।$\sum_j c_{i_1j} c_{i_2j} = 0$$i_1 \ne i_2$

তারপরে আপনি ভেরিয়েবলগুলি A i = ∑ j c i j X j এবং B i = ∑ j c i j Y j সংজ্ঞায়িত করতে পারেন । ( একটি আমি , বি আমি ) স্বাধীন, প্রত্যাশিত আছে মান ( 0 , 0 ) এবং মূল ভেরিয়েবল চেয়ে একই ভ্যারিয়েন্স / সহভেদাংক আছে।$n-1$$A_i = \sum_j c_{ij} X_j$$B_i = \sum_j c_{ij} Y_j$$(A_i,B_i)$$(0,0)$

সমস্ত বিষয় হ'ল আপনি যদি অজানা প্রত্যাশা থেকে মুক্তি পেতে চান তবে আপনি একটি (এবং শুধুমাত্র একটি) পর্যবেক্ষণ বাদ দিন। এটি উভয় ক্ষেত্রে একই কাজ করে।

Answer 4

Here is a proof that the p-variate sample covariance estimator with denominator $\frac{1}{n-1}$ is an unbiased estimator of the covariance matrix:

$x' = (x_1,...,x_p)$.

$\Sigma= E((x-\mu)(x-\mu)')$

$S = \frac{1}{n} \sum (x_i - \bar{x})(x_i - \bar{x})'$

To show: $E(S) = \frac{n-1}{n}\Sigma$

Proof: $S= \frac{1}{n}\sum x_ix_i' - \bar{x}\bar{x}'$

Next:

$E(x_ix_i') = \Sigma + \mu\mu'$

$E(\bar{x}\bar{x}') = \frac{1}{n} \Sigma+ \mu\mu'$

$E(S) = \Sigma + \mu\mu' - (\frac{1}{n} \Sigma+ \mu\mu') = \frac{n-1}{n} \Sigma$

$S_u = \frac{n}{n-1}S$, with the final denominator $\frac{1}{n-1}$, is unbiased. The off-diagonal elements of $S_u$ are your individual sample covariances.

Additional remarks:

1. The n draws are independent. This is used in (2) to calculate the covariance of the sample mean.

2. Step (1) and (2) use the fact that $Cov(x)= E[xx']-\mu\mu'$

3. Step (2) uses the fact that $Cov(\bar{x})= \frac{1}{n}\Sigma$

Comments

The difficulty being in step 2 ! :)

— Elvis

@Elvis It's messy. One needs to apply the rule Cov(X+Y,Z)=Cov(X,Z) + Cov(Y,Z) and recognize that the different draws are independent. Then it's basically summing up the covariance n times and scaling it down by 1/n²

— statchrist

Answer 5

I guess one way to build intuition behind using 'n-1' and not 'n-2' is - that for calculating co-variance we do not need to de-mean both X and Y, but either of the two, i.e.

Comments

Could you elaborate on how this bears on the question of what denominator to use? The algebraic relation in evidence derives from the fact that the residuals relative to the mean sum to zero, but otherwise is silent about which denominator is relevant.

— whuber

I came here because I had the same question as the OP. I think this answer gets at the nub of the point @whuber pointed out above: that the rule of thumb is that df ~= n - (parameters estimated) can be "vague, unrigorous, and potentially misleading." This points out the fact that though it looks like you need to estimate two parameters (xbar and ybar), you really only estimate one (xbar or ybar). Since the df should be the same in both cases, it must be the lower of the two. I think that is the intent here.

— mpettis

Answer 6

1) Start $df=2n$.

2) Sample covariance is proportional to $\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$. Lose two $df$; one from $\bar{X}$, one from $\bar{Y}$ resulting in $df=2(n-1)$.

3) However, $\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$ only contains $n$ separate terms, one from each product. When two numbers are multiplied together the independent information from each separate number disappears.

As a trite example, consider that

$24=1*24=2*12=3*8=4*6=6*4=8*3=12*2=24*1$,

and that does not include irrationals and fractions, e.g. $24=2\sqrt{6}*2\sqrt{6}$, so that when we multiply two number series together and examine their product, all we see are the $df=n-1$ from one number series, as we have lost half of the original information, that is, what those two numbers were before the pair-wise grouping into one number (i.e., multiplication) was performed.

In other words, without loss of generality we can write

$(X_i-\bar{X})(Y_i-\bar{Y})=z_i-\bar{z}$ for some $z_i$ and $\bar{z}$,

i.e., $z_i=X_iY_i-\bar{X}Y_i-X_i\bar{Y}$, and, $\bar{z}=\bar{X}\bar{Y}$. From the $z$'s, which then clearly have $df=n-1$, the covariance formula becomes

$\Sigma_{i=1}^n\frac{z_i-\bar{z}}{n-1}=$

$\Sigma_{i=1}^n\frac{[(X_i-\bar{X})(Y_i-\bar{Y})]}{n-1}=$

$\frac{1}{n-1}\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$.

Thus, the answer to the question is that the $df$ are halved by grouping.

Comments

@whuber How on earth did I get the same thing posted twice and deleted once? What gives? Can we get rid of one of them? For future reference, is there any way to permanently delete such duplicates? I have a few hanging around and it's annoying.

— Carl

As far as I can tell, you reposted your answer from the duplicate to here. (Nobody else has the power to post answers in your name.) The system strongly discourages posting identical answers in multiple threads, so when I saw that, it convinced me these two threads are perfect duplicates and I "merged" them. This is a procedure that moves all comments and answers from the source thread to the target thread. I then deleted your duplicate post here in the target thread. It will remain permanently deleted, but will be visible to you as well as to people of sufficiently high reputation.

— whuber

@whuber I didn't know what happens in a merge, that a merge was taking place or what many of the rules are, despite looking things up constantly. It takes time to learn, be patient, BTW, would you consider taking stats.stackexchange.com/questions/251700/… off of Hold?

— Carl