একাধিক প্রতিরোধের সহগ খুঁজে পেতে কোভেরিয়েন্স ম্যাট্রিক্স ব্যবহার করার কোনও উপায় আছে কি?

সাধারণ লিনিয়ার রিগ্রেশন এর জন্য, রিগ্রেশন সহগ সরাসরি দ্বারা ভেরিয়েন্স-কোভারিয়েন্স ম্যাট্রিক্স থেকে গণনাযোগ্য is $C$

\frac{C_{d, e}}{C_{e, e}}

$C_{d, e}\over C_{e,e}$ যেখানে

d

$d$ নির্ভরশীল ভেরিয়েবলের সূচক এবং

e

$e$ হ'ল ব্যাখ্যামূলক ভেরিয়েবলের সূচক।

যদি কারও কাছে কেবল কোভারিয়েন্স ম্যাট্রিক্স থাকে তবে একাধিক ব্যাখ্যামূলক ভেরিয়েবলগুলির সাথে মডেলটির সহগগুলি গণনা করা কি সম্ভব?

ইটিএ: দুটি ব্যাখ্যামূলক ভেরিয়েবলের জন্য, এটি প্রদর্শিত হবে যে এবং আনুষাঙ্গিকভাবে। আমি কীভাবে এটি তিন বা ততোধিক ভেরিয়েবলের মধ্যে প্রসারিত করব তা তাত্ক্ষণিকভাবে দেখছি না।

β_{1} = \frac{C o v (y, x_{1}) v a r (x_{2}) - C o v (y, x_{2}) C o v (x_{1}, x_{2})}{v a r (x_{1}) v a r (x_{2}) - C o v (x_{1}, x_{2})^{2}}

$\beta_1 = \frac{Cov(y,x_1)var(x_2) - Cov(y,x_2)Cov(x_1,x_2)}{var(x_1)var(x_2) - Cov(x_1,x_2)^2}$

β_{2}

$\beta_2$

regression regression-coefficients covariance-matrix

— ডেভিড
সূত্র

সহগ ভেক্টর

সমাধান

\hat{β}

$\hat{\beta}$

। কিছু বীজগণিত কারসাজি প্রকাশ করে যে এটি আসলে 2-সহগ ক্ষেত্রে আপনি যে সূত্রটি দিয়েছেন তার মতোই। এখানে সুন্দরভাবে সাজানো হয়েছে:stat.purdue.edu/~jennings/stat514/stat512notes/topic3.pdf। নিশ্চিত না যে এটি আদৌ সহায়তা করে। তবে আমি অনুমান করার উদ্যোগ নেব যে সূত্রের ভিত্তিতে এটি সাধারণভাবে অসম্ভব।

X^{'} Y = (X^{'} X)^{- 1} β

$X'Y=(X'X)^{-1}\beta$

— ছায়াছবির 13

@ ডেভিড আপনি কীভাবে ব্যাখ্যা করতে পারেন যে এটি কীভাবে ব্যাখ্যাযোগ্য ভেরিয়েবলের (2 এর বাইরে) স্বেচ্ছাসেবীর সংখ্যাতে প্রসারিত করা যায়? আমার প্রকাশ দরকার।

— জেন ওয়েইন

@ জেনওয়েেন আমি নিশ্চিত না আমি আপনার প্রশ্নটি বুঝতে পেরেছি: হোবার ম্যাট্রিক্স ফর্ম,

নীচে) নীচে সমাধানটি দিয়েছেন

C^{- 1} (Cov (X_{i}, y))^{'}

$C^{-1}(\text{Cov}(X_i, y))^\prime$

— ডেভিড

হ্যাঁ আমি এটি অধ্যয়ন করেছি এবং সে ঠিক আছে।

— জেন ওয়েন

হ্যাঁ, সমস্ত ভেরিয়েবলের কোভারিয়েন্স ম্যাট্রিক্স - ব্যাখ্যামূলক এবং প্রতিক্রিয়া - সমস্ত সহগ খুঁজে পাওয়ার জন্য প্রয়োজনীয় তথ্য ধারণ করে, যদি একটি ইন্টারসেপ্ট (ধ্রুবক) পদটি মডেলের অন্তর্ভুক্ত থাকে। (যদিও সমবায়ীরা ধ্রুবক শব্দ সম্পর্কে কোনও তথ্য না দেয়, তথ্যের মাধ্যম থেকে এটি পাওয়া যায়))

বিশ্লেষণ

বর্ণনামূলক ভেরিয়েবলের জন্য ডেটা ডাইমেনশনাল কলাম ভেক্টর সাড়াতে দেওয়া উচিত এবং প্রতিক্রিয়া ভেরিয়েবলটি এলোমেলো ভেরিয়েবল উপলব্ধি হিসাবে বিবেচিত কলাম ভেক্টর হতে পারে $n$ $x_1, x_2, \ldots, x_p$ $y$ $Y$ । সাধারণ লিস্ট স্কোয়ার অনুমান মডেল কোফিসিয়েন্টস এর $\hat\beta$

E (Y) = α + X β

$\mathbb{E}(Y) = \alpha + X\beta$

একত্রিতকরনের দ্বারা প্রাপ্ত হয় কলাম ভেক্টর একটি মধ্যে অ্যারে এবং লিনিয়ার সমীকরণের পদ্ধতি সমাধানে $p+1$ $X_0 = (1, 1, \ldots, 1)^\prime, X_1, \ldots, X_p$ $n \times p+1$ $X$

X^{'} X \hat{β} = X^{'} y .

$X^\prime X \hat\beta = X^\prime y.$

এটি সিস্টেমের সমতুল্য

\frac{1}{n} X^{'} X \hat{β} = \frac{1}{n} X^{'} y .

$\frac{1}{n}X^\prime X \hat\beta = \frac{1}{n}X^\prime y.$

গাউসিয়ান নির্মূল এই ব্যবস্থাটি সমাধান করবে। এটি ম্যাট্রিক্স $p+1\times p+1$ এবংভেক্টর $\frac{1}{n}X^\prime X$ $p+1$ কেঅ্যারেএবং সারি-হ্রাস করে। $\frac{1}{n}X^\prime y$ $p+1 \times p+2$ $A$

প্রথম পদক্ষেপটি পরিদর্শন করবে । এই অশূন্য হতে খোঁজা, এটা প্রথম সারি যথাযথ গুণিতক বিয়োগ করতে আয়আউট তার প্রথম কলামে অবশিষ্ট এন্ট্রি শূন্য করার জন্য অবশিষ্ট সারি থেকে। এই গুণগুলি হবে $\frac{1}{n}(X^\prime X)_{11} = \frac{1}{n}X_0^\prime X_0 = 1$ $A$ এবং এন্ট্রিথেকে বিয়োগ করা সংখ্যাসমান হবে। এটি কেবলএবংসমবায় জন্য সূত্র। অধিকন্তু, সংখ্যা বামঅবস্থান সমান $\frac{1}{n}X_0^\prime X_i = \overline X_i$ $A_{i+1,j+1} = X_i^\prime X_j$ $\overline X_i \overline X_j$ $X_i$ $X_j$ $i+1, p+2$ , কোভ্যারিয়েন্সসঙ্গে। $\frac{1}{n}X_i^\prime y - \overline{X_i}\overline{y}$ $X_i$ $y$

সুতরাং, গাউসিয়ান নির্মূলের প্রথম পদক্ষেপের পরে সিস্টেমটি সমাধান হ্রাস পাবে

C \hat{β} = (Cov (X_{i}, y))^{'}

$C\hat{\beta} = (\text{Cov}(X_i, y))^\prime$

এবং স্পষ্টতই - যেহেতু সমস্ত সহগ সহকারী হয় - সুতরাং সমাধানটি সমস্ত ভেরিয়েবলের কোভারিয়েন্স ম্যাট্রিক্স থেকে পাওয়া যায়।

( যখন অবিচ্ছিন্ন থাকে তখন সমাধানটি লেখা যেতে পারে । প্রশ্নে প্রদত্ত সূত্রগুলি এর বিশেষ ক্ষেত্রে যখন এবং such এই জাতীয় সূত্রগুলি স্পষ্টভাবে লিখলে বাড়ার সাথে সাথে আরও জটিল হয়ে ওঠে Moreover তদুপরি, এগুলি সংখ্যার গণনার জন্য নিকৃষ্ট, যা ম্যাট্রিক্স বিবর্তনের পরিবর্তে সমীকরণের সিস্টেমটি সমাধান করে সর্বোত্তমভাবে পরিচালিত হয় )) $C$ $C^{-1}(\text{Cov}(X_i, y))^\prime$ $p=1$ $p=2$ $p$ $C$

ধ্রুব মেয়াদ গড় মধ্যে পার্থক্য হতে হবে এবং মধ্যবর্তি মাপটা অনুমান পূর্বাভাস । $y$ $X\hat{\beta}$

উদাহরণ

উদাহরণস্বরূপ, নিম্নলিখিত Rকোডটি কিছু তথ্য তৈরি করে, তাদের সমবায়গুলি গণনা করে এবং সেই তথ্য থেকে সম্পূর্ণরূপে ন্যূনতম স্কোয়ার সহগ অনুমান করে। এটি তাদের সর্বনিম্ন-স্কোয়ারের অনুমানকারী থেকে প্রাপ্ত অনুমানের সাথে তুলনা করে lm।

#
# 1. Generate some data.
#
n <- 10        # Data set size
p <- 2         # Number of regressors
set.seed(17)
z <- matrix(rnorm(n*(p+1)), nrow=n, dimnames=list(NULL, paste0("x", 1:(p+1))))
y <- z[, p+1]
x <- z[, -(p+1), drop=FALSE]; 
#
# 2. Find the OLS coefficients from the covariances only.
#
a <- cov(x)
b <- cov(x,y)
beta.hat <- solve(a, b)[, 1]  # Coefficients from the covariance matrix
#
# 2a. Find the intercept from the means and coefficients.
#
y.bar <- mean(y)
x.bar <- colMeans(x)
intercept <- y.bar - x.bar %*% beta.hat

আউটপুট দুটি পদ্ধতির মধ্যে চুক্তি দেখায়:

(rbind(`From covariances` = c(`(Intercept)`=intercept, beta.hat),
       `From data via OLS` = coef(lm(y ~ x))))

                  (Intercept)        x1        x2
From covariances     0.946155 -0.424551 -1.006675
From data via OLS    0.946155 -0.424551 -1.006675

— whuber
সূত্র

X

$X$ cov(z)

Answers like this raise the bar of this Cross Validated

— jpmuc

@whuber আপনার উদাহরণে, আপনার কাছ থেকে পথিমধ্যে নির্ণিত yএবং xএবং beta.hat। yএবং xমূল ডেটা অংশ। কোভরিয়েন্স ম্যাট্রিক্স এবং একা অর্থের মধ্য দিয়ে কি এই বিরতি নেওয়া সম্ভব? আপনি দয়া করে স্বরলিপি প্রদান করতে পারেন?

— জেন ওয়েইন

@ জেন কেবলমাত্র উপায় দিয়েছেন

\bar{X}

$\bar X$ , আবেদন

\hat{β}

$\hat \beta$ তাদেরকে:

\bar{এক্স} \hat{β} = \bar{এক্স \hat{β}} ।

$\overline X \hat\beta = \overline{X \hat\beta}.$ আমি এটি প্রতিফলিত করতে কোড পরিবর্তন করেছি।

— হোবার

কোডের জন্য খুব সহায়ক +1

— মাইকেল