সাধারণ লিনিয়ার মডেলটি বিবেচনা করুন:

y y = X^{'} β β + ϵ

$\pmb{y}=X'\pmb{\beta}+\epsilon$

যেখানে $\epsilon_i\sim\mathrm{i.i.d.}\;\mathcal{N}(0,\sigma^2)$ এবং $X\in\mathbb{R}^{n\times p}$ , $p\geq2$ এবং $X$ এর ধ্রুবকের কলাম রয়েছে contains

আমার প্রশ্ন, দেওয়া হয় $\mathrm{E}(X'X)$ , $\beta$ এবং $\sigma$ , একটি অ তুচ্ছ উপরের উপর আবদ্ধ জন্য একটি সূত্র $\mathrm{E}(R^2)$ *? (ধরে নিলাম মডেলটি ওএলএস দ্বারা অনুমান করা হয়েছিল)।

* আমি ধরে নিয়েছি, এটি লিখেছিলাম যে $E(R^2)$ নিজেই সম্ভব হবে না।

EDIT1

স্টাফেন লরেন্ট দ্বারা উত্পন্ন দ্রবণটি ব্যবহার করে (নীচে দেখুন) আমরা উপর একটি তুচ্ছ ওভার বেঁধে পেতে পারি $E(R^2)$ । কিছু সংখ্যাসূচক সিমুলেশন (নীচে) দেখায় যে এই সীমাটি আসলে বেশ শক্ত।

স্টাফেন লরেন্ট নিম্নলিখিত উত্পন্ন: $R^2\sim\mathrm{B}(p-1,n-p,\lambda)$ যেখানে $\mathrm{B}(p-1,n-p,\lambda)$ অ-কেন্দ্রীভূত প্যারামিটার সহ একটি অ-কেন্দ্রীয় বিটা বিতরণ $\lambda$ সহ

λ = \frac{| | X^{'} β - E (X)^{'} β 1_{n} | |^{2}}{σ^{2}}

$\lambda=\frac{||X'\beta-\mathrm{E}(X)'\beta1_n||^2}{\sigma^2}$

সুতরাং

E (R^{2}) = E (\frac{χ_{p - 1}^{2} (λ)}{χ_{p - 1}^{2} (λ) + χ_{n - p}^{2}}) \geq \frac{E (χ_{p - 1}^{2} (λ))}{E (χ_{p - 1}^{2} (λ)) + E (χ_{n - p}^{2})}

$\mathrm{E}(R^2)=\mathrm{E}\left(\frac{\chi^2_{p-1}(\lambda)}{\chi^2_{p-1}(\lambda)+\chi^2_{n-p}}\right)\geq\frac{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)}{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)+\mathrm{E}\left(\chi^2_{n-p}\right)}$

যেখানে হ'ল একটি কেন্দ্রিয় যার সাথে প্যারামিটার এবং ডিগ্রি স্বাধীনতা রয়েছে। সুতরাং জন্য একটি তুচ্ছ ত্রিভুজ বাউন্ড হয় $\chi^2_{k}(\lambda)$ $\chi^2$ $\lambda$ $k$ $\mathrm{E}(R^2)$

\frac{λ + p - 1}{λ + n - 1}

$\frac{\lambda+p-1}{\lambda+n-1}$

এটি খুব আঁটসাঁট (আমি যা আশা করেছিলাম তার চেয়ে অনেক বেশি শক্ত হওয়া সম্ভব হবে):

উদাহরণস্বরূপ, ব্যবহার করে:

rho<-0.75
p<-10
n<-25*p
Su<-matrix(rho,p-1,p-1)
diag(Su)<-1
su<-1
set.seed(123)
bet<-runif(p)

গড় 1000 সিমিউলেশন হয় । উপরের তাত্ত্বিক উপরের আবদ্ধ দেয় । টির অনেকগুলি মানকে সমানভাবে সুনির্দিষ্ট বলে মনে হচ্ছে । সত্যিই অবাক! $R^2$ 0.9608190.9609081 $R^2$

EDIT2:

আরো গবেষণার পর মনে হচ্ছে, যে ঊর্ধ্বসীমা পড়তা মান ভাল হিসাবে পাবেন বাড়ে (এবং সব অন্য সমান সঙ্গে বাড়ে )। $E(R^2)$ $\lambda+p$ $\lambda$ $n$

linear-model expected-value

— user603
সূত্র

এর কেবলমাত্র

এবং

উপর নির্ভর করে পরামিতিগুলির সাথে একটি বিটা বিতরণ রয়েছে। না?

R^{2}

$R^2$

n

$n$

p

$p$

— স্টাফেন লরেন্ট

ওওপ্পস দুঃখিত, আমার আগের দাবিটি কেবল "নাল মডেল" (কেবলমাত্র বিরতি) এর অনুমানের অধীনে সত্য। অন্যথায়

বিতরণটি অজানা প্যারামিটারগুলির সাথে জড়িত একটি কেন্দ্রীভূত প্যারামিটার সহ একটি কেন্দ্রহীন বিটা বিতরণের মতো কিছু হওয়া উচিত।

R^{2}

$R^2$

— স্টাফেন লরেন্ট

@ স্টাফেনলরেন্ট: ধন্যবাদ আপনি কি অজানা প্যারামিটার এবং বিটার পরামিতিগুলির মধ্যে সম্পর্ক সম্পর্কে আরও জানতে পারবেন? আমি আটকে আছি, সুতরাং যে কোনও পয়েন্টারটি স্বাগতম! ...

— ব্যবহারকারী 60

আপনার কি

সাথে ডিল করার দরকার আছে ? সম্ভবত

জন্য একটি সাধারণ সঠিক সূত্র রয়েছে ।

E [R^{2}]

$E[R^2]$

E [R^{2} / (1 - R^{2})]

$E[R^2/(1-R^2)]$

— স্টাফেন লরেন্ট

আমার উত্তরের স্বরলিপিগুলির সাথে,

কিছু স্কেলার

এবং অ কেন্দ্রিক

বিতরণের প্রথম মুহুর্তটি সহজ।

R^{2} / (1 - R^{2}) = k F

$R^2/(1-R^2) = k F$

k

$k$

F

$F$

— স্টাফেন লরেন্ট

কোন রৈখিক মডেল লিখিত যাবে যেখানে উপর আদর্শ সাধারন বন্টনের হয়েছে এবং একটি রৈখিক subspace অন্তর্গত বলে ধরা হয় এর । আপনার ক্ষেত্রে । $\boxed{Y=\mu+\sigma G}$ $G$ $\mathbb{R}^n$ $\mu$ $W$ $\mathbb{R}^n$ $W=\text{Im}(X)$

যাক এক-মাত্রিক রৈখিক subspace ভেক্টর দ্বারা উত্পন্ন হতে । গ্রহণ নীচে অত্যন্ত শাস্ত্রীয় ফিশার পরিসংখ্যাত সঙ্গে সম্পর্কযুক্ত $[1] \subset W$ $(1,1,\ldots,1)$ $U=[1]$ $R^2$ অনুমান পরীক্ষার জন্যযেখানেএকটি রৈখিক subspace, এবং বাচক এর লম্ব সম্পূরকমধ্যে, এবং বাচকএবং

F = \frac{{‖ P_{Z} Y ‖}^{2} / (m - ℓ)}{{‖ P_{W}^{⊥} Y ‖}^{2} / (n - m)},

$F = \frac{{\Vert P_Z Y\Vert}^2/(m-\ell)}{{\Vert P_W^\perp Y\Vert}^2/(n-m)},$

H_{0} : {μ \in U}

$H_0\colon\{\mu \in U\}$

U \subset W

$U\subset W$

Z = U^{⊥} \cap W

$Z=U^\perp \cap W$

U

$U$

W

$W$

m = \dim (W)

$m=\dim(W)$

ℓ = \dim (U)

$\ell=\dim(U)$ (তারপরে

আপনার পরিস্থিতিতে

এবং

)।

m = p

$m=p$

ℓ = 1

$\ell=1$

আসলে, কারণ সংজ্ঞাহয়

\frac{{‖ P_{Z} Y ‖}^{2}}{{‖ P_{W}^{⊥} Y ‖}^{2}} = \frac{R^{2}}{1 - R^{2}}

$\dfrac{{\Vert P_Z Y\Vert}^2}{{\Vert P_W^\perp Y\Vert}^2} = \frac{R^2}{1-R^2}$

R^{2}

$R^2$

R^{2} = \frac{{‖ P_{Z} Y ‖}^{2}}{{‖ P_{U}^{⊥} Y ‖}^{2}} = 1 - \frac{{‖ P_{W}^{⊥} Y ‖}^{2}}{{‖ P_{U}^{⊥} Y ‖}^{2}} .

$R^2 = \frac{{\Vert P_Z Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}=1 - \frac{{\Vert P^\perp_W Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}.$

Obviously $\boxed{P_Z Y = P_Z \mu + \sigma P_Z G}$ and $\boxed{P_W^\perp Y = \sigma P_W^\perp G}$ .

When $H_0\colon\{\mu \in U\}$ is true then $P_Z \mu = 0$ and therefore

F = \frac{{‖ P_{Z} G ‖}^{2} / (m - ℓ)}{{‖ P_{W}^{⊥} G ‖}^{2} / (n - m)} \sim F_{m - ℓ, n - m}

$F = \frac{{\Vert P_Z G\Vert}^2/(m-\ell)}{{\Vert P_W^\perp G\Vert}^2/(n-m)} \sim F_{m-\ell,n-m}$ has the Fisher

F_{m - ℓ, n - m}

$F_{m-\ell,n-m}$ distribution. Consequently, from the classical relation between the Fisher distribution and the Beta distribution,

R^{2} \sim B (m - ℓ, n - m)

$R^2 \sim {\cal B}(m-\ell, n-m)$ .

In the general situation we have to deal with $P_Z Y = P_Z \mu + \sigma P_Z G$ when $P_Z\mu \neq 0$ . In this general case one has ${\Vert P_Z Y\Vert}^2 \sim \sigma^2\chi^2_{m-\ell}(\lambda)$ , the noncentral $\chi^2$ distribution with $m-\ell$ degrees of freedom and noncentrality parameter $\boxed{\lambda=\frac{{\Vert P_Z \mu\Vert}^2}{\sigma^2}}$ , and then $\boxed{F \sim F_{m-\ell,n-m}(\lambda)}$ (noncentral Fisher distribution). This is the classical result used to compute power of $F$ -tests.

The classical relation between the Fisher distribution and the Beta distribution hold in the noncentral situation too. Finally $R^2$ has the noncentral beta distribution with "shape parameters" $m-\ell$ and $n-m$ and noncentrality parameter $\lambda$ . I think the moments are available in the literature but they possibly are highly complicated.

Finally let us write down $P_Z\mu$ . Note that $P_Z = P_W - P_U$ . One has $P_U \mu = \bar\mu 1$ when $U=[1]$ , and $P_W \mu = \mu$ . Hence $P_Z \mu =\mu - \bar\mu 1$ where here $\mu=X\beta$ for the unknown parameters vector $\beta$ .

— Stéphane Laurent
সূত্র

P_{Z} x

$P_Z x$ is the orthogoanl projection of

x

$x$ on the linear subspace

Z

$Z$ . And

P^{⊥}

$P^\perp$ denotes projection on the orthogonal.

— Stéphane Laurent

Beware of

P x \neq ‖ P x ‖^{2}

$Px \neq \Vert P x \Vert^2$ . I'm going to edit my post to write the formulas.

— Stéphane Laurent

Done - do you see any simplification ?

— Stéphane Laurent

\bar{μ} = \frac{1}{n} \sum μ_{i}

$\bar \mu = \frac{1}{n} \sum \mu_i$

— Stéphane Laurent

Type I, obviously: type II are distributed on

(0, \infty)

$(0, \infty)$ . Actually

R^{2} / (1 - R^{2})

$R^2/(1-R^2)$ has the type II distribution. I have done the last corrections for today.

— Stéphane Laurent

আর-স্কোয়ারের শর্তসাপেক্ষ প্রত্যাশা

EDIT1

EDIT2: