রিগ্রেশন এফ পরীক্ষার শক্তি কী?

11

মাল্টলাইনারি রিগ্রেশনে ভেরিয়েবলের সাবসেটের জন্য ক্লাসিকাল এফ-টেস্টের যেখানে হল 'হ্রাস' মডেলের অধীনে স্কোয়ার ত্রুটির সমষ্টি, যা 'বিগ' মডেল ভিতরে বাসা বাঁধে , এবং হ'ল স্বাধীনতার ডিগ্রি দুটি মডেল। নাল অনুমানের অধীনে যে 'বড়' মডেলের অতিরিক্ত ভেরিয়েবলগুলির কোনও রৈখিক ব্যাখ্যামূলক শক্তি নেই, পরিসংখ্যানকে এবং স্বাধীনতার ডিগ্রি সহ এফ হিসাবে বিতরণ করা হয় ।

F = \frac{(SSE (R) - SSE (B)) / (d f_{R} - d f_{B})}{SSE (B) / d f_{B}},

$F = \frac{(\mbox{SSE}(R) - \mbox{SSE}(B))/(df_R - df_B)}{\mbox{SSE}(B)/df_B},$

SSE (R)

$\mbox{SSE}(R)$

B

$B$

d f

$df$

d f_{R} - d f_{B}

$df_R - df_B$

d f_{B}

$df_B$

বিকল্পের অধীনে বিতরণ কী? আমি ধরে নিলাম এটি একটি অ-কেন্দ্রীয় এফ (আমি আশা করি দ্বিগুণ অ-কেন্দ্রীভূত হবে না) তবে নন-সেন্ট্রালটি প্যারামিটারটি ঠিক কী সে সম্পর্কে আমি কোনও রেফারেন্স পাই না। আমি অনুমান করতে যাচ্ছি এটি সত্যিকারের রিগ্রেশন সহগ এবং সম্ভবত ডিজাইনের ম্যাট্রিক্স উপর নির্ভর করে তবে এর বাইরে আমি এতটা নিশ্চিত নই। $\beta$ $X$

— shabbychef
সূত্র

9

অ-কেন্দ্রিকতা প্যারামিটারটি হ'ল , সীমাবদ্ধ মডেলের প্রজেকশনটি হল , হ'ল সত্য প্যারামিটারের ভেক্টর, হ'ল সীমাহীন (সত্য) মডেলের ডিজাইন ম্যাট্রিক্স,আদর্শ: $\delta^{2}$ $P_{r}$ $\beta$ $X$ $|| x ||$

δ^{2} = \frac{| | X β - P_{r} X β | |^{2}}{σ^{2}}

$\delta^{2} = \frac{|| X \beta - P_{r} X \beta ||^{2}}{\sigma^{2}}$

আপনি মত এই সূত্র পড়তে পারেন: প্রত্যাশিত মান নকশা ম্যাট্রিক্স উপর শর্তাধীন ভেক্টর হয় । আপনি আচরণ যদি একটি গবেষণামূলক তথ্য বাহক হিসেবে , তারপর সীমাবদ্ধ মডেল subspace হয় সম্মুখের তার অভিক্ষেপ , যা আপনি ভবিষ্যদ্বাণী দেয় বলেছেন, "তথ্য" জন্য সীমাবদ্ধ মডেল থেকে। ফলে, অনুরূপ $E(y | X) = X \beta$ $X$ $X \beta$ $y$ $P_{r} X \beta$ $\hat{y}$ $X \beta - P_{r} X \beta$ $y - \hat{y}$ এবং আপনাকে সেই পূর্বাভাসের ত্রুটি দেয়। অতএব ত্রুটিটির স্কোয়ারের যোগফল দেয়। তাহলে সীমাবদ্ধ মডেল সত্য হয় তাহলে ইতিমধ্যে subspace দ্বারা সংজ্ঞায়িত মধ্যে , এবং , যেমন যে noncentrality প্যারামিটার । $|| X \beta - P_{r} X \beta ||^{2}$ $X \beta$ $X_{r}$ $P_{r} X \beta = X \beta$ $0$

আপনার এটি মার্ডিয়া, কেন্ট এবং বিবিতে পাওয়া উচিত। (1980)। বহুচলকীয় বিশ্লেষণ.

— বন্য বিড়ালবিশেষ
সূত্র

মহান! আদর্শটি কি স্কোয়ার করা উচিত? নাহলে মনে হচ্ছে ইউনিট গুলো কি ব্যাপার? আপনি বলছেন এটি 'স্কোয়ারের যোগফল', তাই আমার মনে হয় এটি সাধারণ বর্গক্ষেত্র ..

— শাব্বিচেফ

@ শ্যাববিচেফ অবশ্যই আপনি ঠিক বলেছেন, তা ধরার জন্য ধন্যবাদ!

— করাকাল

7

δ^{2} = \frac{| | X β_{1} - X β_{2} | |^{2}}{σ^{2}},

$\delta^2 = \frac{||X\beta_1 - X\beta_2||^2}{\sigma^2},$

কি স্বাভাবিক হওয়া উচিত তা অনুভবের সিডিএফ

এখানে আর কোড রয়েছে (স্টাইল ক্ষমা করুন, আমি এখনও শিখছি):

#sum of squares
sum2 <- function(x) { return(sum(x * x)) }
#random integer between n and 2n
rint <- function(n) { return(ceiling(runif(1,min=n,max=2*n))) }
#generate random instance from linear model plus noise.
#n observations of p2 vector
#regress against all variables and against a subset of p1 of them
#compute the F-statistic for the test of the p2-p1 marginal variables
#compute the p-value under the putative non-centrality parameter
gend <- function(n,p1,p2,sig = 1) {
 beta2 <- matrix(rnorm(p2,sd=0.1),nrow=p2)
 beta1 <- matrix(beta2[1:p1],nrow=p1)
 X <- matrix(rnorm(n*p2),nrow=n,ncol=p2)
 yt1 <- X[,1:p1] %*% beta1
 yt2 <- X %*% beta2
 y <- yt2 + matrix(rnorm(n,mean=0,sd=sig),nrow=n)
 ncp <- (sum2(yt2 - yt1)) / (sig ** 2)
 bhat2 <- lm(y ~ X - 1)
 bhat1 <- lm(y ~ X[,1:p1] - 1)
 SSE1 <- sum2(bhat1$residual)
 SSE2 <- sum2(bhat2$residual)
 df1 <- bhat1$df.residual
 df2 <- bhat2$df.residual
 Fstat <- ((SSE1 - SSE2) / (df1 - df2)) / (SSE2 / bhat2$df.residual)
 pval <- pf(Fstat,df=df1-df2,df2=df2,ncp=ncp)
 return(pval)
}
#call the above function, but randomize the problem size (within reason)
genr <- function(n,p1,p2,sig=1) {
 use.p1 <- rint(p1)
 use.p2 <- use.p1 + rint(p2 - p1)
 return(gend(n=rint(n),p1=use.p1,p2=use.p2,sig=sig+runif(1)))
}
ntrial <- 4096
ssize <- 256
z <- replicate(ntrial,genr(ssize,p1=4,p2=10))
plot(ecdf(z))

— shabbychef
সূত্র

2

কোড সহ ফলোআপের জন্য +1 সর্বদা এটি দেখতে ভাল।

— এমপিক্টাস