লিনিয়ার মডেলগুলির জন্য ব্লু (ওএলএস সমাধান) ব্যতীত অন্য পক্ষপাতহীন অনুমানকারী

রৈখিক মডেলের জন্য ওএলএস দ্রবণটি পরামিতিগুলির জন্য সর্বোত্তম রৈখিক নিরপেক্ষ अनुमानক সরবরাহ করে।

অবশ্যই আমরা নিম্ন বৈকল্পিকের জন্য পক্ষপাতের সাথে ব্যবসা করতে পারি, যেমন রিজ রিগ্রেশন। তবে আমার প্রশ্নটি কোনও পক্ষপাতিত্ব না হওয়া সম্পর্কিত regarding কিছু অন্যান্য অনুমানক রয়েছে যা কিছুটা সাধারণভাবে ব্যবহৃত হয়, যা নিরপেক্ষ তবে ওএলএস অনুমান পরামিতিগুলির চেয়ে উচ্চতর বৈকল্পিক সহ?

যদি আমার কাছে একটি বিশাল ডেটা সেট থাকে আমি অবশ্যই এটির উপ-নমুনা করতে পারি এবং কম ডেটা সহ পরামিতিগুলি অনুমান করতে পারি এবং বৈচিত্রটি বাড়িয়ে তুলি। আমি ধরে নিই এটি অনুমানমূলকভাবে কার্যকর হতে পারে।

এটি একটি অলঙ্কৃত প্রশ্নটির বেশি, কারণ যখন আমি ব্লু অনুমানকারী সম্পর্কে পড়েছি, তখন এর চেয়ে খারাপ বিকল্প সরবরাহ করা হয় না। আমি অনুমান করি যে খারাপ বিকল্প সরবরাহ করা মানুষকে ব্লু অনুমানকারীগুলির ক্ষমতা আরও ভালভাবে বুঝতে সহায়তা করতে পারে।

— Gumeo
সূত্র

সর্বাধিক সম্ভাবনা অনুমানকারী সম্পর্কে কী? উদাহরণস্বরূপ আপনি যদি ভাবেন যে আপনার ডেটা তুলনামূলকভাবে কম ডিগ্রি সহ স্বাধীনতা প্যারামিটার (

বা

আর্থিক রিটার্নের বৈশিষ্ট্যযুক্ত

সাথে

বিতরণ থেকে নমুনা তৈরি করা হয় তবে সর্বাধিক সম্ভাবনা অনুমানকারী ওএলএসের সাথে মিলবে না তবে আমার ধারণা এটি এখনও পক্ষপাতহীন হবে।

t

$t$

t (3)

$t(3)$

t (4)

$t(4)$

— রিচার্ড হার্ডি

প্রাসঙ্গিক: andrewgelman.com/2015/05/11/…

— কেজেটিল বি হালওয়ারসেন

রিচার্ড হার্দি, আপনি প্রত্যাশিত ফলাফল নিয়ে আমিও এমএলই চেষ্টা করেছিলাম।

— ক্রিস্টোফ হ্যাঙ্ক

একটি উদাহরণ যা মাথায় আসে তা হ'ল কিছু জিএলএস অনুমানকারী যা পর্যবেক্ষণকে আলাদাভাবে ওজন দেয় যদিও গাউস-মার্কভ অনুমানগুলি পূরণ করা হলে এটি প্রয়োজন হয় না (যা পরিসংখ্যানবিদ সম্ভবত এটি ক্ষেত্রে জানেন না এবং তাই এখনও প্রয়োগ করতে পারেন GLS)।

একটি রিগ্রেশন ক্ষেত্রে বিবেচনা $y_i$ , $i=1,\ldots,n$ চিত্রণ জন্য একটি ধ্রুবক উপর (নির্দ্ধিধায় সাধারণ GLS estimators করার সাধারণীকরণ)। এখানে, $\{y_i\}$ গড় $\mu$ এবং বৈকল্পিক $\sigma^2$ সহ একটি জনসংখ্যার থেকে এলোমেলো নমুনা হিসাবে ধরে নেওয়া হয় ।

এর পরে, আমরা জানি যে OLS ঔজ্জ্বল্যের প্রেক্ষাপটে ঠিক হয় , নমুনা গড়। পয়েন্ট জোরালো করতে প্রতিটি পর্যবেক্ষণ ওজনের পরিমেয় হয় , যেমন এই লিখতে $\hat\beta=\bar y$ $1/n$

\hat{β} = Σ_{i = 1}^{এন} \frac{1}{এন} Y_{আমি} ।

$\hat\beta=\sum_{i=1}^n\frac{1}{n}y_i.$ এটা তোলে সুপরিচিত যে

V a r (\hat{β}) = σ^{2} / n

$Var(\hat\beta)=\sigma^2/n$ ।

এখন, আরেকটি অনুমানকারী বিবেচনা করুন যা

\tilde{β} = \sum_{i = 1}^{n} w_{i} y_{i},

$\tilde\beta=\sum_{i=1}^nw_iy_i,$ হিসাবে লেখা যেতে পারে

যেখানে ওজন এমন

\sum_{i} w_{i} = 1

$\sum_iw_i=1$ । এটি নিশ্চিত করে যে মূল্নির্ধারক পক্ষপাতিত্বহীন, যেমন হয়

E (\sum_{i = 1}^{n} w_{i} y_{i}) = \sum_{i = 1}^{n} w_{i} E (y_{i}) = \sum_{i = 1}^{n} w_{i} μ = μ .

$E\left(\sum_{i=1}^nw_iy_i\right)=\sum_{i=1}^nw_iE(y_i)=\sum_{i=1}^nw_i\mu=\mu.$

w_{i} = 1 / n

$w_i=1/n$

i

$i$

\begin{aligned} L & = V (\tilde{β}) - λ (\sum_{i} w_{i} - 1) \\ = \sum_{i} w_{i}^{2} σ^{2} - λ (\sum_{i} w_{i} - 1), \end{aligned}

$\begin{align*} L&=V(\tilde\beta)-\lambda\left(\sum_iw_i-1\right)\\ &=\sum_iw_i^2\sigma^2-\lambda\left(\sum_iw_i-1\right), \end{align*}$

w_{i}

$w_i$

2 σ^{2} w_{i} - λ = 0

$2\sigma^2w_i-\lambda=0$

i

$i$

\partial L / \partial λ = 0

$\partial L/\partial\lambda=0$

\sum_{i} w_{i} - 1 = 0

$\sum_iw_i-1=0$ . Solving the first set of derivatives for

λ

$\lambda$ and equating them yields

w_{i} = w_{j}

$w_i=w_j$ , which implies

w_{i} = 1 / n

$w_i=1/n$ minimizes the variance, by the requirement that the weights sum to one.

Here is a graphical illustration from a little simulation, created with the code below:

EDIT: In response to @kjetilbhalvorsen's and @RichardHardy's suggestions I also include the median of the $y_i$ , the MLE of the location parameter pf a t(4) distribution (I get warnings that In log(s) : NaNs produced that I did not check further) and Huber's estimator in the plot.

We observe that all estimators seem to be unbiased. However, the estimator that uses weights $w_i=(1\pm\epsilon)/n$ যেমন নমুনার অর্ধেকের জন্য ওজন বেশি পরিবর্তনশীল, তেমনি মিডিয়ান, টি-ডিস্ট্রিবিউশনের এমএলই এবং হুবারের অনুমানকারী (পরে কিছুটা সামান্য তাই এখানেও দেখুন )।

যে তিনটি ওএলএস সমাধান দ্বারা দক্ষ হয়ে উঠেছে তা অবিলম্বে নূন্য সম্পত্তি দ্বারা নিহিত নয় (কমপক্ষে আমার কাছে নয়), কারণ তারা লিনিয়ার অনুমানকারী কিনা তা স্পষ্ট নয় (এমএলই এবং হুবার পক্ষপাতহীন কিনা তাও আমি জানি না)।

library(MASS)
n <- 100      
reps <- 1e6

epsilon <- 0.5
w <- c(rep((1+epsilon)/n,n/2),rep((1-epsilon)/n,n/2))

ols <- weightedestimator <- lad <- mle.t4 <- huberest <- rep(NA,reps)

for (i in 1:reps)
{
  y <- rnorm(n)
  ols[i] <- mean(y)
  weightedestimator[i] <- crossprod(w,y)  
  lad[i] <- median(y)   
  mle.t4[i] <- fitdistr(y, "t", df=4)$estimate[1]
  huberest[i] <- huber(y)$mu
}

plot(density(ols), col="purple", lwd=3, main="Kernel-estimate of density of OLS and other estimators",xlab="")
lines(density(weightedestimator), col="lightblue2", lwd=3)     
lines(density(lad), col="salmon", lwd=3)     
lines(density(mle.t4), col="green", lwd=3)
lines(density(huberest), col="#949413", lwd=3)
abline(v=0,lty=2)
legend('topright', c("OLS","weighted","median", "MLE t, 4 df", "Huber"), col=c("purple","lightblue","salmon","green", "#949413"), lwd=3)

— ক্রিস্টোফ হ্যাঙ্ক
সূত্র

ঝরঝরে! আমি মনে করি এটি একটি খুব সাধারণ উদাহরণস্বরূপ উদাহরণ, আমি যেটির সাথে এসেছি তার চেয়ে সামান্য সাধারণ। লোকেরা যখন ঘন ঘন মন্ডিত স্থাপনায় অনুমানকারী সম্পর্কে শিখছে তখন আমি অনুভব করি যে এই ধরণের উদাহরণগুলি প্রায়শই অনুপস্থিত থাকে, তারা সত্যই আপনাকে ধারণাটির আরও ভাল উপলব্ধি পেতে সহায়তা করে।

— গুমেও

আর একটি সম্ভাবনা হ'ল (শক্তিশালী) অনুমানকারী যেমন কোনও মানদণ্ড হ্রাস করার উপর ভিত্তি করে

W = \sum_{i = 1}^{n} w (e_{i})

$W=\sum_{i=1}^n w(e_i)$ কোথায়

e_{i}

$e_i$ ith অবশিষ্টাংশ এবং

w

$w$ কিছু বৈকল্পিক ক্রিয়াকলাপ, উত্তল বা নন-উত্তল, (গ্লোবাল) সর্বনিম্ন 0,

w (0) = 0

$w(0)=0$ । হুবার প্রাক্কলনকারী একটি উদাহরণ হতে পারে।

— কেজেটিল বি হালওয়ারসেন

@ কেজেটিভালভর্সেন, আমি এখন হুবারের প্রাক্কলনকারীকেও অন্তর্ভুক্ত করছি, যা আসলে পরিবর্তিতভাবে ভাল করে।

— ক্রিস্টোফ হ্যাঙ্ক