সামঞ্জস্য বজায় রাখতে আমাদের কেন একটি অনুমানকারী প্রয়োজন?

Question

আমি মনে করি, আমি ইতিমধ্যে একটি সামঞ্জস্যপূর্ণ অনুমানকারীর গাণিতিক সংজ্ঞাটি বুঝতে পেরেছি। আমি ভুল হলে শুধরে:

$W_n$$\theta$ যদি ∀ ϵ > 0 এর জন্য একটি সামঞ্জস্যপূর্ণ অনুমানকারী$\forall \epsilon>0$

$$\lim_{n\to\infty} P(|W_n - \theta|> \epsilon) = 0, \quad \forall\theta \in \Theta$$

কোথায় $\Theta$ প্যারামেত্রিক স্থান। তবে আমি ধারাবাহিক হওয়ার জন্য কোনও অনুমানের প্রয়োজনটি বুঝতে চাই। সামঞ্জস্যপূর্ণ নয় এমন একটি অনুমানকারী কেন খারাপ? আপনি আমাকে কিছু উদাহরণ দিতে পারেন?

আমি আর বা পাইথনে সিমুলেশন গ্রহণ করি।

Comments

একটি অনুমানকারী যা সামঞ্জস্যপূর্ণ নয় সবসময় খারাপ হয় না। উদাহরণস্বরূপ একটি বেমানান তবে পক্ষপাতহীন অনুমানকারী হিসাবে নিন। সঙ্গতিপূর্ণভাবে মূল্নির্ধারক উইকিপিডিয়ার শিরোনামের প্রবন্ধ দেখো en.wikipedia.org/wiki/Consistent_estimator , বায়াস সমন্নয় বনাম উপর বিশেষ করে অধ্যায়

— compbiostats

ধারাবাহিকতা মোটামুটি একটি অনুমানকারকের একটি অনুকূল অসম্পূর্ণ আচরণ বলে। আমরা একটি মূল্নির্ধারক যার প্রকৃত মূল্য পন্থা পছন্দ করে দীর্ঘ রান। যেহেতু এটি সম্ভাবনার মধ্যে কেবল অভিব্যক্তি , তাই এই থ্রেডটি সহায়ক হতে পারে: stats.stackexchange.com/questions/134701/… । $\theta$

— জেদীআটম

@ স্টাবর্ন অ্যাটম, আমি এই ধরণের ধারাবাহিক অনুমানকারীকে "অনুকূল" বলতে আগ্রহী, কারণ এই শব্দটি সাধারণত অনুমানকারীদের জন্য সংরক্ষিত থাকে যা কিছুটা অর্থে দক্ষও হয়।

— ক্রিস্টোফ হ্যাঙ্ক

Answer 1

যদি অনুমানকারীটি সামঞ্জস্যপূর্ণ না হয় তবে এটি সম্ভাবনার সত্যিকারের মানে রূপান্তর করবে না । অন্য কথায়, সর্বদা একটি সম্ভাবনা থাকে যে আপনার অনুমানক এবং সত্য মানের একটি পার্থক্য থাকবে, আপনার যতগুলি ডেটা পয়েন্টই নেই matter এটি আসলে খারাপ কারণ এমনকি যদি আপনি ডাটা অপরিমেয় পরিমাণ সংগ্রহ, আপনার অনুমান সবসময় কিছু হচ্ছে একটা ইতিবাচক সম্ভাবনা থাকবে হয়, $\epsilon>0$ সত্য মান থেকে আলাদা। ব্যবহারিকভাবে, আপনি এই পরিস্থিতিটি বিবেচনা করতে পারেন যেমন আপনি এমন একটি পরিমাণের প্রাকদর্শক ব্যবহার করছেন যে এমনকি সমস্ত জনসংখ্যার জরিপ করা, এটির একটি ছোট নমুনার পরিবর্তে, আপনাকে সাহায্য করবে না।

Answer 2

এন = 10 বিবেচনা করুন$n = 10\,000$স্ট্যান্ডার্ড কচী বিতরণ থেকে 000 টি পর্যবেক্ষণ, যা 1 ডিগ্রির স্বাধীনতার সাথে শিক্ষার্থীর টি বিতরণের সমান। এই বিতরণের লেজগুলি যথেষ্ট ভারী যে এর কোনও অর্থ নেই; বিতরণটি তার মাঝারি η = 0 তে কেন্দ্রীভূত ।$\eta = 0.$

নমুনার ক্রম মানে $A_j = \frac 1j \sum_{i=1}^j X_i$কচী বিতরণের কেন্দ্রের জন্য সামঞ্জস্যপূর্ণ নয়। মোটামুটিভাবে বলতে গেলে, অসুবিধাটি হ'ল চূড়ান্ত পর্যবেক্ষণগুলি$X_i$(ধনাত্মক বা নেতিবাচক) পর্যাপ্ত নিয়মিততার সাথে ঘটে যে$A_j$$\eta = 0.$তে রূপান্তরিত হওয়ারকোনও সম্ভাবনা নেই।($A_j$কেবলরূপান্তর করতেধীর নয়, তারা ডান ' টি কখনও রূপান্তরিত হয় না।$A_j$বিতরণআবার স্ট্যান্ডার্ড কচী [প্রমাণ]।

বিপরীতে একটি ধারাবাহিক স্যাম্পলিং প্রক্রিয়ায় যে কোনো একটি পদে পদে, পর্যবেক্ষণ ঘটনায় প্রায় অর্ধেক $X_i$ উভয় দিকে থাকবে $\eta,$ যাতে ক্রম $H_j$ নমুনা মধ্যমা এর মিলিত পারবে না $\eta.$

$A_j$ রূপান্তর এবং $H_j$ রূপান্তরটির অভাব নিম্নলিখিত সিমুলেশন দ্বারা চিত্রিত হয়েছে।

set.seed(2019)  # for reproducibility
n = 10000;  x = rt(n, 1);  j = 1:n
a = cumsum(x)/j
h = numeric(n)
for (i in 1:n) {
  h[i] = median(x[1:i])  } 
par(mfrow=c(1,2))
 plot(j,a, type="l", ylim=c(-5,5), lwd=2,
    main="Trace of Sample Mean")
  abline(h=0, col="green2")
  k = j[abs(x)>1000] 
  abline(v=k, col="red", lty="dotted")
 plot(j,h, type="l", ylim=c(-5,5), lwd=2,
     main="Trace of Sample Median")
  abline(h=0, col="green2") 
par(mfrow=c(1,1))

পদক্ষেপের একটি তালিকা এখানে $|X_i| > 1000.$ আপনি বাম দিকে (উল্লম্ব লাল বিন্দুযুক্ত রেখায়) প্লটে চলমান গড়ের উপর এই কয়েকটি চরম পর্যবেক্ষণের প্রভাব দেখতে পারেন।

k = j[abs(x)>1000]
rbind(k, round(x[k]))
   [,1] [,2] [,3]  [,4] [,5]  [,6]   [,7]  [,8]
k   291  898 1293  1602 2547  5472   6079  9158
  -5440 2502 5421 -2231 1635 -2644 -10194 -3137

অনুমানের ক্ষেত্রে গুরুত্বপূর্ণ ধারাবাহিকতা: কাউচি জনসংখ্যার থেকে নমুনার ক্ষেত্রে, এন = 10 এর নমুনার নমুনার গড়$n = 10\,000$ পর্যবেক্ষণ কেন্দ্র আনুমানিক হিসাব জন্য কোন উত্তম$\eta$ মাত্র এক পর্যবেক্ষণ করে। বিপরীতে, সামঞ্জস্যপূর্ণ নমুনা মাঝারিটি$\eta,$ রূপান্তর করে , তাই বৃহত্তর নমুনাগুলি আরও ভাল অনুমান করে।

Comments

কিছুটা নিতপিকিং করা, তবে আপনার সিমুলেশনটি নমুনার ব্যর্থতাটিকে প্রায় নিশ্চিতভাবেই রূপান্তরিত করার অর্থ বোঝায়, সম্ভবত সম্ভাব্যতায় নয়, কচির কেন্দ্রের দিকে (শক্তিশালী বনাম দুর্বল ধারাবাহিকতা)।

— আলেসিং

Answer 3

ধারাবাহিকতা সম্পর্কে চিন্তা করা কেন গুরুত্বপূর্ণ তা উদাহরণের একটি খুব সহজ উদাহরণ, যা আমি মনে করি না যে যথেষ্ট মনোযোগ পায়, এটি একটি অতি-সরল মডেল।

একটি তাত্ত্বিক উদাহরণ হিসাবে ধরা যাক আপনি কিছু ডেটাতে লিনিয়ার রিগ্রেশন মডেল ফিট করতে চেয়েছিলেন, যার আসল প্রভাবগুলি আসলে অ-রৈখিক ছিল। তারপরে আপনার ভবিষ্যদ্বাণীগুলি কোভারিয়েটগুলির সমস্ত সংমিশ্রণের জন্য সত্যিকারের গড়ের জন্য সামঞ্জস্যপূর্ণ হতে পারে না , তবে আরও নমনীয় হতে পারে। অন্যের শব্দগুলিতে, সরলিকৃত মডেলটিতে এমন ত্রুটি থাকবে যা আরও ডেটা ব্যবহার করে কাটিয়ে উঠতে পারে না।

Comments

$y_i=\hat{y}_i+\hat{e}_i$

Answer 4

@ ব্রুসেট ইতিমধ্যে একটি দুর্দান্ত প্রযুক্তিগত উত্তর দিয়েছে, তবে আমি যদিও এর ব্যাখ্যার বিষয়ে একটি বক্তব্য যুক্ত করতে চাই।

One of the fundamental concepts in statistics is that as our sample size increases, we can reach more precise conclusions about our underlying distribution. You could think of it as the notion that taking lots of samples eliminates the random jitter in the data, so we get a better notion of the underlying structure.

এই শিরা উপপাদ্যগুলির উদাহরণ প্রচুর পরিমাণে, তবে সর্বাধিক সুপরিচিত হ'ল লার্জ নম্বরের আইন, জোর দিয়ে যে আমাদের যদি আইআইডি র‌্যান্ডম ভেরিয়েবলের একটি পরিবার থাকে if $(X_i)_{i\in\mathbb{N}} \ $ এবং $\mathbb{E}[X_1] < \infty$তাহলে

$$\frac{1}{n} \sum_{k = 1}^n X_k \rightarrow \mathbb{E}[X] \ \ \ \text{a.s.}$$

Now, to require an estimator to be consistent is to demand that it also follows this rule: As its job is to estimate an unknown parameter, we would like it to converge to that parameter (read: estimate that parameter arbitrarily well) as our sample size tends to infinity.

The equation

$$\lim_{n\to\infty} P(|W_n - \theta|> \epsilon) = 0, \quad \forall\epsilon > 0\ \forall\theta \ \in \Theta$$

is nothing else but convergence in probability of the random variables $W_n$ towards $\theta$, meaning that in some sense, a larger sample will get us closer and closer to the true value.

Now, if you want, you can look at it conversely: If that condition were to fail, then even with infinite sample size, there would be a "corridor" with positive width $[\theta - \varepsilon, \theta + \varepsilon]$ around $\theta$ and a nonzero probability that even with arbitrarily large sample size, our estimator will fall outside that corridor. And that would obviously violate the aforementioned idea, so consistency is a very natural condition on estimators to desire and enforce.