এমএলই মধ্যমতার পক্ষপাতদুষ্ট প্রাক্কলন উত্পাদন করে এমন কোনও উদাহরণ আছে?


17

আপনি কি পক্ষপাতদুষ্ট গড়ের কোনও এমএলই অনুমানের উদাহরণ সরবরাহ করতে পারেন?

আমি এমন কোনও উদাহরণ খুঁজছি না যা নিয়মিততার শর্ত লঙ্ঘন করে সাধারণভাবে এমএলই অনুমানকারীদের ভেঙে দেয়।

আমি ইন্টারনেটে যে সমস্ত উদাহরণ দেখতে পাচ্ছি সেগুলি তারতম্যকে বোঝায় এবং আমি এর সাথে সম্পর্কিত কোনও কিছুই খুঁজে পাচ্ছি না।

সম্পাদনা

@ মিশেল হার্দি একটি উদাহরণ সরবরাহ করেছে যেখানে আমরা নির্দিষ্ট প্রস্তাবিত মডেলের অধীনে এমএলই ব্যবহার করে অভিন্ন বিতরণের গড়ের পক্ষপাতিত্বমূলক অনুমান পাই।

যাহোক

https://en.wikipedia.org/wiki/Uniform_distribution_(continuous)#Estimation_of_midpoint

প্রস্তাবিত যে এমএলই হ'ল গড়ের একটি সমান ন্যূনতম পক্ষপাতহীন প্রাক্কলনকারী, অন্য প্রস্তাবিত মডেলের অধীনে clearly

এই মুহুর্তে এটি এখনও আমার কাছে খুব পরিষ্কার নয় যে এমএলই অনুমান বলতে কী বোঝায় যদি এটি খুব অনুমান করা মডেল নির্ভর করে তবে একটি নমুনা গড় অনুমানকারী যা মডেল নিরপেক্ষ বলে বলার বিরোধিতা করে। শেষে আমি জনসংখ্যা সম্পর্কে কিছু অনুমান করতে আগ্রহী এবং হাইপোথাইজড মডেলের কোনও পরামিতি অনুমানের বিষয়ে সত্যই চিন্তা করি না।

সম্পাদনা 2

@ ক্রিসটফহ্যাঙ্ক হিসাবে অতিরিক্ত তথ্য প্রবর্তনের পক্ষপাতিত্ব সহ মডেলটি দেখিয়েছিলেন তবে এমএসই হ্রাস করতে পারেননি।

আমাদের অতিরিক্ত ফলাফলও রয়েছে:

http://www.maths.manchester.ac.uk/~peterf/CSI_ch4_part1.pdf (p61) http://www.cs.tut.fi/~hehu/SSP/lecture6.pdf (স্লাইড 2) http: / /www.stats.ox.ac.uk/~marchini/bs2a/lecture4_4up.pdf (স্লাইড 5)

"যদি সবচেয়ে দক্ষ নিরপেক্ষ অনুমানক ˆθ এর θ উপস্থিত থাকে (যেমন un নিরপেক্ষ থাকে এবং এর বিবর্তনটি সিআরএলবির সমান হয়) তবে অনুমানের সর্বাধিক সম্ভাবনা পদ্ধতি এটি তৈরি করবে।"

"তদতিরিক্ত, যদি কোনও দক্ষ অনুমানকারী উপস্থিত থাকে তবে এটি এমএল অনুমানকারী।"

যেহেতু নিখরচায় মডেল পরামিতিগুলির সাথে এমএলই নিরপেক্ষ এবং দক্ষ, তাই সংজ্ঞা দ্বারা এটি কি "সর্বাধিক সম্ভাবনার অনুমান?

সম্পাদনা 3

গণিত ফোরামে হাফ নরমাল ডিস্ট্রিবিউশনের সাথে অ্যালোকোসপ্যাপাডোপোলসের উদাহরণ রয়েছে।

/math/799954/can-the-maximum-likelihood-estimator-be-unbiased-and-fail-to-achieve-cramer-rao

এটি ইউনিফর্মের ক্ষেত্রে এর মতো কোনও পরামিতি অ্যাঙ্কর করে না। আমি বলব যে এটি স্থির করে, যদিও তিনি গড় অনুমানকারীটির পক্ষপাতিত্ব প্রদর্শন করেন নি।


10
শূন্য এবং থিতায় একটি ইউনিফর্মের গড়।
ক্রিস্টোফ হ্যাঙ্ক

1
"জনসংখ্যা সম্পর্কে কিছু অনুমান করা" এবং "একটি অনুমানযুক্ত মডেলের একটি প্যারামিটার" এর মধ্যে আমি আপনার পার্থক্যটি অনুসরণ করতে পারি না। সমস্ত প্যারাম্যাট্রিক পরিসংখ্যানগুলিতে, আমরা কিছু পরামিতি দ্বারা জনসংখ্যাকে পরামিতি করি। অবশ্যই, আমরা এইভাবে ভুল বানান সম্পর্কিত বিষয়গুলি চালাতে পারি, তবে এটি হাতে থাকা বিষয়টির সাথে প্রাসঙ্গিক বলে মনে হয় না।
ক্রিস্টোফ হ্যাঙ্ক

5
উদাহরণস্বরূপ, যে জনসংখ্যাকে তার পরামিতিগুলি / মুহুর্তগুলি দ্বারা চিহ্নিত করা যায়, গড় এবং বৈচিত্রের মতো (যা সাধারণ জনগণের পক্ষে যথেষ্ট হবে, উদাহরণস্বরূপ)। এবং: আমি মনে করি না যে এই ফোরামে অন্য কারও চেয়ে লোকেরা আপনার সাথে কমবেশি পেডেন্টিক।
ক্রিস্টোফ হ্যাঙ্ক

2
যদি আপনি "প্যারামিটার" এবং "গড়" এর মধ্যে স্যুইচিংয়ের হাতের আপাত ক্ষয়ক্ষতি সম্পর্কে অসন্তুষ্ট হন, তবে আমাকে ঘনত্ব 1 সহ তার গড় পদে একটি নির্দিষ্ট অ-নেতিবাচক বিতরণ সংজ্ঞায়িত করতে দিনμ তার সাপোর্টে[0,2μ]...12μ[0,2μ]
Silverfish

1
আপনার সম্পাদনা 2 সম্পর্কিত, এর মধ্যে অনেকগুলি ফলাফল নিয়মিততার শর্তে উত্পন্ন হয় যা এই থ্রেডে আলোচিত ইউনিফর্ম উদাহরণের জন্য সন্তুষ্ট নয়, যার জন্য নমুনা স্থানটি প্যারামিটারের উপর নির্ভর করে।
ক্রিস্টোফ হ্যাঙ্ক

উত্তর:


32

ক্রিস্টোফ হ্যাঙ্ক তাঁর প্রস্তাবিত উদাহরণের বিশদ পোস্ট করেননি। আমি নিতে সে ব্যবধান উপর সমবন্টন মানে একটি IID নমুনার উপর ভিত্তি করে এক্স 1 , ... , এক্স এন চেয়ে আকার আরো এন = 1।[0,θ],X1,,Xnn=1.

গড় θ/2

গড়টির এমএলই max{X1,,Xn}/2.

এটি থেকে পক্ষপাতদুষ্ট , সুতরাং E ( সর্বোচ্চ / 2 ) < θ / 2।Pr(max<θ)=1,E(max/2)<θ/2.

দ্রষ্টব্য: সম্ভবত আমরা জানানো হচ্ছে যে মানে শ্রেষ্ঠ পক্ষপাতিত্বহীন মূল্নির্ধারক হয় না নমুনা গড়, বরং হয় এন + + 1θ/2নমুনা গড়টিθ/2 এরএকটি স্বল্পঅনুমানকারীকারণ কিছু নমুনার জন্য, নমুনাটির গড়1 এরচেয়ে কম হয়

n+12nmax{X1,,Xn}.
θ/2এবং এটি পরিষ্কারভাবে অসম্ভব জন্যθ/2থেকে কম হিসাবেসর্বোচ্চ/2.দ্রষ্টব্য শেষে12max{X1,,Xn},θ/2max/2.

আমার সন্দেহ হয় পেরেটো বন্টন এ জাতীয় অন্য ঘটনা another এখানে সম্ভাব্যতা পরিমাপ: প্রত্যাশিত মানα

α(κx)α dxx for x>κ.
প্রত্যাশিত মানের MLE এনαα1κ. যেখানেমিনিট=মিনিট{এক্স1,...,এক্সএন}
nni=1n((logXi)log(min))min
min=min{X1,,Xn}.

আমি এমএলএর প্রত্যাশিত মানটি গড় হিসাবে কাজ করিনি, সুতরাং এর পক্ষপাত কী তা আমি জানি না।


12
ক্যাগডাস, কাউন্টারেক্সামাল জিজ্ঞাসা করা বৈধ নয় এবং তারপরে অস্বীকার করুন যে আপনি অন্য কিছু প্রস্তাব করবেন! এটি এমন কোনও ফলের উদাহরণ জিজ্ঞাসার মতো যা লাল নয়, ব্লুবেরি দেখানো হচ্ছে এবং তারপরে বলছে যে এটি ব্লকবেরি পছন্দ করে না কারণ এটি গণনা করে না।
হোবার

7
এটি আপনার জিজ্ঞাসা প্রশ্নের সাথে প্রাসঙ্গিক নয়।
whuber

8
@ ক্যাগডাস ওজেনসিঙ্ক: এমএলই পক্ষপাতদুষ্ট কিনা তা মডেলের উপর নির্ভর করে। মডেল ছাড়া এমএলইয়ের মতো জিনিস নেই। এবং আপনি যদি মডেলটি পরিবর্তন করেন তবে আপনি এমএলই পরিবর্তন করেন।
মাইকেল হার্ডি 21

8
@ ক্যাগডাস ওজেগেনসি এখানে একটি স্যারাটিক প্রশ্ন: নমুনাটির অর্থ একটি নিরপেক্ষ অনুমানক কী? অনুমান করার জন্য আপনার একটি মডেল দরকার।
ম্যাথু ড্র্যুরি

9
আইআইডি নমুনার গড় অর্থ জনসংখ্যার পক্ষপাতহীন প্রাক্কলনকারী, তবে যে কোনও কিছুর পক্ষপাতহীন প্রাক্কলনকারী বলার জন্য যা প্রয়োজন তার চেয়ে বেশি কাঠামো ছাড়া কোনও কিছুর সর্বাধিক সম্ভাবনার প্রাক্কলকের কথা বলতে পারবেন না।
মাইকেল হার্ডি

18

এখানে এমন একটি উদাহরণ যা আমি মনে করি যে কেউ কেউ অবাক হতে পারে:

লজিস্টিক রিগ্রেশনে, অ-নিরোধক ফলাফলগুলির সাথে কোনও সীমাবদ্ধ নমুনার আকারের জন্য (উদাহরণস্বরূপ ), কোনও অনুমানিত রিগ্রেশন সহগ কেবল পক্ষপাতদুষ্ট নয়, রিগ্রেশন সহগের গড়টি আসলে অপরিজ্ঞাত ined0<pi<1

এটি কারণ যে কোনও সুনির্দিষ্ট নমুনার আকারের জন্য, ফলাফলগুলির নিখুঁত পৃথকীকরণ প্রাপ্তির জন্য ইতিবাচক সম্ভাবনা রয়েছে (যদিও সামান্য পরিমাণে যদি রিগ্রেশন প্যারামিটারগুলির সাথে তুলনা করা যায় তবে)। যখন এটি ঘটে, আনুমানিক রিগ্রেশন কোফিসিয়েন্টস পারেন হবে বা । পারেন হওয়ার ইতিবাচক সম্ভাবনা রয়ে - বা প্রত্যাশিত মান undefined হয় বোঝা।

এই নির্দিষ্ট বিষয়ে আরও তথ্যের জন্য, হ্যাক-ডোনার-এফেক্টটি দেখুন ।


1
এটা বেশ চালাক। আমি ভাবছি যে লজস্টিক রিগ্রেশন সহগের এমএলই হউক-ডোনার এফেক্টটি অকার্যকর করার ক্ষেত্রে পক্ষপাতহীন শর্তযুক্ত?
গুং - মনিকা পুনরায়

3
@ গুং: সংক্ষিপ্ত উত্তর: হক-ডোনার প্রভাব উপেক্ষা করে নিখুঁত রিগ্রেশন সহগগুলিতে এখনও upর্ধ্বমুখী পক্ষপাত রয়েছে (অর্থাত নেতিবাচক সহগের নিম্নতর পক্ষপাত রয়েছে, ইতিবাচক উর্ধ্বমুখী পক্ষপাত) রয়েছে। মজার বিষয় হচ্ছে আনুমানিক সম্ভাব্যতাগুলির 0.5 এর দিকে পক্ষপাতিত্ব বলে মনে হচ্ছে। আমি এই পোস্টে এটি সম্পর্কে লিখতে শুরু করেছি , তবে অনুমান সম্ভাবনার পক্ষপাতিত্বের উপর আমার ফলাফল রাখিনি।
ক্লিফ এবি

10

যদিও @ মিশেলহার্ডি বিষয়টি তুলে ধরেছে, এখানে সর্বাধিক এমএলই (এবং এর ফলে, গড়ের সাথে , ইনভরিয়েন্স দ্বারা) কেন পক্ষপাতহীন নয় , সে সম্পর্কে এখানে আরও বিস্তারিত যুক্তি দেওয়া হয়েছে ( যদিও দেখুন) নীচে সম্পাদনা)।θ/2

আমরা উপরের অভিন্ন ডিস্ট্রিবিউশনের আবদ্ধ প্রাককলন । এখানে, y ( n ) হ'ল MLE, এলোমেলো নমুনা y এর জন্য । আমরা দেখাই যে y ( n ) নিরপেক্ষ নয়। তার সিডিএফ হয় এফ Y ( এন ) ( এক্স )U[0,θ]y(n)yy(n) সুতরাং, এর ঘনত্ব fy(n)(x)={n

Fy(n)(x)=Pr{Y1x,,Ynx}=Pr{Y1x}n={0forx<0(xθ)nfor0xθ1forx>θ
, [
fy(n)(x)={nθ(xθ)n1for0xθ0else
E[Y(n)]=0θxnθ(xθ)n1dx=0θn(xθ)ndx=nn+1θ

abY(1)a

E(Y(1))=na+bn+1
E(Y(n))=nb+an+1
so that the MLE for (a+b)/2 is
Y(1)+Y(n)2
with expected value
E(Y(1)+Y(n)2)=na+b+nb+a2(n+1)=a+b2

EDIT 2: To elaborate on Henry's point, here is a little simulation for the MSE of the estimators of the mean, showing that while the MLE if we do not know the lower bound is zero is unbiased, the MSEs for the two variants are identical, suggesting that the estimator which incorporates knowledge of the lower bound reduces variability.

theta <- 1
mean <- theta/2
reps <- 500000
n <- 5
mse <- bias <- matrix(NA, nrow = reps, ncol = 2)

for (i in 1:reps){
  x <- runif(n, min = 0, max = theta)
  mle.knownlowerbound <- max(x)/2
  mle.unknownlowerbound <- (max(x)+min(x))/2
  mse[i,1] <- (mle.knownlowerbound-mean)^2
  mse[i,2] <- (mle.unknownlowerbound-mean)^2
  bias[i,1] <- mle.knownlowerbound-mean
  bias[i,2] <- mle.unknownlowerbound-mean

}

> colMeans(mse)
[1] 0.01194837 0.01194413

> colMeans(bias)
[1] -0.083464968 -0.000121968

Because Wikipedia is proposing a different model to begin with. That's where my confusion lies.
Cagdas Ozgenc

Yes, but once we adjust to the special case discussed here, namely a=0, we are back at square 1. In that case, we do not need the sample minimum for estimation anymore, as we know that the lower bound is zero, so that the MLE of the midpoint (=median=mean) simply becomes (max+0)/2 again.
Christoph Hanck

2
I have not worked out the details, but the MLE in that model could be unbiased if the minimum overestimates the lower bound by the same amount as the maximum underestimates the maximum, so that the midpoint is being estimated without bias.
Christoph Hanck

4
@CagdasOzgenc: unbiasedness is not the only or even the most important measure of better. By knowing one end of the support precisely, you may lose the balance between errors in estimating the mean, but you end up with (for example) a better estimate of the range
Henry

6
Maximum likelihood estimators are not always "best" across all criteria for small sample sizes. So what? They don't pretend to be, either. If you want to use a different estimator for your problem that has better properties according to some criterion for sample sizes that are in the neighborhood of your actual sample size, you're free to do so. I do so, and so do other people. No one is claiming that using MLE is justified in all situations just because it's MLE.
jbowman

5

Completing here the omission in my answer over at math.se referenced by the OP,

assume that we have an i.i.d. sample of size n of random variables following the Half Normal distribution. The density and moments of this distribution are

fH(x)=2/π1v1/2exp{x22v}E(X)=2/πv1/2μ,Var(X)=(12π)v

The log-likelihood of the sample is

L(vx)=nln2/πn2lnv12vi=1nxi2

The first derivative with respect to v is

vL(vx)=n2v+12v2i=1nxi2,v^MLE=1ni=1nxi2

so it is a method of moments estimator. It is unbiased since,

E(v^MLE)=E(X2)=Var(X)+[E(X)])2=(12π)v+2πv=v

But, the resulting estimator for the mean is downward biased due to Jensen's inequality

μ^MLE=2/πv^MLEE(μ^MLE)=2/πE(v^MLE)<2/π[E(v^MLE)]=2/πv=μ

4

The famous Neyman Scott problem has an inconsistent MLE in that it never even converges to the right thing. Motivates the use of conditional likelihood.

Take (Xi,Yi)N(μi,σ2). The MLE of μi is (Xi+Yi)/2 and of σ2 is σ^2=i=1n1nsi2 with si2=(Xiμ^i)2/2+(Yiμ^i)2/2=(XiYi)2/4 which has expected value σ2/4 and so biased by a factor of 2.


2
While this example holds true, this actually defies one of the basic regularity conditions for asymptotic results of MLE's: that k/n0, where k is the number of parameters estimated and n is the sample size.
Cliff AB

1
@CliffAB the assumption violation is that the parametric dimension is not fixed. The dimension of Θ goes to as n. I think that's what you're saying, but don't know what k means. The practical illustration of this example of course is that these results would be biased even in small samples and you have to use conditional likelihood, like a mixed effects model, to estimate σ in this case.
AdamO

3

সেই থেকে এই ঘটনার জন্য উদাহরণগুলির একটি অসীম পরিসর রয়েছে

  1. বাইজিক ট্রান্সফর্মের সর্বাধিক সম্ভাবনা অনুমানকারী Ψ(θ) of a parameter θ is the bijective transform of the maximum likelihood estimator of θ, Ψ(θ^MLE);
  2. the expectation of the bijective transform of the maximum likelihood estimator of θ, Ψ(θ^MLE), E[Ψ(θ^MLE)] is not the bijective transform of the expectation of the maximum likelihood estimator, Ψ(E[θ^MLE]);
  3. most transforms Ψ(θ) are expectations of some transform of the data, h(X), at least for exponential families, provided an inverse Laplace transform can be applied to them.
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.