পক্ষপাতদুষ্ট অনুমানকারী কখন নিরপেক্ষ ব্যক্তির চেয়ে পছন্দনীয়?

Question

কেন এটি নিরপেক্ষ অনুমানকারীকে বেশি পছন্দ করা যায় তা বহুবার স্পষ্ট। তবে, এমন কোনও পরিস্থিতি রয়েছে যার অধীনে আমরা বাস্তবে কোনও পক্ষপাতহীন ব্যক্তির চেয়ে পক্ষপাতদুষ্ট অনুমানকারীকে পছন্দ করতে পারি?

Comments

সম্পর্কিত: সংকোচনের কাজ কেন?

— এস। কোলাসা - মনিকা

আসলে কেন এটি নিরপেক্ষ অনুমানকারীকে পছন্দ করে তা আমার কাছে স্পষ্ট নয়। বায়াস স্ট্যাটিস্টিক বইতে বুজিম্যানের মতো, পরিসংখ্যান ছাত্রদের মধ্যে অপ্রয়োজনীয় ভয় তৈরি করে। বাস্তবে তথ্যে তাত্ত্বিক পদ্ধতির শেখার জন্য সর্বদা ছোট নমুনাগুলিতে একটি পক্ষপাতমূলক অনুমানের দিকে পরিচালিত করে এবং এটি সীমাতে সামঞ্জস্যপূর্ণ।

— ক্যাগডাস ওজজেঙ্ক

আমার কাছে ক্লায়েন্ট রয়েছে (বিশেষত আইনী ক্ষেত্রে) যারা পক্ষপাতদুষ্ট অনুমানকারীকে দৃ strongly়ভাবে পছন্দ করবেন, তবে পক্ষপাতিত্ব ব্যবস্থাপনায় তাদের পক্ষে থাকলে!

— whuber

জেনেসের সম্ভাব্যতা তত্ত্বের ১ 17.২ ("নিরপেক্ষ অনুমানক") : বিজ্ঞানের লজিক একটি দৃষ্টান্তমূলক পক্ষপাতদুটি সত্যই বা গুরুত্বপূর্ণ নয় এবং কেন পক্ষপাতদুষ্টকে পছন্দনীয় হতে পারে (উদাহরণস্বরূপ) উদাহরণ সহ একটি অত্যন্ত অন্তর্দৃষ্টিপূর্ণ আলোচনা in নীচে চকন এর দুর্দান্ত উত্তরের সাথে লাইন)।

— pglpm

যদি আমি চকন-জেনেসের উত্তর সংক্ষিপ্ত করতে পারি: একজন "নিরপেক্ষ" অনুমানকারী সমান পরিমাণে সঠিক মানের ডান বা বামে ভুল করতে পারে; একজন "পক্ষপাতদুষ্ট" বাম বা বিপরীত দিকে ডানদিকে আরও ভুল করতে পারে। তবে নিরপেক্ষ ব্যক্তির ত্রুটি যদিও প্রতিসাম্যপূর্ণ, পক্ষপাতদুষ্টের চেয়ে অনেক বেশি হতে পারে। চকনির প্রথম চিত্র দেখুন। অনেক পরিস্থিতিতে এটি তাত্পর্যপূর্ণ প্রতিসামগ্রী হওয়ার চেয়ে একজন অনুমানকারীটির একটি ছোট ত্রুটি থাকা আরও বেশি গুরুত্বপূর্ণ।

— pglpm

Answer 1

হ্যাঁ। প্রায়শই এটি হয় যে আমরা গড় স্কোয়ার ত্রুটিটি হ্রাস করতে আগ্রহী, যা ভেরিয়েন্স + বায়াস স্কোয়ারে পচে যেতে পারে । এটি মেশিন লার্নিংয়ের একটি অত্যন্ত মৌলিক ধারণা এবং সাধারণভাবে পরিসংখ্যান। প্রায়শই আমরা দেখতে পাই যে পক্ষপাতের ক্ষেত্রে সামান্য বৃদ্ধি পুরো পরিমাণে এমএসই হ্রাস হ্রাস করে বৈকল্পিকতায় যথেষ্ট পরিমাণ হ্রাস নিয়ে আসতে পারে।

$\hat \beta_R = (X^T X + \lambda I)^{-1}X^T Y$$X$$Var(\hat \beta) \propto (X^T X)^{-1}$$Var(\hat \beta_R)$

$k = 1$$k = 1$

অবশেষে, এখানে একটি ছবি। মনে করুন যে এটি দুটি অনুমানকারীদের নমুনা বিতরণ এবং আমরা 0 টি অনুমান করার চেষ্টা করছি The চাটুকারটি একটি পক্ষপাতহীন, তবে আরও অনেক পরিবর্তনশীল। সামগ্রিকভাবে আমি মনে করি আমি পক্ষপাতদুষ্টটি ব্যবহার করতে পছন্দ করব, কারণ গড়পড়তা হলেও আমরা সঠিক হতে পারি না, সেই অনুমানের কোনও একক উদাহরণের জন্য আমরা আরও নিকটে থাকব।

$$\ $$ হালনাগাদ

$X$

$X$$4 \times 3$$X^T X$

x <- cbind(0:3, 2:5, runif(4, -.001, .001)) ## almost reduced rank

> x
     [,1] [,2]        [,3]
[1,]    0    2 0.000624715
[2,]    1    3 0.000248889
[3,]    2    4 0.000226021
[4,]    3    5 0.000795289

(xtx <- t(x) %*% x) ## the inverse of this is proportional to Var(beta.hat)

           [,1]        [,2]        [,3]
[1,] 14.0000000 26.00000000 3.08680e-03
[2,] 26.0000000 54.00000000 6.87663e-03
[3,]  0.0030868  0.00687663 1.13579e-06

eigen(xtx)$values ## all eigenvalues > 0 so it is PD, but not by much

[1] 6.68024e+01 1.19756e+00 2.26161e-07


solve(xtx) ## huge values

           [,1]        [,2]        [,3]
[1,]   0.776238   -0.458945     669.057
[2,]  -0.458945    0.352219    -885.211
[3,] 669.057303 -885.210847 4421628.936

solve(xtx + .5 * diag(3)) ## very reasonable values

             [,1]         [,2]         [,3]
[1,]  0.477024087 -0.227571147  0.000184889
[2,] -0.227571147  0.126914719 -0.000340557
[3,]  0.000184889 -0.000340557  1.999998999

আপডেট 2

প্রতিশ্রুতি হিসাবে, এখানে আরও পুঙ্খানুপুঙ্খ উদাহরণ's

$X_1, ..., X_n \sim \ iid \ \mathcal N(\mu, \sigma^2)$$\mu$

$T_1(X_1, ..., X_n) = X_1$$\mu$$n$$\mu$$T_1$

$T_1$$T_2(X_1, ..., X_n) = \frac{X_1 + X_2}{2}$$T_n(X_1, ..., X_n) = \frac{X_1 + ... + X_n}{n}$$Var(T_1) = \sigma^2$$Var(T_2) = \frac{\sigma^2}{2}$$Var(T_n) = \frac{\sigma^2}{n}$$n > 2$ $T_n$

$T$$\theta$$MSE(T) = E((T - \theta)^2)$$MSE(T) = Var(T) + Bias(T)^2$$Bias(T) = E(T) - \theta$

$T$$MSE(T) = Var(T) = Bias(T)^2 = Var(T)$

$Var(T) + Bias(T)^2$$Bias(T) = 0$$T$

$\theta$$T_1$$T_5$$T_1$$T_5$$T_1$$T_5$$\theta$$T_1$$T_5$$T_3$$T_1$

$T_\lambda(X, Y) = (X^T X + \lambda I)^{-1} X^T Y$$\lambda$$T_\lambda$

Comments

ছবিটিই আমি বুঝতে পেরেছি। আপনার কি ছবিটির সাথে মিলে এমন আরও সহজ উদাহরণ রয়েছে? অনুমানকারীদের এই আকারগুলি কী হবে?

— স্টান শানপাইক

আমি আগামীকাল আরও বিস্তারিত উদাহরণ পোস্ট করব।

— jld

@ স্ট্যানশানপাইক আমি একটি দীর্ঘ আপডেট যোগ করেছি। এটি যদি বিষয়গুলি পরিষ্কার করতে সহায়তা করে তবে আমাকে জানান।

— jld

সম্ভবত আমার পক্ষে যে কোনও প্রশ্নের উত্তর দেওয়ার জন্য যে কেউ সবচেয়ে চেষ্টা করেছেন। অনেক ধন্যবাদ.

— স্টান শানপাইক

@ ইউলিভিয়া আমি এমন একক অ-তুচ্ছ মামলার কথা ভাবতে পারি না যেখানে পক্ষপাতিত্বই আমার একমাত্র মানদণ্ড যা আমি যত্নশীল (যদিও এরকম ঘটনাও হতে পারে যা সম্পর্কে আমি কেবল জানি না!) যদিও এমন কিছু সময় আছে যখন পক্ষপাতটি জানা থাকে একটি প্রভাবশালী ফ্যাক্টর হোন (উদাহরণস্বরূপ, আরআইএমএল বিবেচনা করুন, যেখানে পক্ষপাত যথেষ্ট তীব্র যে এটি সম্পর্কে কিছু করা উপযুক্ত)। আমি মনে করি আপনি যা করছেন তা কেবল আপনার একটি নির্দিষ্ট অনুমানকারী সত্যের কাছাকাছি থাকতে পারে না এবং এমএসই এটি করে।

— jld

Answer 2

দুটি কারণ মাথায় আসে, উপরের এমএসই ব্যাখ্যাটি বাদ দিয়ে (প্রশ্নের সাধারণভাবে গৃহীত উত্তর):

• ঝুঁকি পরিচালনা
• দক্ষ পরীক্ষা

$T(X) = \bar{X}_n$$\bar{X}_n$$\epsilon$$\theta \ne 0$$\theta_n$ বলের সীমানায়, এটি একটি বেমানান পরীক্ষায় পরিণত হয়, এটি কখনই জানে না কী চলছে এবং ঝুঁকিটি বিস্ফোরিত হয়।

$\Gamma(\alpha, \beta_n)$

$$T_\theta(X) = \sum X_i \mathcal{I} (\|X_i\| < \theta) / \sum \mathcal{I} (\|X_i\| < \theta)$$

দক্ষ পরীক্ষার অর্থ হল আপনার আগ্রহী জিনিসটি আপনি অনুমান করবেন না, তবে এটির একটি প্রায় অনুমান, কারণ এটি আরও শক্তিশালী পরীক্ষা সরবরাহ করে। আমি এখানে সবচেয়ে ভাল উদাহরণটি বলতে পারি লজিস্টিক রিগ্রেশন। মানুষ সর্বদাআপেক্ষিক ঝুঁকি রিগ্রেশন সঙ্গে লজিস্টিক রিগ্রেশন বিভ্রান্ত। উদাহরণস্বরূপ, ধূমপায়ীদের ধূমপায়ীদের তুলনায় ক্যান্সারের তুলনায় 1.6-এর একটি অনুপাতের অর্থ এই নয় যে "ধূমপায়ীদের মধ্যে ক্যান্সারের ঝুঁকি ছিল 1.6"। BZZT ভুল। এটি একটি ঝুঁকি অনুপাত। তাদের প্রযুক্তিগতভাবে ফলাফলের 1.6 গুণ প্রতিকূলতা ছিল (অনুস্মারক: বিজোড়গুলি = সম্ভাবনা / (1-সম্ভাব্যতা))। যাইহোক, বিরল ইভেন্টগুলির জন্য, প্রতিকূলতা অনুপাত ঝুঁকির অনুপাতের প্রায় কাছাকাছি। আপেক্ষিক ঝুঁকি রিগ্রেশন রয়েছে, তবে রূপান্তরকরণের সাথে এটির অনেকগুলি সমস্যা রয়েছে এবং এটি লজিস্টিক রিগ্রেশন হিসাবে শক্তিশালী নয়। সুতরাং আমরা আরআর এর একটি পক্ষপাতিত্বমূলক অনুমান হিসাবে রিপোর্ট করি (বিরল ঘটনাগুলির জন্য), এবং আরও দক্ষ সিআই এবং পি-মান গণনা করি।