পক্ষপাতিত্বের বুটস্ট্র্যাপ অনুমান কখন কার্যকর হয়?

Question

এটি প্রায়শই দাবি করা হয় যে বুটস্ট্র্যাপিং কোনও অনুমানকারীটিতে পক্ষপাতের একটি অনুমান সরবরাহ করতে পারে।

যদি কিছু পরিসংখ্যানের জন্য অনুমান করা হয়, এবং হ'ল বুটস্ট্র্যাপ প্রতিলিপি ( with ), তবে পক্ষপাতের বুটস্ট্র্যাপ অনুমান যা অত্যন্ত হওয়ার মতো অবস্থা।$\hat t$$\tilde t_i$$i\in\{1,\cdots,N\}$

$$\begin{equation} \mathrm{bias}_t \approx \frac{1}{N}\sum_i \tilde{t}_i-\hat t \end{equation}$$

ইতিমধ্যে পরিসংখ্যানের নিরপেক্ষ অনুমানক ছাড়া এটি কীভাবে সম্ভব তা আমি মাথা ঘুরিয়ে আনতে পারি না। উদাহরণস্বরূপ, যদি আমার অনুমানকারী কেবল পর্যবেক্ষণগুলির তুলনায় স্বতন্ত্র একটি ধ্রুবক ফেরত দেয় তবে পক্ষপাতের উপরের অনুমানটি স্পষ্টভাবে অবৈধ।

যদিও এই উদাহরণটি প্যাথলজিকাল, তবুও আমি দেখতে পাচ্ছি না যে অনুমানকারী এবং বিতরণগুলি সম্পর্কে যে যুক্তিসঙ্গত অনুমানগুলি বুটস্ট্রাপ অনুমানটি যুক্তিসঙ্গত guarantee

আমি আনুষ্ঠানিক তথ্যসূত্রগুলি পড়ার চেষ্টা করেছি, তবে আমি কোনও পরিসংখ্যানবিদ বা গণিতজ্ঞ নই, তাই কিছুই পরিষ্কার করা হয়নি।

অনুমানটি বৈধ হওয়ার প্রত্যাশা করা যেতে পারে এমন কি কেউ উচ্চ স্তরের সংক্ষিপ্তসার সরবরাহ করতে পারে? আপনি যদি বিষয়ে ভাল রেফারেন্স জানেন তবে তা দুর্দান্তও হবে।

---

সম্পাদনা:

বুটস্ট্র্যাপের কাজ করার জন্য প্রয়োজনীয়তার হিসাবে প্রায়শই আনুমানিকের মসৃণতা উদ্ধৃত করা হয়। এটি কি এমনও হতে পারে যে রূপান্তরটির জন্য স্থানীয় একরকমের ইনভারটিবিলিটি প্রয়োজন? ধ্রুব মানচিত্র পরিষ্কারভাবে এটি সন্তুষ্ট করে না।

Comments

ধ্রুবক অনুমানকারী সেই ধ্রুবকের একটি নিরপেক্ষ অনুমানক তাই পক্ষপাতিত্বের বুটস্ট্র্যাপ অনুমানকটি শূন্য হওয়া স্বাভাবিক।

— শি'য়ান

Answer 1

আপনি যে সমস্যাটি বর্ণনা করেছেন তা হ'ল ব্যাখ্যার সমস্যা, বৈধতার কোনও নয়। আপনার ধ্রুবক অনুমানের জন্য বুটস্ট্র্যাপ পক্ষপাত অনুমানটি অবৈধ নয়, এটি আসলে নিখুঁত।

পক্ষপাতিত্বের বুটস্ট্র্যাপ অনুমানটি একটি অনুমানকারী এবং একটি পরামিতি যেখানে কিছু অজানা বন্টন এবং থেকে নমুনা । ফাংশনটি এমন কিছু যা আপনি নীতিতে গণনা করতে পারতেন যদি আপনার হাতে জনসংখ্যা থাকে। কিছু বার আমরা নিতে প্লাগ-ইন হিসেব গবেষণামূলক বন্টন ব্যবহার স্থানে । আপনি সম্ভবত উপরে বর্ণিত এটি সম্ভবত এটি। সমস্ত ক্ষেত্রে পক্ষপাতের বুটস্ট্র্যাপের অনুমান যেখানেθ=T(এফ),এফxএফটি(এফ)গুলি(এক্স)=T( এফ ),T(এফ) এফ এফখআমিএকটিগুলি এফ =ই এফ [গুলি(এক্স*)]-টি($\hat\theta = s(x)$$\theta = t(F),$$F$$x$$F$$t(F)$$s(x) = t(\hat F),$$t(F)$$\hat F$$F$x ∗

$$\mathrm{bias}_{\hat F} = E_{\hat F}[s(x^*)] - t(\hat F),$$ $x^*$ থেকে বুটস্ট্র্যাপ নমুনা ।$x$

ধ্রুবক একই ধ্রুবকটির জন্য একটি নিখুঁত প্লাগ-ইন অনুমান:$c$ ~ এফ ~ এফ এফ টি ( এফ ) = গ গ ন ( এফ ) = গ গ জনসংখ্যা হ'ল এবং নমুনা , অনুপ্রেরণামূলক বিতরণ, যা । আপনি মূল্যায়ন করতে পারলে , আপনি । আপনি প্লাগ-ইন অনুমান গনা যখন আপনার কাছে পেতে । কোনও পক্ষপাত নেই, যেমনটি আপনি আশা করবেন would$\sim F$$\sim \hat F$$F$$t(F) = c$$c$$t(\hat F) = c$$c$

প্লাগ-ইন অনুমানের in বৈষম্য নির্ধারণের ক্ষেত্রে একটি সুপরিচিত কেস , অতএব বেসেলের সংশোধন। নীচে আমি এটি প্রদর্শিত। বুটস্ট্র্যাপ পক্ষপাত অনুমান খুব খারাপ নয়: $t(\hat F)$

library(plyr)

n <- 20
data <- rnorm(n, 0, 1)

variance <- sum((data - mean(data))^2)/n

boots <- raply(1000, {
  data_b <- sample(data, n, replace=T)
  sum((data_b - mean(data_b))^2)/n
})

# estimated bias
mean(boots) - variance 
#> [1] -0.06504726

# true bias:
((n-1)/n)*1 -1
#> [1] -0.05

আমরা এর পরিবর্তে জনসংখ্যার গড় এবং হতে নিতে পারি , এমন পরিস্থিতিতে যেখানে বেশিরভাগ ক্ষেত্রেই একটি পরিষ্কার পক্ষপাত থাকতে হবে: s ( x ) = $t(F)$$s(x) = c$

library(plyr)

mu <- 3
a_constant <- 1

n <- 20
data <- rnorm(n, mu, 1)

boots <- raply(1000, {
  # not necessary as we will ignore the data, but let's do it on principle
  data_b <- sample(data, n, replace=T)

  a_constant
})

# estimated bias
mean(boots) - mean(data) 
#> [1] -1.964877

# true bias is clearly -2

আবার বুটস্ট্র্যাপের অনুমান খুব খারাপ নয়।

Comments

আমি এই উত্তরটি যুক্ত করেছি কারণ অন্যান্য উত্তরগুলি মনে হয় নি যে এটি একটি সমস্যা যে পক্ষপাতের বুটস্ট্র্যাপ অনুমান 0 যখন ধ্রুবক হয়। আমি বিশ্বাস করি না। $t$

— einar

আমি আপনার উত্তর এবং আপনার ডেমো পছন্দ করি, তবে আমি মনে করি না যে আপনার সংজ্ঞাটি সঠিক কিনা "পক্ষপাতের বুটস্ট্র্যাপ অনুমান আপনার নমুনার কোনও ফাংশন এবং জনসংখ্যায় মূল্যায়ন করা একই কার্যকারিতার মধ্যে পক্ষপাতের একটি অনুমান mate" আপনি যা লিখছেন তা যথাযথভাবে সংজ্ঞায়িত করা হয়েছে, যদি এটি সংজ্ঞা হয় তবে জনসংখ্যার বৈকল্পিকের জন্য অনুমানকারী হিসাবে নমুনা বৈকল্পিকের বুনিয়াদ অনুমান করার জন্য বুটস্ট্র্যাপ ব্যবহার করার কোনও উপায় থাকত না।

— ডেভিডআর

@ ডেভিডআর আপনি ঠিক বলেছেন, মন্তব্য করার জন্য আপনাকে ধন্যবাদ। আমি উত্তর আপডেট করেছি।

— আইনার

আমি এই লেখার খুব পছন্দ! আমার একমাত্র প্রশ্ন "পক্ষপাতের বুটস্ট্র্যাপ অনুমান" সম্পর্কে " আমি মনে করি আপনি যা লিখেছেন তা অনুমানকারকের আসল পক্ষপাতিত্ব (তবে সত্য বন্টন না করে অভিজ্ঞতা বন্টনের জন্য), যেহেতু আপনি বুটস্ট্র্যাপের নমুনাগুলির চেয়ে প্রত্যাশা নিচ্ছেন। আমি মনে করি বুটস্ট্র্যাপের প্রাক্কলনকারীটি বি বুটস্ট্র্যাপের নমুনাগুলির চেয়ে সীমাবদ্ধ হবে?

— ডেভিডআর

@ ডেভিডআর আপনি খুশি! আমি কি রিপোর্ট টেকনিক্যালি পক্ষপাত বুটস্ট্র্যাপ অনুমান (কারণ আপনি ব্যবহার স্থানে এবং বুটস্ট্র্যাপ প্রত্যাশা উপরে প্রত্যাশা স্থানে )। তবে বেশিরভাগ ব্যবহারিক অ্যাপ্লিকেশনগুলিতে অক্ষম হয় এবং আমরা যেমনটি বলে থাকি তেমনই মন্টি কার্লো দ্বারা আমরা এটির কাছাকাছি। θ গুলি ( ) এফ ই এফ [ গুলি ( এক্স * ) $t(\hat F)$$\theta$$s()$$F$$E_{\hat F}[s(x^*)]$

— আইনার

Answer 2

আপনি একটি ভুল করেছেন এবং এটিই সম্ভবত বিভ্রান্তিকর। তুমি বলো:

যদি আমার অনুমানকারী কেবল কোনও ধ্রুবক ফেরত দেয় যা পর্যবেক্ষণগুলির থেকে পৃথক হয়, তবে পক্ষপাতের উপরের অনুমানটি স্পষ্টভাবে অবৈধ

বুটস্ট্র্যাপ আপনার পদ্ধতিটি কতটা পক্ষপাতদুষ্ট তা নয়, তবে আপনার ডেটা পক্ষপাতদুষ্ট দেওয়া থেকে কোনও ফলাফল দ্বারা আপনার ফলাফল কতটা পেয়েছেন।

আপনি যদি আপনার ডেটা বিশ্লেষণের জন্য উপযুক্ত পরিসংখ্যানগত পদ্ধতি চয়ন করেন এবং এই পদ্ধতির সমস্ত অনুমানগুলি পূরণ হয়ে যায় এবং আপনি আপনার গণিতটি সঠিকভাবে করেন তবে আপনার পরিসংখ্যানিক পদ্ধতিতে আপনাকে "সেরা" সম্ভাব্য প্রাক্কলন সরবরাহ করতে হবে যা আপনার ডেটা ব্যবহার করে প্রাপ্ত হতে পারে ।

বুটস্ট্র্যাপের ধারণাটি আপনার ডেটা থেকে একইভাবে নমুনা দেওয়া যেমন আপনি জনগণের কাছ থেকে আপনার কেসগুলি নমুনা করেছেন - সুতরাং এটি আপনার নমুনাটির একধরণের প্রতিলিপি। এটি আপনাকে আপনার মূল্যের আনুমানিক বিতরণ (ইফ্রন শব্দ ব্যবহার করে) পেতে এবং সুতরাং আপনার অনুমানের পক্ষপাত নির্ধারণ করতে দেয়।

তবে, আমি যে যুক্তি দিচ্ছি তা হ'ল আপনার উদাহরণটি বিভ্রান্তিকর এবং তাই এটি বুটস্ট্র্যাপ আলোচনার জন্য সেরা উদাহরণ নয়। যেহেতু উভয় পক্ষেই ভুল বোঝাবুঝি ছিল, তাই আমার উত্তরটি আপডেট করুন এবং আমার বক্তব্যটি চিত্রিত করার জন্য এটি আরও আনুষ্ঠানিক উপায়ে লিখি।

জন্য বায়াস θ সত্য মান হচ্ছে অনুমান θ হিসাবে সংজ্ঞায়িত করা হয়:$\hat{\theta}$$\theta$

$$\text{bias}(\hat{\theta}_n) = \mathbb{E}_\theta(\hat{\theta}_n) - \theta$$

কোথায়:

$$\hat{\theta}_n = g(x_1,x_2,...,x_n)$$

যেখানে হল অনুমানকারী।$g(\cdot)$

যেমন ল্যারি ওয়াসারম্যান তাঁর "সমস্ত পরিসংখ্যান" বইয়ে নোট করেছেন :

একটি অনুমানকারকের জন্য যুক্তিসঙ্গত প্রয়োজনীয়তা হ'ল এটি আরও বেশি পরিমাণে ডেটা সংগ্রহ করার সাথে সাথে এটি সত্য প্যারামিটার মানকে রূপান্তর করা উচিত। এই প্রয়োজনীয়তা নিম্নলিখিত সংজ্ঞায়িত দ্বারা পরিমিত হয়:
6.7 সংজ্ঞা। একটি বিন্দু মূল্নির্ধারক θ এন একটি পরামিতির θ হল সামঞ্জস্যপূর্ণ যদি θ এন পি → θ ।$\hat{\theta}_n$$\theta$$\hat{\theta}_n \overset{P}{\rightarrow} \theta$

$x$$g(X) = \lambda$$\theta$$\lambda$$\lambda = \theta$

$\hat{\theta}_n$$\theta$$n \rightarrow \infty$

Comments

আমি ভয় পেয়েছি যে এই উত্তরটি বিভ্রান্তি বপন করার জন্য নির্ধারিত বলে মনে হচ্ছে। একটি ধ্রুবক অনুমানকারী বেশিরভাগ সংজ্ঞা অনুসারে একটি অনুমানকারী - এবং কিছু ক্ষেত্রে এটি এমনকি গ্রহণযোগ্যও। আপনার প্রশ্নটি স্যাম্পলিং পক্ষপাতটিকে অনুমানের পক্ষপাত দিয়ে বিভ্রান্ত করে, যা প্রায় সকল পাঠককে বিভ্রান্ত করতে বাধ্য। "সেরা সম্ভাব্য প্রাক্কলন" সম্পর্কে আপনার অনুচ্ছেদটি দুর্দান্ত তবে এটি "সেরা" কীভাবে পরিমাপ করতে হবে তার প্রয়োজনীয় প্রশ্নটি উত্থাপন করে। বায়াস তার একমাত্র উপাদান (যদি তা হয়)।

— হোবার

যদিও আমি ওপি-র উত্তর দেওয়ার মতো যোগ্য নই, তবে আমি ভীত হ'ল হোবারের কোনও বক্তব্য পাওয়া গেল। এছাড়াও, জনসংখ্যা বলতে কি প্রাক্কলনকারীকে বৈধ বলা যায়? শেষ বাক্যটির সাথে সম্পর্কিত, আমি মনে করি বুস্ট্র্যাপ বিশ্লেষণের অধীনে অনুমানকারকের পক্ষপাতিত্বের একটি অনুমান সরবরাহ করে, নমুনা পদ্ধতিতে নয়।

— Mugen

আমি বুঝতে পারি যে বুটস্ট্র্যাপিং পদ্ধতিগত ত্রুটিগুলি সনাক্ত করতে পারে না, তবে কমপক্ষে কিছু সীমাতে এটি পরিসংখ্যানগত পক্ষপাত সনাক্ত করতে পারে বলে ধারণা করা হচ্ছে। আমি মনে করি আপনার বক্তব্য দুজনের মধ্যে পার্থক্য করার সূক্ষ্মতা সম্পর্কে, তবে এটি এখনও আমার কাছে অস্পষ্ট। আপনি মনে করছেন যে পক্ষপাতিত্ব একটি ধারণা সম্পর্কে কথা বলছেন যা আমি কখনও শুনিনি - অনুমানক হিসাবে নয়, তবে ডেটা নিয়ে। পক্ষপাতিত্বের এই ধারণাটির আনুষ্ঠানিক সংজ্ঞা কী?

— 18:25

$\lambda$$\theta$ $\lambda-\theta$

$\hat\theta$$0$$n\lt 10^{100}$

Answer 3

$t$

$$\begin{equation} \mathrm{bias}_t \approx \frac{1}{N}\sum_i \tilde{t}_i- t^* \end{equation}$$

আপনি অনুমানের পরিবর্তে অনুভূতিক বিতরণে মূল্যায়ন করা প্রকৃত পরিসংখ্যানটি ব্যবহার করতে চান (এটি প্রায়শই সহজ, যেহেতু মূল নমুনা সীমাবদ্ধ সেট)। কিছু ক্ষেত্রে, এগুলি একই হতে পারে (উদাহরণস্বরূপ, অনুশীলনীয় গড়টি নমুনার অর্থের সমান), তবে সেগুলি সাধারণভাবে হবে না। আপনি পৃথক পৃথক ক্ষেত্রে একটি কেস দিয়েছেন, তবে একটি কম রোগতাত্ত্বিক উদাহরণটি হ'ল বিবর্তনের জন্য স্বাভাবিক নিরপেক্ষ অনুমানক, যা সীমাবদ্ধ বন্টনের জন্য প্রয়োগের সময় জনসংখ্যার বৈকল্পের মতো নয়।

$t$

টিএল / ডিআর: বুটস্ট্র্যাপ পদ্ধতিটি যাদু নয়। পক্ষপাতিত্ব সম্পর্কে একটি নিরপেক্ষ অনুমান পেতে, আপনাকে সীমাবদ্ধ বিতরণের জন্য সুদের প্যারামিটারের গণনা করতে সক্ষম হতে হবে।

Comments

আমি আপনার স্বরলিপিটির অর্থ সম্পর্কে অনিশ্চিত। এই বক্তৃতা নোট মতে পিট হল (UC ডেভিস), এই বক্তৃতা নোট Cosma Shalizi (CMU), এবং এই পৃষ্ঠার এফরন এর এবং Tibshirani এর বই ইঙ্গিত বলে মনে হচ্ছে যে আমি এটা ভুল, শুধু সম্পূর্ণরূপে সাধারণ না (অর্থাত, আমি আছে এখানে অনুমানকারী প্লাগ ব্যবহার করছি, তবে এটি প্রয়োজনীয় নয়)।

— বুটস্ট্র্যাপড

$t^* = \hat t$$\theta(F_1)$$t^*$$\hat \theta$$\hat t$$t$$t^*$

— ইভান রাইট

$t^*=\hat t$

$t^*$$N \to \infty$

$t^*$$t^*$$\tilde t_i$$t^*$

Answer 4

তারা যে ডিস্ট্রিবিউশনগুলি চালায় সেগুলির কার্যকারিতা বিবেচনা করে বুটস্ট্র্যাপ পদ্ধতিগুলি সম্পর্কে ভাবতে আমি দরকারী মনে করি - আমি একটি পৃথক বুটস্ট্র্যাপ প্রশ্নের উত্তরটির একটি উদাহরণ দিয়েছি ।

আপনি যে অনুমান দিয়েছেন তা হ'ল এটি একটি অনুমান। কেউ বলে না যে এটি পরিসংখ্যানগত প্রাক্কলনগুলি হতে পারে এমন সমস্যায় ভোগেনা। এটি আপনাকে নমুনা গড়ের পক্ষপাতিত্বের অ-শূন্য অনুমান দেবে, উদাহরণস্বরূপ, যা আমরা সকলেই জানি যে এটি শুরু করা নিরপেক্ষ। এই পক্ষপাতদুষ্টের অনুমানকারীগুলির মধ্যে একটি সমস্যা হ'ল যখন সমস্ত সম্ভাব্য সাবম্যালের সম্পূর্ণ গণনা না করে মন্টে কার্লো হিসাবে বুটস্ট্র্যাপ প্রয়োগ করা হয় (এবং যেভাবেই বাস্তবে তাত্ত্বিক বুটস্ট্র্যাপ হয় না) it

$B$$B$

Comments

আমি মনে করি বুটস্ট্র্যাপের মূল প্রশ্নটি মন্টি কার্লো পরিবর্তনশীলতার ইস্যুটির অর্থেগোনাল। এমনকি যদি আমরা বুটস্ট্র্যাপের অনুলিপিগুলির সংখ্যা অনন্তরে নিয়ে যাই, তথ্যের সূত্রটি ধ্রুবক অনুমানকারকের পক্ষপাতিত্বের জন্য একটি শূন্য অনুমান দেবে এবং বৈকল্পিকের স্বাভাবিক নিরপেক্ষ অনুমানের পক্ষপাতিত্বের জন্য একটি ননজারো অনুমান দেবে।

— ইভান রাইট