বড় গবেষণায় ক্ষুদ্র প্রভাবগুলি কেন প্রকাশনা পক্ষপাতিত্ব নির্দেশ করে?

Question

বেশ কয়েকটি পদ্ধতিগত কাগজপত্র (উদাঃ এগার এট আল 1997a, 1997 বি) মেটা-বিশ্লেষণ দ্বারা প্রকাশিত প্রকাশনার পক্ষপাত নিয়ে আলোচনা করে নীচের মত একটি ফানেল প্লট ব্যবহার করে।

১৯৯৯ বি গবেষণাপত্রে আরও বলা হয়েছে যে "যদি প্রকাশনা পক্ষপাত উপস্থিত থাকে তবে প্রত্যাশিত যে প্রকাশিত গবেষণার মধ্যে সবচেয়ে বড়গুলি ক্ষুদ্রতম প্রভাবগুলির প্রতিবেদন করবে।" তবে তা কেন? আমার কাছে মনে হয় যে এই সমস্ত কিছুই প্রমাণ করে যা আমরা ইতিমধ্যে জানি: ছোট প্রভাবগুলি কেবলমাত্র বৃহত নমুনার আকারের সাথে সনাক্তযোগ্য ; অপ্রকাশিত যে পড়াশোনা সম্পর্কে কিছুই বলার সময়।

এছাড়াও, উদ্ধৃত রচনায় দাবি করা হয়েছে যে একটি ফানেল প্লটটিতে দৃশ্যমানভাবে মূল্যায়ন করা অ্যাসিমেট্রি "ইঙ্গিত দেয় যে সেখানে ছোট আকারের ছোট সুবিধাগুলি সহ ছোট ট্রায়ালগুলির নির্বাচনী প্রকাশনা ছিল না।" কিন্তু, আবার, আমি বুঝতে পারছি না কিভাবে কোন যে গবেষণার বৈশিষ্ট্য ছিল প্রকাশিত সম্ভবত আমাদের কিছু বলতে পারেন য়ে সব অলৌকিক কাজ করা হয়েছে সম্পর্কে (ইউএস মতামতে উপনীত করার অনুমতি দেয়) না প্রকাশিত!

রেফারেন্সস
এগার, এম।, স্মিথ, জিডি, এবং ফিলিপস, এএন (1997)। মেটা-বিশ্লেষণ: নীতি ও পদ্ধতি । বিএমজে, 315 (7121), 1533-1537।

এগার, এম।, স্মিথ, জিডি, স্নাইডার, এম।, এবং মাইন্ডার, সি। (1997)। মেটা-বিশ্লেষণে বায়াস একটি সাধারণ, গ্রাফিকাল পরীক্ষার দ্বারা সনাক্ত করা হয়েছে । বিএমজে , 315 (7109), 629-634।

Comments

আমি মনে করি না এটি আপনার সঠিক উপায়ে রয়েছে। সম্ভবত এই প্রশ্নোত্তরটির উত্তর হতে পারে stats.stackexchange.com/questions/214017/…

— mdewey

একটি ছোট্ট অধ্যয়নের জন্য একেবারে প্রকাশিত হওয়ার জন্য এটি সত্যিকারের প্রভাবের আকারটি নির্বিশেষে একটি বড় প্রভাব প্রদর্শন করতে হবে।

— আইনার

Answer 1

এখানে উত্তরগুলি ভাল, সবার কাছে +1। চূড়ান্ত ক্ষেত্রে কীভাবে এই প্রভাবটি ফানেল প্লটের শর্তাবলী দেখতে পারে তা আমি কেবল এটিই দেখাতে চেয়েছিলাম। নীচে আমি $N(.01, .1)$ হিসাবে একটি ছোট প্রভাব সিমুলেট করব এবং আকারে 2 এবং 2000 টি পর্যবেক্ষণের মধ্যে নমুনাগুলি আঁকা।

প্লটের ধূসর পয়েন্টগুলি কোনও কঠোর $p < .05$ শাসনব্যবস্থায় প্রকাশিত হবে না । ধূসর লাইনটি "খারাপ পি-মান" অধ্যয়ন সহ নমুনা আকারে প্রভাব আকারের একটি রিগ্রেশন, যখন লালটি এগুলি বাদ দেয়। কালো রেখাটি সত্য প্রভাবটি দেখায়।

যেমন আপনি দেখতে পাচ্ছেন, প্রকাশনার পক্ষপাতিত্বের অধীনে ছোট অধ্যয়নের ক্ষেত্রে প্রভাবের আকারকে বেশি বিবেচনা করা এবং বড়দের ক্ষেত্রে সত্যের আরও কাছাকাছি প্রভাবের আকারগুলি প্রতিবেদন করার প্রবণতা রয়েছে।

set.seed(20-02-19)

n_studies <- 1000
sample_size <- sample(2:2000, n_studies, replace=T)

studies <- plyr::aaply(sample_size, 1, function(size) {
  dat <- rnorm(size, mean = .01, sd = .1)
  c(effect_size=mean(dat), p_value=t.test(dat)$p.value)
})

studies <- cbind(studies, sample_size=log(sample_size))

include <- studies[, "p_value"] < .05

plot(studies[, "sample_size"], studies[, "effect_size"], 
     xlab = "log(sample size)", ylab="effect size",
     col=ifelse(include, "black", "grey"), pch=20)
lines(lowess(x = studies[, "sample_size"], studies[, "effect_size"]), col="grey", lwd=2)
lines(lowess(x = studies[include, "sample_size"], studies[include, "effect_size"]), col="red", lwd=2)
abline(h=.01)

^{ডিপেক্স প্যাকেজ (v0.2.1) দ্বারা 2019-02-20-এ তৈরি করা হয়েছে}

Comments

দুর্দান্ত পয়েন্ট, সত্যিই এটি স্বজ্ঞাতভাবে বুঝতে সাহায্য করে, ধন্যবাদ!

— z8080

+1 এই গ্রাফিকটি এক হাজার শব্দের মূল্যবান এবং সমস্যাটি ভালভাবে সংক্ষিপ্ত করে। যখন সত্য প্রভাব আকার 0. পক্ষপাত এই ধরনের এমনকি পাওয়া যেতে পারে

— Underminer

Answer 2

প্রথমে আমাদের "প্রকাশনার পক্ষপাত" কী এবং এটি কীভাবে এটি সাহিত্যে রূপান্তরিত করে তা কীভাবে প্রভাবিত করবে সে সম্পর্কে আমাদের চিন্তাভাবনা করা উচিত।

$p < 0.05$$|\hat \theta |/ SE(\hat \theta) >1.96$$n$$SE(\hat \theta)$$|\hat \theta|$

$\theta$$|\hat \theta|$ $\hat \theta$$|\theta|$ আমরা সাধারণত যে ছোট পরীক্ষাগুলি প্রকৃতপক্ষে প্রকাশ্যে পরিণত করি সেগুলির তুলনায় এটি উল্লেখযোগ্যভাবে ছোট।

$|\hat \theta|$ $SE(\hat \theta)$$p < 0.05$

Comments

$n$$SE(\theta)$$|\theta|$$SE(\theta) = \frac{SD(\theta)}{\sqrt{n}}$$SE(\theta)$$SE$

Answer 3

এই বিবৃতিটি অন্যভাবে পড়ুন:

যদি প্রকাশের পক্ষপাত নেই, তবে প্রভাবের আকারটি অধ্যয়নের আকারের চেয়ে পৃথক হওয়া উচিত।

এটি হ'ল, যদি আপনি একটি ঘটনা অধ্যয়ন করেন তবে এফেক্ট সাইজ ঘটনাটির একটি সম্পত্তি, নমুনা / অধ্যয়ন নয়।

প্রভাব আকারের প্রাক্কলনগুলি অধ্যয়ন জুড়ে পৃথক হতে পারে (এবং হবে), তবে অধ্যয়নের আকার বাড়ার সাথে যদি নিয়মিত ক্রমহ্রাসমান প্রভাবের আকার থাকে , তবে তা বোঝায় যে পক্ষপাত রয়েছে। পুরো বিষয়টি হ'ল এই সম্পর্কটি সুপারিশ করে যে এখানে আরও ছোট ছোট অধ্যয়ন রয়েছে যা কম প্রভাবের আকার দেখাচ্ছে যা প্রকাশিত হয়নি, এবং যদি সেগুলি প্রকাশিত হয় এবং তাই একটি মেটা বিশ্লেষণে অন্তর্ভুক্ত করা যেতে পারে, সামগ্রিক ধারণাটি হবে যে প্রভাবের আকারটি ছোট অধ্যয়নের প্রকাশিত উপসেট থেকে অনুমান করা হয় তার চেয়ে বেশি।

অধ্যয়ন জুড়ে প্রভাব আকারের অনুমানের বৈচিত্রটি নমুনা আকারের উপর নির্ভর করবে, তবে যদি কোনও পক্ষপাত না ঘটে তবে আপনাকে কম নমুনা আকারে কম এবং কম অনুমানের সমান সংখ্যা দেখতে হবে।

Comments

তবে এটি কি সত্যই বলা যায় যে "যদি প্রকাশনা পক্ষপাত না থাকে তবে প্রভাবের আকারটি অধ্যয়নের আকারের চেয়ে পৃথক হওয়া উচিত"? এটি অবশ্যই সত্য যখন আপনি প্রকৃত অন্তর্নিহিত প্রভাবটি উল্লেখ করেন তবে আমি মনে করি তারা অনুমিত প্রভাবটির উল্লেখ করছে। একটি প্রভাব আকার যে হয় অধ্যয়ন আকার (পরামর্শ পক্ষপাত) এর নির্ভরশীল যে ছিটান চক্রান্ত (উচ্চ পারস্পরিক সম্পর্ক) একটি রৈখিক সম্পর্ক পরিমাণ। এইটি এমন কিছু বিষয় আমি করেছি ব্যক্তিগতভাবে কোনো ফানেল প্লট নেই দেখা যায়, এমনকি যারা ফানেল প্লট অবশ্যই অনেকের যদিও হয়নি পরোক্ষভাবে যে একটি পক্ষপাত অস্তিত্ব।

— z8080

@ z8080 আপনি ঠিক বলেছেন, কেবলমাত্র যদি গড় এবং স্ট্যান্ডার্ড বিচ্যুতির অনুমানকে পক্ষপাতহীন করা হয় তবে প্রকাশনা পক্ষপাত না থাকলে অনুমিত প্রভাবের আকারটি অধ্যয়নের আকারের তুলনায় সম্পূর্ণ স্বাধীন হবে। যেহেতু নমুনা স্ট্যান্ডার্ড বিচ্যুতি পক্ষপাতদুষ্ট, তাই প্রভাবের আকারের অনুমানের ক্ষেত্রে কিছু পক্ষপাত হবে, তবে সেই অধ্যয়ন জুড়ে পক্ষপাতের স্তরের তুলনায় পক্ষপাতটি সামান্য, যা এগার এট আল উল্লেখ করছেন। আমার উত্তরে আমি এটিকে তুচ্ছ হিসাবে গণ্য করছি, ধরে নিচ্ছি যে নমুনার আকারটি যথেষ্ট বড় যে এসডি অনুমানটি প্রায় পক্ষপাতহীন, এবং তাই এটি অধ্যয়নের আকার থেকে স্বতন্ত্র বলে বিবেচনা করছে।

— ব্রায়ান ক্রাউজ

@ z8080 ভ্যারিয়েন্স প্রভাব আকার অনুমান নমুনা আকারের উপর নির্ভর করবে, কিন্তু আপনি অধীনে এবং কম নমুনা মাপ এ অনুমান উপর একটি সমান সংখ্যা দেখতে পাবেন।

— ব্রায়ান ক্রাউজ

"প্রভাবের আকারের প্রাক্কলনগুলি অধ্যয়ন জুড়ে (এবং হবে) পরিবর্তিত হতে পারে, তবে যদি প্রভাব আকার এবং অধ্যয়নের আকারের মধ্যে একটি নিয়মতান্ত্রিক সম্পর্ক থাকে তবে" শব্দবন্ধটি নির্ভরতা এবং প্রভাবের আকারের মধ্যে পার্থক্য সম্পর্কে কিছুটা অস্পষ্ট। প্রভাব আকারের বিতরণ নমুনা আকারের পার্থক্যের জন্য পৃথক হবে এবং পক্ষপাত রয়েছে কিনা তা বিবেচনা না করে নমুনা আকারের থেকে আলাদা হবে না। বায়াস নির্ভরতার একটি নিয়মতান্ত্রিক দিকনির্দেশ ।

— সংগৃহীত

@ অ্যাক্যাকিউমুলেশন আমার সম্পাদনাটি আপনি দেখেছেন তার স্পষ্টতার অভাবকে কী ঠিক করে দেয়?

— ব্রায়ান ক্রাউজ