পি <.05 এ প্রকাশিত পি-মানগুলি বিতরণে বিরতি সৃষ্টি করার কারণ কী?

Question

সাম্প্রতিক একটি গবেষণাপত্রে , মাসিক্যাম্পো এবং লালান্দে (এমএল) বিভিন্ন বিবিধ গবেষণায় প্রকাশিত প্রচুর পি-ভ্যালু সংগ্রহ করেছে। তারা 5% এর ক্যানোনিকাল সমালোচনামূলক স্তরে পি-মানগুলির হিস্টোগ্রামে একটি কৌতূহলী লাফিয়ে পর্যবেক্ষণ করেছেন।

অধ্যাপক ওয়াসেরম্যানের ব্লগে এই এমএল ফেনোমিনা সম্পর্কে একটি চমৎকার আলোচনা রয়েছে:

http://normaldeviate.wordpress.com/2012/08/16/p-values-gone-wild-and-multiscale-madness/

তার ব্লগে, আপনি হিস্টোগ্রামটি পাবেন:

যেহেতু ৫% স্তরটি একটি কনভেনশন এবং প্রকৃতির আইন নয়, তাই প্রকাশিত পি-মানগুলির অভিজ্ঞতাগত বিতরণের এই আচরণের কারণ কী?

বাছাই পক্ষপাতিত্ব, ক্যানোনিকাল সমালোচনামূলক স্তরের ঠিক উপরে পি-মানগুলির পদ্ধতিগত "সমন্বয়", বা কী?

Comments

কমপক্ষে 2 ধরণের ব্যাখ্যা রয়েছে: 1) "ফাইল ড্রয়ার সমস্যা" - পি <.05 সহ অধ্যয়নগুলি প্রকাশিত হয়, উপরেরগুলি তা প্রকাশ করে না, সুতরাং এটি সত্যই দুটি বিতরণের মিশ্রণ 2) লোকেরা জিনিসগুলি চালিত করছে, সম্ভবত উপচেতনভাবে , পি <পি .05 পেতে

— পিটার ফ্লুম - মনিকা পুনরায়

হাই @ জেন হ্যাঁ, ঠিক এই ধরণের জিনিস। এর মতো স্টাফ করার শক্ত প্রবণতা রয়েছে। যদি আমাদের তত্ত্বটি নিশ্চিত হয়ে থাকে, তবে এটি না থাকলে আমরা পরিসংখ্যানগত সমস্যাগুলি সন্ধানের সম্ভাবনা কম। এটি আমাদের প্রকৃতির অংশ বলে মনে হচ্ছে তবে এটি থেকে রক্ষা করার চেষ্টা করা এটি something

— পিটার Flom - পুনর্বহাল মনিকা

@ জেন অ্যান্ড্রু গেলম্যানের ব্লগে আপনার এই পোস্টে আগ্রহী হতে পারে এমন কিছু গবেষণার উল্লেখ রয়েছে যাতে দেখা যায় যে প্রকাশনা পক্ষপাত সম্পর্কে গবেষণায় কোনও প্রকাশনা পক্ষপাত নেই ...! andrewgelman.com/2012/04/…

— স্মিলি

মজার বিষয় হ'ল জার্নালগুলিতে থাকা পেপারগুলি থেকে পি-মানগুলি ব্যাক-গণনা করা যা পি-ভ্যালু ভিত্তিক কাগজগুলি স্পষ্টভাবে প্রত্যাখ্যান করে, যেমন এপিডেমিওলজি ব্যবহৃত হত (এবং কিছু সংজ্ঞায় এখনও রয়েছে)। আমি ভাবছি যদি জার্নালটির বাইরে থেকে বাইরে বলা হয় এটির কোনও যত্ন নেই তবে পর্যালোচনা / লেখকরা যদি আত্মবিশ্বাসের ব্যবস্থার ভিত্তিতে মানসিক অ্যাডহক টেস্টিং করে থাকেন তবে তা অবাক হয়।

— ফোমেট

ল্যারির ব্লগে যেমন ব্যাখ্যা করা হয়েছে, এটি পি-ভ্যালুজের বিশ্ব থেকে নমুনাযুক্ত পি-ভ্যালুগুলির এলোমেলো নমুনার চেয়ে প্রকাশিত পি-মানগুলির একটি সংগ্রহ। ছবিটিতে অভিন্ন বিতরণ উপস্থিত হওয়ার কোনও কারণ নেই, এমনকি ল্যারির পোস্টে তৈরি করা মিশ্রণের অংশ হিসাবে।

— শি'আন

Answer 1

(1) @ পিটারফ্লম দ্বারা ইতিমধ্যে উল্লিখিত হিসাবে, একটি ব্যাখ্যা "ফাইল ড্রয়ার" সমস্যার সাথে সম্পর্কিত হতে পারে। (২) @ জেন সেই ক্ষেত্রে উল্লেখ করেছেন যেখানে লেখক (গুলি) ডেটা বা মডেলগুলি ব্যবহার করে (উদাহরণস্বরূপ ডেটা ড্রেজিং )। (3) তবে, আমরা বিশুদ্ধরূপে র্যান্ডম ভিত্তিতে অনুমানগুলি পরীক্ষা করি না। এটি হ'ল হাইপোথিসিসগুলি সুযোগ দ্বারা নির্বাচিত হয় না তবে আমাদের (আরও বা কম শক্তিশালী) তাত্ত্বিক অনুমান রয়েছে।

আপনারা গেরবার এবং মালহোত্রার কাজগুলিতে আগ্রহী হতে পারেন যারা সম্প্রতি তথাকথিত "ক্যালিপার পরীক্ষা" প্রয়োগ করে সেই ক্ষেত্রে গবেষণা চালিয়েছেন:

• পরিসংখ্যান প্রতিবেদন মান কি প্রকাশিত হয় প্রভাবিত করে? দুটি শীর্ষস্থানীয় রাষ্ট্রবিজ্ঞান জার্নালগুলিতে প্রকাশনা বায়াস

• অভিজ্ঞতামূলক সমাজতাত্ত্বিক গবেষণায় প্রকাশনা বায়াস: স্বেচ্ছাসেবী গুরুত্বের স্তরগুলি কি প্রকাশিত ফলাফলকে বিকৃত করে?

আপনিও আন্দ্রেস ডেকম্যান সম্পাদিত এই বিশেষ সংখ্যায় আগ্রহী হতে পারেন:

• অর্থনীতি এবং সামাজিক বিজ্ঞানে মেথডোলজিকাল আর্টেফেক্টস, ডেটা ম্যানিপুলেশন এবং জালিয়াতি

Answer 2

একটি যুক্তি যা এখনও পাওয়া যাচ্ছে না তা হ'ল গবেষকদের স্বাধীনতার ডিগ্রি হিসাবে পরিচিত ডেটা বিশ্লেষণের নমনীয়তা। প্রতিটি বিশ্লেষণে অনেকগুলি সিদ্ধান্ত নিতে হয়, কোথায় আউটলেটর মানদণ্ড সেট করা যায়, কীভাবে ডেটা রূপান্তর করা যায় এবং ...

এটি সম্প্রতি সিমন্স, নেলসন এবং সিমোনসোহনের একটি প্রভাবশালী নিবন্ধে উত্থাপিত হয়েছিল:

সিমন্স, জেপি, নেলসন, এলডি, এবং সিমোনসোহন, ইউ। (2011)। মিথ্যা-ইতিবাচক মনোবিজ্ঞান: ডেটা সংগ্রহ এবং বিশ্লেষণে অজ্ঞাতনীয় নমনীয়তা যে কোনও কিছুকে তাত্পর্যপূর্ণ হিসাবে উপস্থাপনের অনুমতি দেয়। মনস্তাত্ত্বিক বিজ্ঞান , 22 (11), 1359 –1366। ডোই: 10.1177 / 0956797611417632

(দ্রষ্টব্য যে সামাজিক মনোবিজ্ঞানে ডেটা জালিয়াতির কয়েকটি সনাক্ত করা মামলার জন্য উদাহরণস্বরূপ এটি একই সাইমনসোহান, যেমন, সাক্ষাত্কার , ব্লগ-পোস্ট )

Answer 3

আমি মনে করি এটি ইতিমধ্যে বলা সমস্ত কিছুর সংমিশ্রণ। এটি খুব আকর্ষণীয় ডেটা এবং আমি এর আগে পি-ভ্যালু ডিস্ট্রিবিউশনগুলির দিকে তাকানোর কথা ভাবিনি। নাল অনুমানটি সত্য হলে পি-মানটি অভিন্ন হবে। তবে অবশ্যই প্রকাশিত ফলাফলের সাথে আমরা বহু কারণে অভিন্নতা দেখতে পাব না।

1. আমরা অধ্যয়ন করি কারণ আমরা আশা করি নাল অনুমানটি মিথ্যা হবে be সুতরাং আমাদের বেশি বার না হয়ে উল্লেখযোগ্য ফলাফল পাওয়া উচিত।

2. যদি নাল হাইপোথিসিসটি কেবলমাত্র অর্ধবারের জন্য মিথ্যা হত তবে আমরা পি-মানগুলির অভিন্ন বিতরণ পাব না।

3. ফাইল ড্রয়ারের সমস্যা: উল্লিখিত হিসাবে আমরা যখন পি-মানটি উদাহরণস্বরূপ 0.05 এর নিচে না হয় তখন কাগজটি জমা দিতে ভয় পাই।

4. আমরা কাগজটি জমা দেওয়ার সিদ্ধান্ত নিলেও প্রকাশকরা স্বাক্ষরবিহীন ফলাফলের কারণে কাগজটি প্রত্যাখ্যান করবে।

5. ফলাফলগুলি যখন সীমান্তরেখায় থাকে আমরা তাত্পর্য অর্জনের জন্য জিনিসগুলি (সম্ভবত দূষিত অভিপ্রায় সহ নয়) করব। (ক) পি-মান ০.০৫৩ থাকাকালীন 0.05-এ গোল করুন, (খ) আমাদের মনে হয় যে পর্যবেক্ষণগুলি বিদেশী হতে পারে এবং সেগুলি সরিয়ে নেওয়ার পরে পি-মান 0.05 এর নীচে নেমে যায়।

আমি আশা করি এটি যুক্তিসঙ্গত বোধগম্যভাবে বলা হয়েছে এমন সমস্ত কিছুকে সংক্ষিপ্ত করে তুলেছে।

আমি যা আগ্রহ বলে মনে করি তা হ'ল আমরা 0.05 এবং 0.1 এর মধ্যে পি-মান দেখতে পাচ্ছি। যদি প্রকাশের বিধিগুলি 0.05 এর উপরে পি-মান সহ কিছু প্রত্যাখ্যান করে তবে ডান লেজ 0.05-এ কেটে যাবে। এটি কি আসলে 0.10 এ কেটেছিল? যদি তাই হয় তবে কিছু লেখক এবং কিছু জার্নাল 0.10 এর তাত্পর্যপূর্ণ স্তর গ্রহণ করবে তবে এর চেয়ে বেশি কিছু হবে না।

যেহেতু অনেকগুলি কাগজপত্রে বেশ কয়েকটি পি-মান অন্তর্ভুক্ত থাকে (বহুগুণ বা না হওয়ার জন্য সামঞ্জস্য করা হয়) এবং কাগজটি গ্রহণ করা হয় কারণ মূল পরীক্ষাগুলি উল্লেখযোগ্য ছিল আমরা সম্ভবত তালিকাতে অন্তর্ভুক্ত থাকা অপ্রয়োজনীয় পি-মানগুলি দেখতে পাচ্ছি। এটি প্রশ্ন উত্থাপন করে "হিস্টোগ্রামে অন্তর্ভুক্ত কাগজের সমস্ত প্রতিবেদিত পি-মান ছিল?"

একটি অতিরিক্ত পর্যবেক্ষণ হ'ল প্রকাশিত কাগজগুলির ফ্রিকোয়েন্সিতে upর্ধ্বমুখী একটি উল্লেখযোগ্য প্রবণতা রয়েছে কারণ পি-মানটি 0.05 এর নিচে চলে যায়। হতে পারে যে এটি লেখকরা পি-ভ্যালু চিন্তাধারাকে খুব বেশি ব্যাখ্যা করার জন্য ইঙ্গিত করেছেন <0.0001 প্রকাশনার পক্ষে অনেক বেশি যোগ্য। আমি মনে করি লেখক উপেক্ষা করেছেন বা বুঝতে পারবেন না যে পি-মানটি নমুনা আকারের উপর নির্ভর করে যতটা প্রভাবের আকারের মাত্রায় থাকে।