এক্সিকিউটিভ সংক্ষিপ্তসার: "পি-হ্যাকিং" যদি একটি লা গেলম্যানের কাঁটাচলা পথকে বিস্তৃতভাবে বোঝা যায় তবে এটি কতটা প্রচলিত, তার উত্তর এটি প্রায় সর্বজনীন।
অ্যান্ড্রু গেলম্যান এই বিষয়ে লিখতে পছন্দ করেন এবং ইদানীং এটি তার ব্লগে ব্যাপকভাবে পোস্ট করা হয়েছে। আমি সবসময় তার সাথে একমত হই না তবে হ্যাকিংয়ের ক্ষেত্রে আমি তার দৃষ্টিভঙ্গি পছন্দ করি। এখানে তার গার্ডেন অফ ফোর্কিং পাথস পেপারের পরিচিতির একটি অংশ (গেলম্যান অ্যান্ড লোকেন 2013; আমেরিকান সায়েন্টিস্ট 2014 এ একটি সংস্করণ প্রকাশিত হয়েছে; এএসএ'র বক্তব্য সম্পর্কে জেলম্যানের সংক্ষিপ্ত মন্তব্য দেখুন ), জোর দেওয়া খনি:p
এই সমস্যাটিকে কখনও কখনও "পি-হ্যাকিং" বা "স্বাধীনতার গবেষক ডিগ্রি" বলা হয় (সিমন্স, নেলসন, এবং সিমোনসোহান, ২০১১)। সাম্প্রতিক একটি নিবন্ধে, আমরা "ফিশিং অভিযান [...]" বলেছি। তবে আমরা অনুভব করতে শুরু করি যে "ফিশিং" শব্দটি দুর্ভাগ্যজনক, কারণ এটি কোনও গবেষককে তুলনা করার পরে তুলনা করার চেষ্টা করার একটি চিত্রকে অনুরোধ করে এবং একটি মাছ ছিনতাই হওয়া পর্যন্ত বারবার হ্রদে লাইন ফেলে দেয়। গবেষকরা নিয়মিত তা করে তা ভাবার কোনও কারণ আমাদের নেই। আমরা মনে করি আসল কাহিনীটি হ'ল গবেষকরা তাদের অনুমান এবং তাদের ডেটা বিবেচনা করে একটি যুক্তিসঙ্গত বিশ্লেষণ করতে পারেন, তবে যদি ডেটাটি অন্যরকমভাবে রূপান্তরিত হয় তবে তারা অন্যান্য বিশ্লেষণগুলিও করতে পারতেন যেগুলি সেই পরিস্থিতিতে যেমন যুক্তিযুক্ত ছিল।
আমরা দুটি কারণের জন্য "ফিশিং" এবং "পি-হ্যাকিং" (এবং এমনকি "স্বাধীনতার গবেষক ডিগ্রি") পদগুলি ছড়িয়ে যাওয়ার জন্য আফসোস করছি: প্রথমত, কারণ যখন এই পদগুলি কোনও গবেষণার বর্ণনা দেওয়ার জন্য ব্যবহৃত হয়, তখন গবেষকরা বিভ্রান্তিমূলকভাবে বোঝায় যে সচেতনভাবে একটি একক ডেটা সেটে বহুবিধ বিশ্লেষণ চেষ্টা করছিলেন; এবং দ্বিতীয়ত, কারণ এটি গবেষকরা নেতৃত্ব দিতে পারে যারা জানেন যে তারা ভুলরূপে ভাবেন যে তারা স্বাধীনতার গবেষক ডিগ্রিগুলির সমস্যার কারণে এতটা দৃ strongly়তার সাথে নয় এমন অনেকগুলি বিশ্লেষণের চেষ্টা করেননি। [...]
এখানে আমাদের মূল বক্তব্যটি হ'ল একাধিক সম্ভাব্য তুলনা করা সম্ভব, এমন এক ডেটা বিশ্লেষণের অর্থে যার বিশদ তথ্যের উপর অত্যন্ত নির্ভরশীল, গবেষকরা মাছ ধরার কোনও সচেতন পদ্ধতি সম্পাদন বা একাধিক পি-মান পরীক্ষা না করেই করেন without ।
সুতরাং: জেলম্যান পি-হ্যাকিং শব্দটি পছন্দ করেন না কারণ এটি সূচিত করে যে গবেষকরা সক্রিয়ভাবে প্রতারণা করেছিলেন। সমস্যাগুলি কেবল তখনই ঘটতে পারে কারণ গবেষকরা ডেটা দেখার পরে কোন পরীক্ষাটি সম্পাদন / রিপোর্ট করবেন তা বেছে নেন, অর্থাত্ কিছু অনুসন্ধান বিশ্লেষণ করার পরে।
জীববিজ্ঞানে কাজ করার কিছু অভিজ্ঞতার সাথে, আমি নিরাপদে বলতে পারি যে প্রত্যেকে এটি করে। প্রত্যেকে (আমার অন্তর্ভুক্ত) কেবলমাত্র একটি অগ্রণী অনুমানের সাথে কিছু তথ্য সংগ্রহ করে, ব্যাপক তদন্ত বিশ্লেষণ করে, বিভিন্ন তাত্পর্য পরীক্ষা করে, আরও কিছু ডেটা সংগ্রহ করে, পরীক্ষা চালায় এবং পুনরায় চালায় এবং অবশেষে চূড়ান্ত পাণ্ডুলিপিতে কিছু মূল্যায়ন রিপোর্ট করে। সক্রিয়ভাবে প্রতারণা করা, বোবা এক্সকেসিডি-জেলি-সিম-স্টাইলে চেরি-বাছাই করা বা সচেতনভাবে কোনও কিছু হ্যাক করা ছাড়াই এগুলি সব ঘটছে ।p
সুতরাং "পি-হ্যাকিং" যদি কোনও লা গেলম্যানের কাঁটাচামচ পথকে বিস্তৃতভাবে বোঝার জন্য হয় তবে এটি কতটা প্রচলিত, তার উত্তর এটি প্রায় সর্বজনীন।
মাথায় আসা একমাত্র ব্যতিক্রমগুলি মনোবিজ্ঞানের সম্পূর্ণ প্রাক-নিবন্ধিত প্রতিলিপি অধ্যয়ন বা সম্পূর্ণ প্রাক-নিবন্ধিত মেডিকেল পরীক্ষাগুলি।
নির্দিষ্ট প্রমাণ
হাস্যকরভাবে, কিছু লোক গবেষকদের কাছে জানতে পেরেছিলেন যে অনেকে হ্যাকিং কিছু প্রকারের স্বীকার করেছেন ( জন এট। ২০১২, সত্য বলার জন্য উদ্দীপনা দিয়ে প্রশ্নোত্তর গবেষণা অনুশীলনের প্রসার পরিমাপ ):
এগুলি ছাড়াও প্রত্যেকে মনোবিজ্ঞানের তথাকথিত "প্রতিলিপি সংকট" সম্পর্কে শুনেছিলেন: শীর্ষ মনোবিজ্ঞান জার্নালে প্রকাশিত সাম্প্রতিক গবেষণার অর্ধেকেরও বেশি প্রতিরূপ তৈরি করে না ( নোসেক এট আল। 2015, মনস্তাত্ত্বিক বিজ্ঞানের প্রজননযোগ্যতা অনুমান করে )। (এই অধ্যয়নটি সম্প্রতি আবার ব্লগগুলিতে পুরোপুরি হয়েছে, কারণ বিজ্ঞানের মার্চ ২০১ issue সংখ্যায় নোসেক এট আলকে খণ্ডন করার চেষ্টা করে একটি মন্তব্য প্রকাশিত হয়েছে এবং নোসেক এট আল-এর একটি উত্তরও ছিল। আলোচনা অন্য কোথাও অব্যাহত রয়েছে, অ্যান্ড্রু গ্যালম্যানের পোস্ট দেখুন এবং তিনি যে লিঙ্কটি প্রত্যাহার করেন তা প্রত্যাহার করে দেখুন।
আপডেট নভেম্বর 2018: কাপলান এবং ইরভিন, 2017, বৃহত্তর এনএইচএলবিআই ক্লিনিকাল ট্রায়ালের নাল ইফেক্টের সম্ভাবনা সময়ের সাথে বৃদ্ধি পেয়েছে যে প্রাক-রেজিস্ট্রেশন হওয়ার পরে নাল রেজাল্টের রিপোর্টিং ক্লিনিকাল ট্রায়ালগুলির ভগ্নাংশ 43% থেকে বেড়ে 92% হয়ে গেছে:
Pসাহিত্যে মূল্য বিতরণ
প্রধান এবং অন্যান্য। 2015
আমি হেড এট আল সম্পর্কে শুনিনি । আগে অধ্যয়ন, তবে এখন আশেপাশের সাহিত্যের সন্ধানে কিছুটা সময় ব্যয় করেছেন। আমি তাদের কাঁচা তথ্য একটি সংক্ষিপ্ত বিবরণও দেখেছি ।
প্রধান এবং অন্যান্য। পাবমিড থেকে সমস্ত ওপেন অ্যাক্সেসের কাগজপত্র ডাউনলোড হয়েছে এবং পাঠ্যে উল্লিখিত সমস্ত পি-মানগুলি বের করেছে, ২.7 মিলিয়ন পি-মান পেয়েছে। এর মধ্যে ১.১ মিলিয়ন হিসাবে এবং হিসাবে নয় বলে প্রতিবেদন করা হয়েছিল । এর মধ্যে হেড এট আল। এলোমেলোভাবে কাগজ প্রতি একটি পি-মান নিয়েছে তবে এটি বিতরণে কোনও পরিবর্তন আনবে বলে মনে হচ্ছে না, সুতরাং সমস্ত 1.1 মিলিয়ন মানের বিতরণটি ( থেকে ) কেমন দেখাচ্ছে :p=ap<a00.06
আমি বিন প্রস্থ ব্যবহার করেছি এবং প্রতিবেদনিত মূল্যগুলিতে একজন স্পষ্টতই অনুমানযোগ্য গোলটি দেখতে পাবে। এখন, হেড এবং অন্যান্য। নিম্নলিখিতগুলি করুন: তারা ব্যবধানে এবং ব্যবধানে মূল্যগুলির সংখ্যা তুলনা করে ; প্রাক্তন সংখ্যাটি (উল্লেখযোগ্যভাবে) বড় হতে দেখা যায় এবং তারা এটিকে হ্যাকিংয়ের প্রমাণ হিসাবে গ্রহণ করে । যদি একটি স্কিন্ট করে, তবে এটি আমার চিত্রের উপর দেখতে পাবে।0.0001pp(0.045,0.5)(0.04,0.045)p
আমি এটি একটি সাধারণ কারণের জন্য এটি অত্যন্ত অনর্থক বলে মনে করি। সাথে কে তাদের ফলাফলের প্রতিবেদন করতে চায় ? প্রকৃতপক্ষে, অনেক লোক ঠিক এমনটি করছে বলে মনে হয়, তবে এখনও এই অসন্তুষ্টিজনক সীমান্ত-রেখা মানটি এড়াতে চেষ্টা করা এবং অন্য উল্লেখযোগ্য অঙ্কের প্রতিবেদন করা, যেমন (অবশ্যই এটি ) স্বাভাবিক বলে মনে হয় । সুতরাং ভ্যালুগুলির কিছু অতিরিক্ত তবে সমান নয় গবেষকের গোলাকৃত পছন্দগুলি দ্বারা ব্যাখ্যা করা যেতে পারে।p=0.05p=0.048p=0.052p0.05
এবং এটি বাদে, প্রভাব ক্ষুদ্র ।
(শুধুমাত্র শক্তিশালী প্রভাব যে আমি এই চিত্র দেখতে পাবে একটি উচ্চারিত ড্রপ পরে -value ঘনত্ব । এটা স্পষ্ট প্রকাশন পক্ষপাত কারণে।)p0.05
আমি যদি কিছু মিস না করি তবে হেড এট। এমনকি এই সম্ভাব্য বিকল্প ব্যাখ্যাটিও আলোচনা করবেন না। তারা ভ্যালুগুলির কোনও হিস্টোগ্রাম উপস্থাপন করে না ।p
হেড এট আল-এর সমালোচনা করার মতো একটি দল রয়েছে। ইন এই অপ্রকাশিত পাণ্ডুলিপি Hartgerink যে হেড এট যুক্তি। তাদের তুলনায় এবং অন্তর্ভুক্ত করা উচিত (এবং যদি তারা থাকে তবে তারা তাদের প্রভাব খুঁজে পেত না)। আমি সে সম্পর্কে নিশ্চিত নই; এটি খুব দৃ sound়প্রবণ মনে হয় না। এটি যদি আরও ভাল হয় যে আমরা কোনওরকম বৃত্তাকার ছাড়াই "কাঁচা" মূল্যগুলির বিতরণটি পরীক্ষা করতে পারি।p=0.04p=0.05p
বৃত্তাকার ছাড়াই মূল্যগুলির বিতরণp
ইন এই 2016 PeerJ কাগজ (উদ্ভাবনের 2015 পোস্ট) একই Hartgerink এট অল। শীর্ষ মনোবিজ্ঞান জার্নালে প্রচুর কাগজপত্র থেকে পি-মানগুলি বের করুন এবং ঠিক এটি করুন: তারা উল্লিখিত -, -, i - ইত্যাদি থেকে যথাযথ মূল্য পুনরুদ্ধার করে ; এই বিতরণটি যে কোনও গোলকৃত নিদর্শনগুলি থেকে মুক্ত এবং 0.05 (চিত্র 4) এর দিকে কোনও বৃদ্ধি প্রদর্শন করে না:ptFχ2
ক্রোচিজিক 2015 পিএলওএস ওয়ান-তে একটি খুব অনুরূপ পন্থা নিয়েছে , যিনি শীর্ষ পরীক্ষামূলক মনোবিজ্ঞান জার্নালগুলি থেকে 135k মূল্যগুলি বের করেন। প্রতিবেদন করা (বাম) এবং সংশোধিত (ডানদিকে) মূল্যগুলির জন্য বিতরণটি কীভাবে দেখায়:pp
পার্থক্যটি আকর্ষণীয়। বাম হিস্টোগ্রামে আশেপাশে কিছু অদ্ভুত জিনিস চলতে দেখায় তবে ডানদিকে এটি চলে গেছে। এর অর্থ এই অদ্ভুত জিনিসগুলি হ্যাকিংয়ের কারণে নয়, কাছাকাছি মান প্রতিবেদন করা লোকজনের পছন্দগুলির কারণে ।p=0.05p≈0.05p
মাসিক্যাম্পো এবং লালান্দে
মনে হয় যে ০.০৫ এর ঠিক নীচে ভ্যালুগুলির কথিত অতিরিক্ত পর্যবেক্ষণ করা প্রথমটি ছিল ম্যাসিক্যাম্পো এবং লালান্দে ২০১২ , মনোবিজ্ঞানের তিনটি শীর্ষ জার্নালকে দেখে:p
এটি চিত্তাকর্ষক দেখাচ্ছে না, তবে লাকেন্স 2015 ( প্রিপ্রিন্ট ) একটি প্রকাশিত মন্তব্যে যুক্তি দেখিয়েছে যে এটি কেবল বিভ্রান্তিকর ক্ষয়ক্ষতিযুক্ত ফিটের জন্য চিত্তাকর্ষক ধন্যবাদ বলে মনে হচ্ছে । ০.০৫ এর নীচে পি-মানগুলি থেকে সিদ্ধান্তগুলি আঁকানোর চ্যালেঞ্জগুলি এবং এর মধ্যে উল্লেখ হিসাবে , লাকেন্স 2015 দেখুন ।
অর্থনীতি
ব্রোডিউর এট আল। অর্থনীতি সাহিত্যের জন্য একই কাজ করুন 2016 (লিঙ্কটি 2013 প্রিপ্রিন্টে যায়)। তিনটি অর্থনীতির জার্নালের দিকে নজর দিন, 50 কে পরীক্ষার ফলাফলগুলি বের করুন, তাদের সমস্তকে স্কোরগুলিতে রূপান্তর করুন (যখনই সম্ভব রিপোর্ট করা সহগ এবং স্ট্যান্ডার্ড ত্রুটিগুলি ব্যবহার করুন এবং ভ্যালুগুলি কেবলমাত্র তাদের প্রতিবেদন করা থাকলে ব্যবহার করুন) এবং নিম্নলিখিতগুলি পান:zp
এটি কিছুটা বিভ্রান্তিকর কারণ ছোট মূল্যগুলি ডানদিকে এবং বড় মূল্যগুলি বাম দিকে। লেখকেরা যেমন বিমূর্তে লিখেছেন, "পি-মানগুলির বন্টন একটি উটের আকারকে প্রচুর পরিমাণে পি-মান সহ .25" এবং ".25 এবং .10 এর মধ্যে একটি উপত্যকা" প্রদর্শন করে। তাদের যুক্তি যে এই উপত্যকাটি মৎসকন্যার একটি চিহ্ন, তবে এটি কেবল পরোক্ষ প্রমাণ। এছাড়াও, এটি কেবল নির্বাচনী প্রতিবেদনের কারণে হতে পারে, যখন উপরের বড় পি-মানগুলি .25 এর প্রভাবের অভাবের কিছু প্রমাণ হিসাবে রিপোর্ট করা হয় তবে .1 এবং .25 এর মধ্যে পি-মানগুলি এখানে বা না থাকায় অনুভূত হয় এবং প্রবণতা থাকে বাদ দেওয়া হবে। (এই প্রভাবটি জৈবিক সাহিত্যে উপস্থিত কিনা তা আমি নিশ্চিত নই কারণ উপরের প্লটগুলি অন্তরকে কেন্দ্র করে)ppp<0.05
মিথ্যা আশ্বাস?
উপরের সব উপর ভিত্তি করে, আমার উপসংহার যে আমি কোন শক্তিশালী প্রমাণ দেখতে পাচ্ছি না হয় মধ্যে -hacking সামগ্রিকভাবে জৈবিক / মানসিক সাহিত্য জুড়ে -value ডিস্ট্রিবিউশন। নির্বাচনী প্রতিবেদন, প্রকাশন পক্ষপাত প্রমাণ প্রচুর আছে, rounding -values নিচে থেকে এবং অন্যান্য মজার রাউন্ডইং প্রভাব, কিন্তু আমি হেড এট সিদ্ধান্তে একমত .: নিচে কোন সন্দেহজনক আচমকা আছে ।ppp0.05 0.050.050.05
উরি সিমোনসোহনের যুক্তি যে এটি "মিথ্যাভাবে আশ্বাস দেয়" । ঠিক আছে, তিনি এই কাগজপত্রগুলি অ-সমালোচিতভাবে উদ্ধৃত করেছেন তবে তারপরে মন্তব্য করেছেন যে "বেশিরভাগ পি-মানগুলি ছোট আকারের হয়" 0.05 এর চেয়ে বেশি। তারপরে তিনি বলেছেন: "এটি আশ্বাস দেয়, তবে মিথ্যাভাবে আশ্বাস দেয়"। এবং এখানে কেন:
যদি আমরা জানতে চাই যে গবেষকরা তাদের ফলাফলগুলি পি-হ্যাক করে থাকেন তবে আমাদের তাদের ফলাফলের সাথে সম্পর্কিত পি-মানগুলি পরীক্ষা করতে হবে, তারা প্রথমে পি-হ্যাক করতে চাইতে পারে। নমুনাগুলি, পক্ষপাতহীন হওয়ার জন্য, কেবলমাত্র আগ্রহের জনসংখ্যার পর্যবেক্ষণ অন্তর্ভুক্ত করতে হবে।
বেশিরভাগ পেপারে উল্লিখিত বেশিরভাগ পি-মানগুলি সুদের কৌশলগত আচরণের জন্য অপ্রাসঙ্গিক। কোভেরিয়েটস, ম্যানিপুলেশন চেক, স্টাডি পরীক্ষার ইন্টারঅ্যাকশনগুলির মূল প্রভাব ইত্যাদি them এগুলি সহ আমরা পি-হ্যাকিংকে অবমূল্যায়ন করি এবং আমরা ডেটার স্পেসিটিভ মানকে বেশি মূল্যায়ন করি। সমস্ত পি-মান বিশ্লেষণ করে একটি পৃথক প্রশ্ন জিজ্ঞাসা করা হয়, কম সংবেদনশীল। "গবেষকরা কি তারা পড়াশুনা করে পি-হ্যাক করে?" পরিবর্তে আমরা জিজ্ঞাসা করি "গবেষকরা কি সব কিছু পি-হ্যাক করেন?"
এটি মোটামুটি বোঝায়। এ খুঁজছি সব রিপোর্ট -values উপায় খুব সশব্দ হয়। উরির কার্ভ পেপার ( সিমোনসোহান এট আল। ২০১৩ ) খুব যত্ন সহকারে নির্বাচিত মূল্যগুলির দিকে নজর দিলে কেউ কী দেখতে পারে তা সুন্দরভাবে প্রদর্শন করে । তারা কয়েকটি সন্দেহজনক কীওয়ার্ডের উপর ভিত্তি করে 20 মনোবিজ্ঞানের কাগজপত্র নির্বাচন করেছে (যথা, এই গবেষণাগুলির লেখকরা কোনও কোভেরিয়েটের জন্য পরীক্ষা নিয়ন্ত্রণের রিপোর্ট করেছিলেন এবং এটি নিয়ন্ত্রণ না করে কী ঘটেছিল তা রিপোর্ট করেননি) এবং তারপরে কেবল মূল্যায়নই নিয়েছিল যা মূল অনুসন্ধানগুলি পরীক্ষা করে। বিতরণটি কেমন দেখাচ্ছে (বাম):ppপি পিpp
শক্তিশালী বাম স্কু দৃ ় হ্যাকিংয়ের পরামর্শ দেয় ।p
উপসংহার
আমি বলতে হবে আমরা যে জানি যে আবশ্যক অনেকটা হতে -hacking বেশিরভাগই forking-পথ যে ধরনের Gelman বর্ণনা করে, চলছে; সম্ভবত যে পরিমাণ প্রকাশিত মূল্যগুলি সত্যিকার অর্থে মূল্য গ্রহণ করা যায় না এবং পাঠকের দ্বারা কিছুটা ভগ্নাংশের দ্বারা "ছাড় করা উচিত"। যাইহোক, এই মনোভাবটি কেবল নীচে সামগ্রিক মূল্যগুলির বিতরণে কেবল একটি দ্বিধাগুলির চেয়ে আরও সূক্ষ্ম প্রভাব ফেলতে পারে বলে মনে হয় এবং এ জাতীয় অস্পষ্ট বিশ্লেষণ দ্বারা সত্যই এটি সনাক্ত করা যায় না।ppপি 0.05 p0.05
