আমার অভিজ্ঞতা অনলাইনে এ / বি পরীক্ষা-নিরীক্ষা থেকে আসে, যেখানে সমস্যাটি সাধারণত স্বল্প বিদ্যুতের অধ্যয়ন বা ভুল জিনিসগুলি পরিমাপ করে। তবে এটি আমার কাছে মনে হয় একটি অতিরিক্ত বিদ্যুৎ সমীক্ষা তুলনামূলক অধ্যয়ন, নিম্ন পি-মান এবং সম্ভবত ভিন্ন ভিন্নতার চেয়ে সংক্ষিপ্ত আত্মবিশ্বাসের অন্তর তৈরি করে। আমি ধারণা করি এটি একইরকম অধ্যয়নের তুলনা করা আরও কঠিন করে তুলতে পারে। উদাহরণস্বরূপ, যদি আমি যথাযথ শক্তি ব্যবহার করে অতিরিক্ত বিদ্যুতের অধ্যয়নটির পুনরাবৃত্তি করি, তবে আমি ঠিক তার প্রভাবটি প্রতিলিপি করলেও আমার পি-মানটি বেশি হবে। বর্ধিত নমুনার আকার এমনকি পরিবর্তনশীলতা ছাড়িয়ে যেতে পারে বা যদি বহিরাগতদের আরও বড় নমুনায় প্রদর্শিত হওয়ার সম্ভাবনা বেশি থাকে তবে তাদের পরিবর্তনশীলতার পরিচয় দিতে পারে।
এছাড়াও, আমার সিমুলেশনগুলি দেখায় যে আপনি আগ্রহী সেগুলি ছাড়া অন্য প্রভাবগুলি আরও বড় নমুনার সাথে উল্লেখযোগ্য হয়ে উঠতে পারে। সুতরাং, যখন পি-মানটি আপনাকে সঠিকভাবে আপনার ফলাফলগুলি বাস্তবের সম্ভাবনা বলে দেয়, তবে আপনি যা ভাবেন উদাহরণস্বরূপ, কারণগুলির সংমিশ্রণ, কিছু ক্ষণস্থায়ী প্রভাব যার জন্য আপনি নিয়ন্ত্রণ করেননি, এবং সম্ভবত অন্য কোনও কারণে এটি বাস্তব হতে পারে ছোট প্রভাব আপনি এটি উপলব্ধি না করেই পরিচয় করিয়ে দিয়েছেন। অধ্যয়নটি যদি কিছুটা অতিরিক্ত চালিত হয় তবে এর ঝুঁকি কম। সমস্যাটি প্রায়শই পর্যাপ্ত পাওয়ার সম্পর্কে জানা শক্ত যেমন উদাহরণস্বরূপ, যদি বেসলাইন মেট্রিক্স এবং ন্যূনতম টার্গেট এফেক্ট অনুমান করা হয় বা প্রত্যাশার চেয়ে আলাদা হয়ে যায়।
আমি এমন একটি নিবন্ধও এসেছি যা যুক্তি দিয়েছিল যে খুব বেশি নমুনার একটি উত্তমতা-পরীক্ষা-নিরীক্ষাও অসম্পূর্ণ বিচ্যুতির প্রতি সংবেদনশীল করে তুলতে পারে, যার ফলে সম্ভাব্য পাল্টা-স্বজ্ঞাত ফলাফলের দিকে এগিয়ে যায়।
এটি বলেছিল, আমি স্বল্প শক্তি না বলে উচ্চতার পক্ষে ভুল করাই ভাল বলে বিশ্বাস করি।