আন্ডার পাওয়ার্ড স্টাডিজ কি মিথ্যা ধনাত্মক হওয়ার সম্ভাবনা বাড়িয়েছে?

Question

এই প্রশ্নটি এখানে এবং এখানে আগে জিজ্ঞাসা করা হয়েছিল তবে আমি মনে করি না যে উত্তরগুলি প্রশ্নের সরাসরি উত্তর দেয়।

আন্ডার পাওয়ার্ড স্টাডিজ কি মিথ্যা ধনাত্মক হওয়ার সম্ভাবনা বাড়িয়েছে? কিছু সংবাদ নিবন্ধ এই দৃser়তা তৈরি করে। জন্য উদাহরণস্বরূপ :

স্বল্প পরিসংখ্যান শক্তি খারাপ খবর। আন্ডার পাওয়ার্ড অধ্যয়নগুলি খাঁটি প্রভাবগুলি মিস করার সম্ভাবনা বেশি থাকে এবং একটি গোষ্ঠী হিসাবে তারা ভুয়া ধনাত্মকতার একটি উচ্চ অনুপাতকে অন্তর্ভুক্ত করার সম্ভাবনা বেশি থাকে - এটি এমন প্রভাব যা আসল না হলেও পরিসংখ্যানিক তাত্পর্য পর্যন্ত পৌঁছায়।

আমি এটি বুঝতে পেরেছি, একটি পরীক্ষার শক্তি দ্বারা বৃদ্ধি করা যেতে পারে:

• নমুনা আকার বৃদ্ধি
• আরও বড় আকারের প্রভাব রয়েছে
• তাত্পর্য স্তর বৃদ্ধি

ধরে নিই আমরা তাত্পর্য স্তরটি পরিবর্তন করতে চাই না, আমি বিশ্বাস করি উপরের উদ্ধৃতিটি নমুনার আকার পরিবর্তনকে বোঝায়। তবে, আমি দেখছি না কীভাবে নমুনা হ্রাস করা উচিত যাতে মিথ্যা ধনাত্মক সংখ্যা বৃদ্ধি করা উচিত। এটিকে সহজভাবে বলতে গেলে, একটি অধ্যয়নের শক্তি হ্রাস করা মিথ্যা নেতিবাচক সম্ভাবনা বাড়িয়ে তোলে, যা এই প্রশ্নের জবাব দেয়:

$$P(\text{failure to reject }H_{0}|H_{0}\text{ is false})$$

বিপরীতে, মিথ্যা ইতিবাচক প্রশ্নের উত্তর:

$$P(\text{reject }H_{0}|H_{0}\text{ is true})$$

উভয়ই পৃথক প্রশ্ন কারণ শর্তসাপেক্ষ পৃথক। শক্তি মিথ্যা নেগেটিভ সম্পর্কিত (বিপরীতভাবে) সম্পর্কিত তবে মিথ্যা ধনাত্মকগুলির সাথে নয়। আমি কিছু অনুপস্থিত করছি?

Comments

এটি মিথ্যা ইতিবাচক হার নয় যা পরিসংখ্যানগত শক্তির উপর নির্ভর করে, তবে "ভ্রান্ত আবিষ্কারের হার": $P(H_0 \text{is true}| \text{reject} H_0)$

— জেক ওয়েস্টফল

হ্যাঁ, এটি তারযুক্ত নিবন্ধে বিবৃতিটির সঠিক ব্যাখ্যা বলে মনে হচ্ছে।

— রবার্ট স্মিথ

Answer 1

আপনি সঠিক যে নমুনা আকার শক্তি প্রভাবিত করে (উদাহরণস্বরূপ 1 - টাইপ II ত্রুটি), কিন্তু টাইপ না আমি ত্রুটি। এটি একটি সাধারণ ভুল বোঝাবুঝি যে নমুনার আকার ছোট হলে যেমন একটি পি-মান (সঠিকভাবে ব্যাখ্যা করা হয়) কম নির্ভরযোগ্য বা বৈধ হয় - ফ্রিস্টন 2012-র অত্যন্ত বিনোদনমূলক নিবন্ধটিতে এটি একটি মজার বিষয় বলে মনে হয় [1]।

বলা হচ্ছে, নিম্ন বিদ্যুত নিয়ে পড়াশোনার বিষয়গুলি বাস্তব, এবং উদ্ধৃতিটি মূলত সঠিক, আমি বলব, এর কথার মধ্যে কেবল কিছুটা অস্পষ্টতা।

আন্ডারপাওয়ার্ড স্টাডিজের মূল সমস্যাটি হ'ল হাইপোথিসিস টেস্টে মিথ্যা পজিটিভ (টাইপ আই ত্রুটি) এর হার নির্ধারিত হলেও সত্য ধনাত্মক (পাওয়ার) এর হার হ্রাস পায়। অতএব, একটি বিদ্যুতের (= উল্লেখযোগ্য) ফলাফল একটি ক্ষুদ্র বিদ্যুৎ সমীক্ষায় সত্যিকারের ইতিবাচক হওয়ার সম্ভাবনা কম। এই ধারণাটি মিথ্যা আবিষ্কারের হারে প্রকাশিত হয়েছে [2], আরও দেখুন [3]। এটাকে মনে হয় উদ্ধৃতিটি কী বোঝায়।

আন্ডার পাওয়ার্ড স্টাডিজ সম্পর্কে প্রায়শই নাম দেওয়া একটি অতিরিক্ত সমস্যা হ'ল এগুলি তাদের প্রভাবের আকারকে বেশি মাত্রায় নিয়ে যায়। কারণগুলি হ'ল) ​​ক) নিম্ন বিদ্যুতের সাথে, আপনার প্রকৃত প্রভাবগুলির অনুমানগুলি তাদের সত্যিকারের মূল্যকে ঘিরে আরও পরিবর্তনশীল (স্টোকাস্টিক) হয়ে উঠবে, এবং খ) শক্তি কম হলে এই প্রভাবগুলির মধ্যে সবচেয়ে শক্তিশালী তাত্পর্য ফিল্টারটি পাস করবে। একজনকে যুক্ত করা উচিত যে এটি একটি প্রতিবেদনের সমস্যা যা কেবলমাত্র উল্লেখযোগ্য প্রভাবগুলি নিয়েই আলোচনা করে এবং প্রতিবেদন করার মাধ্যমে সহজেই ঠিক করা যেতে পারে।

অবশেষে, আন্ডার পাওয়ার্ড স্টাডিজের একটি গুরুত্বপূর্ণ ব্যবহারিক সমস্যা হ'ল কম শক্তি পরিসংখ্যানগত সমস্যাগুলি বাড়ায় (যেমন অনুমানের পক্ষপাত) এবং পাশাপাশি ভেরিয়েবল এবং অনুরূপ পি-হ্যাকিংয়ের কৌশলগুলি নিয়ে খেলার জন্য প্রলোভন। এই "স্বাধীনতার গবেষক ডিগ্রি" ব্যবহার করা সর্বাধিক কার্যকর যখন শক্তি কম থাকে এবং এটি সর্বোপরি টাইপ আই ত্রুটি বাড়িয়ে তুলতে পারে, দেখুন, উদাহরণস্বরূপ, [4]।

এই সমস্ত কারণে, আমি প্রকৃতপক্ষে একটি ক্ষুদ্র বিদ্যুৎ গবেষণা সম্পর্কে সন্দেহবাদী হব।

[1] ফ্রিস্টন, কে। (2012) অ-পরিসংখ্যান পর্যালোচকদের জন্য দশটি হাস্যকর বিধি। নিউরো আইমেজ, 61, 1300-1310।

[2] https://en.wikedia.org/wiki/False_discovery_rate

[3] বোতাম, কেএস; আওনানিডিস, জেপিএ; মোক্রিস, সি .; নোসেক, বিএ; চকচকে, জে; রবিনসন, ইএসজে ও মুনাফো, এমআর (2013) পাওয়ার ব্যর্থতা: কেন ছোট নমুনার আকার নিউরোসায়েন্সের নির্ভরযোগ্যতাকে হীন করে তোলে। ন্যাট। রেভা। নিউরোসি।, 14, 365-376

[4] সিমন্স, জেপি; নেলসন, এলডি এবং সিমোনসোহন, ইউ। (২০১১) মিথ্যা-ইতিবাচক মনোবিজ্ঞান: ডেটা সংগ্রহ এবং বিশ্লেষণে অজ্ঞাতনীয় নমনীয়তা যে কোনও কিছুকে তাত্পর্যপূর্ণ হিসাবে উপস্থাপনের অনুমতি দেয়। সাইকোল সায়।, 22, 1359-1366।

Comments

ধন্যবাদ. দুর্দান্ত রেফারেন্স। সম্পূর্ণতার জন্য, [1] এখানে পাওয়া যাবে এবং [3] এখানে উপলব্ধ । আপনি যখন মিথ্যা আবিষ্কারের হারের বিষয়ে কথা বলেন, আপনি কি নিশ্চিত যে এটি সঠিক ধারণা? [3] এর উপর ভিত্তি করে, সম্ভবত আপনি ইতিবাচক ভবিষ্যদ্বাণীমূলক মান (পিপিভি) বোঝাতে চেয়েছিলেন যার মধ্যে আন্ডার পাওয়ার্ড স্টাডিতে কম পিপিভি থাকে (যা সত্য পজিটিভগুলি উচ্চ শক্তি চালিত গবেষণায় হওয়া উচিত তত ঘন ঘন হয় না) দেখে মনে হচ্ছে মিথ্যা আবিষ্কারের হারটি পিপিভির পরিপূরক।

— রবার্ট স্মিথ

আমি এটি যেভাবে বুঝতে পারি, এই ধারণাগুলি অভিন্ন, পিপিভি = 1-এফডিআর। আমি এফডিআর ব্যবহার পছন্দ করি কারণ আমি স্বজ্ঞাত শব্দটি স্বজ্ঞাতভাবে বুঝতে পারি।

— ফ্লোরিয়ান হারটিগ

এখানে আরও দেখুন en.wikedia.org/wiki/Positive_and_negative_predictive_values

— ফ্লোরিয়ান হারটিগ

তাল Yarkoni পয়েন্ট আউট Friston নিবন্ধটি সম্পর্কে সব কিছু ভুল হয়ে এখানে ।

— জোনা

@ জোনা - আমি মনে করি তাল ইয়ারকোনি তার ব্লগ পোস্টে কিছু ভাল পয়েন্ট উত্থাপন করেছে। আমি অনুমান করি যে 1-বাক্য সংক্ষিপ্তসারটি হবে "নিম্ন শক্তি একটি সমস্যা", যা আমি উপরে যা বলেছি ঠিক এটি। আমি এখনও ফ্রিস্টনের পর্যালোচকদের মন্তব্যে ক্যারিকেচারটি মজাদার বলে খুঁজে পাই, কারণ এমনটি ঘটে যে পর্যালোচকরা গণনার শক্তি জড়িত এমন কোনও যুক্তিযুক্ত যুক্তি ছাড়াই "নমুনার আকারকে খুব কম" খুঁজে পান।

— ফ্লোরিয়ান হারটিগ

Answer 2

আপনি এটি কেমন দেখাবে উপর নির্ভর করে, কম শক্তি করতে দেওয়া পরিস্থিতিতে মিথ্যা ইতিবাচক হার বৃদ্ধি।

নিম্নলিখিতগুলি বিবেচনা করুন: একজন গবেষক একটি চিকিত্সা পরীক্ষা করে। যদি পরীক্ষাটি তুচ্ছ হিসাবে ফিরে আসে তবে তারা এটিকে ত্যাগ করে পরবর্তী চিকিত্সার দিকে এগিয়ে যায়। যদি পরীক্ষাটি উল্লেখযোগ্য ফিরে আসে তবে তারা এটি প্রকাশ করে। আসুন এও বিবেচনা করুন যে গবেষক কিছু চিকিত্সা পরীক্ষা করে যা কিছু কাজ করে যা কিছু না। যদি গবেষকের উচ্চ ক্ষমতা থাকে (অবশ্যই তারা কাজ করে এমন কোনও চিকিত্সা পরীক্ষা করার সময় কেসটি উল্লেখ করে), তবে তারা কার্যকর চিকিত্সার পরীক্ষা করার পরে তারা থামতে খুব সম্ভবত। অন্যদিকে, কম শক্তি সহ, তারা প্রকৃত চিকিত্সার প্রভাবটি মিস করবে এবং অন্যান্য চিকিত্সায় অগ্রসর হতে পারে। তারা যত নাল চিকিত্সা পরীক্ষা করে, তত বেশি প্রকারের ত্রুটি করার সম্ভাবনা থাকে (এই গবেষক একাধিক তুলনার জন্য অ্যাকাউন্ট করেন না)। স্বল্প বিদ্যুতের ক্ষেত্রে তারা আরও অনেক নাল চিকিত্সা পরীক্ষা করবে বলে আশা করা হচ্ছে,

আপনি বলতে পারেন "ভাল, এটি কেবল এক গবেষকই একাধিক তুলনা অপব্যবহার করছেন!"! ঠিক আছে, এটি সত্য হতে পারে, তবে এটিও এই দিনগুলিতে প্রচুর গবেষণা হয়। ঠিক এই কারণগুলির কারণে, ব্যক্তিগতভাবে প্রকাশিত কাজগুলিতে আমার তেমন বিশ্বাস নেই যতক্ষণ না এটির পরিমাণে যথেষ্ট পরিমাণে নমুনা থাকে যাতে গবেষক একই পরীক্ষাকে বড় সংখ্যক বার পুনরাবৃত্তি করতে পারে না।

Comments

ধন্যবাদ. এমনকি একাধিক তুলনা ক্ষেত্রে (যথাযথ সংশোধন ছাড়াই) উপেক্ষা করেও, আমি মনে করি আপনি এখানে পিপিভি-র অন্য উদাহরণ বর্ণনা করেছেন । আমি অনুচ্ছেদটি পেস্ট করতে পারি না তবে এটি শুরু হয় ( For example, suppose that we work in a scientific field in which one in five of the effects we test are expected to be truly non-null)

— রবার্ট স্মিথ

হ্যাঁ হ্যাঁ, আমি খুব উল্লেখ করছি যা আমি উল্লেখ করছি। সবচেয়ে ছোট পার্থক্যটি হ'ল আমি বলছি "একটি প্রদত্ত পরীক্ষামূলক পদ্ধতিতে , সত্যিকারের প্রভাবের প্রতিটি পরীক্ষায় স্বল্প স্বল্প শক্তি থাকা আমাদের পুরো পরীক্ষামূলক পদ্ধতিতে টাইপ আই ত্রুটি তৈরির প্রতিক্রিয়া বাড়িয়ে তোলে "। এটি অবশ্যই প্রতিটি পরিসংখ্যান পরীক্ষায় টাইপ আই ত্রুটির হার বাড়ানোর চেয়ে আলাদা। এছাড়াও, এটি কেবল পিপিভির চেয়ে পৃথক সংজ্ঞাগুলির মধ্যে সবচেয়ে প্রযুক্তিগত। তবে মিডিয়া বিবৃতিটি "স্বল্প শক্তি বাড়ায় টাইপ আই ত্রুটিগুলি" বোঝার একমাত্র উপায় (এবং আমি মনে করি এটি অনেক অর্থবোধ করে)।

— ক্লিফ এবি

Answer 3

নিম্ন শক্তি টাইপ -1 ত্রুটি হারকে প্রভাবিত করতে পারে না তবে এটি টাইপ -1 ত্রুটিযুক্ত প্রকাশিত ফলাফলের অনুপাতকে প্রভাবিত করতে পারে।

কারণটি হ'ল কম শক্তি এইচ 0 (টাইপ -2 ত্রুটি) এর সঠিক প্রত্যাখ্যানের সম্ভাবনা হ্রাস করে তবে এইচ 0 (প্রকার -1 ত্রুটি) এর মিথ্যা প্রত্যাখ্যানের সম্ভাবনা নয়।

একটি সেকেন্ডের জন্য ধরে নিন যে দুটি সাহিত্য আছে ... একটি খুব কম শক্তি দিয়ে পরিচালিত - শূন্যের কাছাকাছি - এবং অন্যটি পর্যাপ্ত শক্তি নিয়ে পরিচালিত হয়। উভয় সাহিত্যে, আপনি ধরে নিতে পারেন যে এইচ 0 মিথ্যা হলে আপনি এখনও কিছু সময় মিথ্যা ধনাত্মকতা পাবেন (যেমন, আলফা = .05 এর জন্য 5%)। ধরে নিই গবেষকরা তাদের অনুমানের ক্ষেত্রে সবসময় সঠিক হয় না, আমরা ধরে নিতে পারি উভয় সাহিত্যের টাইপ -১ ত্রুটি একই সংখ্যার হওয়া উচিত, ভাল শক্তি বা না। এটি কারণ, টাইপ -1 ত্রুটির হার পাওয়ার দ্বারা প্রভাবিত হয় না, অন্যরা বলেছে।

তবে স্বল্প শক্তি সহ সাহিত্যে আপনার টাইপ -2 ত্রুটিও অনেক বেশি হবে। অন্য কথায়, স্বল্প-শক্তিযুক্ত সাহিত্যের এইচ 0 এর প্রত্যাখ্যানগুলি সংশোধন করা উচিত, টাইপ -1 ত্রুটিটিকে সাহিত্যের একটি বৃহত অনুপাতে পরিণত করে। উচ্চ-শক্তি সাহিত্যে, আপনার H0 এর সঠিক এবং ভুল প্রত্যাখ্যানের মিশ্রণ থাকা উচিত।

সুতরাং, কম শক্তি প্রকার -1 ত্রুটি বৃদ্ধি করে? না। তবে, প্রকার -1 ত্রুটি প্রকাশিত ফলাফলের বৃহত অনুপাত তৈরি করে সত্যের প্রভাবগুলি খুঁজে পাওয়া আরও কঠিন করে তোলে।

Comments

ধন্যবাদ. পিপিভির কী হবে? ইন কাগজ ফ্লোরিয়ান Hartig দ্বারা সমর্থিত, সেখানে দাবি একটি টাইপ আমি ভুল, নিম্ন শক্তি, PPV- এর কম দেওয়া হয়। যদি পিপিভি কম হয়, যার অর্থ সত্য দাবি করা আবিষ্কারের সংখ্যা কম, তবে মিথ্যা দাবি করা আবিষ্কারের (ভুয়া ধনাত্মক) সংখ্যা বাড়াতে হবে।

— রবার্ট স্মিথ

Answer 4

অন্যের উত্তর ছাড়াও, যখন একটি নমুনা আকার ছোট হয় তখন একটি অধ্যয়ন সাধারণত নিম্নশক্ত হয়। এমন অনেকগুলি পরীক্ষা রয়েছে যা কেবলমাত্র asympototically বৈধ, এবং খুব ছোট আশা এন বা আশাবাদী বা রক্ষণশীল।

অন্যান্য শর্তগুলি কেবলমাত্র ছোট নমুনা আকারের জন্য বৈধ যদি নির্দিষ্ট শর্তগুলি পূরণ হয় তবে এটি একটি বৃহত নমুনার আকারের (যেমন, টি-পরীক্ষা) আরও দৃust় হয়।

এই উভয় ক্ষেত্রেই ছোট নমুনার আকার এবং আনমেট অনুমানের ফলে I টাইপের ত্রুটি হার বৃদ্ধি পেতে পারে। এই উভয় পরিস্থিতি প্রায়শই যথেষ্ট হয় যে আমি আপনার প্রশ্নের আসল উত্তরটিকে বিবেচনা করি: তাত্ত্বিকভাবে নয় বরং বাস্তবে।