কোনও পৃথক গবেষককে কীভাবে ভ্রান্ত আবিষ্কারের হার সম্পর্কে চিন্তা করা উচিত?

Question

আমি কীভাবে মিথ্যা আবিষ্কারের হার (এফডিআর) পৃথক গবেষককে সিদ্ধান্তে অবহিত করতে পারি তার চারপাশে আমার মাথা গুটিয়ে দেওয়ার চেষ্টা করছি। উদাহরণস্বরূপ, আপনার অধ্যয়ন যদি ক্ষুদ্রতর হয় তবে your এ তাৎপর্যপূর্ণ হলেও আপনার ফলাফলগুলি কি ছাড় করা উচিত ? দ্রষ্টব্য: আমি একাধিক পরীক্ষার সংশোধনের পদ্ধতি হিসাবে নয় , একাধিক স্টাডির ফলাফলকে সামগ্রিকভাবে পরীক্ষা করার প্রসঙ্গে এফডিআর সম্পর্কে কথা বলছি ।$\alpha = .05$

(সম্ভবত উদার) অনুমান করা যে অনুমানের 5 আসলেই সত্য, এফডিআর হ'ল টাইপ I এবং টাইপ II ত্রুটির হার উভয়েরই একটি ফাংশন:$\sim.5$

$$\text{FDR} = \frac{\alpha}{\alpha+1-\beta}.$$

এটি কারণ হিসাবে দাঁড়িয়েছে যে কোনও গবেষণা যদি পর্যাপ্ত পরিমাণে বিদ্যুৎপাত হয় , তবে ফলাফলগুলি তাৎপর্যপূর্ণ হলেও আমরা নির্ভর করতে পারি না, পর্যাপ্ত পরিমাণে চালিত গবেষণার মতোই। সুতরাং, কিছু পরিসংখ্যানবিদরা যেমন বলবেন , এমন পরিস্থিতি রয়েছে যার অধীনে, "দীর্ঘমেয়াদে", আমরা প্রচলিত উল্লেখযোগ্য ফলাফল প্রকাশ করতে পারি যা আমরা যদি প্রচলিত নির্দেশিকা অনুসরণ করি তবে এটি মিথ্যা false যদি গবেষণার কোনও অংশটি ধারাবাহিকভাবে আন্ডার পাওয়ার্ড স্টাডিজ দ্বারা চিহ্নিত করা হয় (উদাহরণস্বরূপ, প্রার্থী জিন আগের দশকের পরিবেশগত মিথস্ক্রিয়া সাহিত্যের ), এমনকি প্রতিলিপিযুক্ত উল্লেখযোগ্য অনুসন্ধানগুলি সন্দেহ হতে পারে।$\times$

আর প্যাকেজ প্রয়োগ করা হচ্ছে extrafont, ggplot2এবং xkcd, আমি এই গুরুত্বপূর্ণভাবে একটি হিসাবে ধারণা করা যেতে পারে মনে দৃষ্টিকোণ ইস্যু:

এই তথ্যটি দেওয়া, পরবর্তী কোনও পৃথক গবেষককে কী করা উচিত ? যদি আমি অনুমান করি যে আমি যে প্রভাবটি নিয়ে পড়াচ্ছি তার আকারটি কী হওয়া উচিত (এবং তাই আমার নমুনা আকার দেওয়া 1 - \ বিটার একটি অনুমান $1 - \beta$), আমি কি FDR = .05 অবধি আমার $\alpha$ স্তরটি সামঞ্জস্য করব ? আমার অধ্যয়ন ক্ষমতার বাইরে থাকলেও এবং সাহিত্যের গ্রাহকদের এফডিআর বিবেচনা ছেড়ে দেওয়ার পরেও কি $\alpha = .05$ পর্যায়ে ফলাফল প্রকাশ করা উচিত ?

আমি জানি এটি এমন একটি বিষয় যা এই সাইটে এবং পরিসংখ্যান সাহিত্যে উভয় ক্ষেত্রেই প্রায়শই আলোচিত হয়েছিল, তবে আমি এই বিষয়ে মতামতের একটি মতামত খুঁজে পাচ্ছি না can't

---

সম্পাদনা: @ অ্যামিবার মন্তব্যের প্রতিক্রিয়া হিসাবে, এফডিআর স্ট্যান্ডার্ড টাইপ আই / টাইপ II ত্রুটি হারের ক্রিয়াকলাপ সারণী থেকে উদ্ভূত হতে পারে (এর কদর্যতা ক্ষমা করুন):

|                            |Finding is significant |Finding is insignificant |
|:---------------------------|:----------------------|:------------------------|
|Finding is false in reality |alpha                  |1 - alpha                |
|Finding is true in reality  |1 - beta               |beta                     |

সুতরাং, যদি আমরা একটি গুরুত্বপূর্ণ অনুসন্ধানের (কলাম 1) উপস্থাপন করা হয়, তবে এটি বাস্তবে মিথ্যা হওয়ার সুযোগটি কলামের যোগফলের তুলনায় আলফা।

তবে হ্যাঁ, প্রদত্ত অনুমানটি সত্য হওয়ার (পূর্ববর্তী) সম্ভাবনা প্রতিফলিত করার জন্য আমরা এফডিআর সম্পর্কে আমাদের সংজ্ঞাটি সংশোধন করতে পারি, যদিও অধ্যয়নের শক্তি এখনও ভূমিকা পালন করে:$(1 - \beta)$

$$\text{FDR} = \frac{\alpha \cdot (1- \text{prior})}{\alpha \cdot (1- \text{prior}) + (1-\beta) \cdot \text{prior}}$$

Comments

এটি আপনাকে আপনার প্রশ্নের সুনির্দিষ্ট উত্তর নাও দিতে পারে তবে আপনি এই লেখায় অনুপ্রেরণা পেতে পারেন ।

— জনরোস

আপনি যে ডেভিড কলকোউনের কাগজের সাথে লিঙ্ক করেছেন, খুব সম্প্রতি এখানে আলোচনা হয়েছে (@ ডেভিড কলকোউন নিজেই আলোচনায় যোগ দিয়েছেন), আপনি একবার নজর দিতে আগ্রহী হতে পারেন।

— অ্যামিবা বলেছেন মিনিকার

এবং ক্ষেত্রে এফডিআরের সূত্রটি কোথা থেকে এসেছে? সম্ভবত আমি বোকা হয়েছি, তবে কেন এটি সত্য হওয়া উচিত তা আমি দেখতে পাচ্ছি না। আমি আশা করব যে এফডিআর অধ্যয়নের জনসংখ্যার নালাগুলির বিস্তারের উপর নির্ভর করবে, যা আপনার সূত্রে প্রবেশ করায় বলে মনে হয় না। আমি দ্বিধান্বিত. $\alpha$$\beta$

— অ্যামিবা বলছেন পুনর্নির্মাণ মনিকা

ঠিক আছে, ঠিক আছে, আমার তা ফিরে নেওয়া উচিত: পূর্বের সম্ভাবনা থাকাকালীন আপনার মূল সূত্রটি বিশেষ ক্ষেত্রে সঠিক । আপনি আসলে এটি সমস্ত বরাবর লিখেছিলেন, কিন্তু আমি লক্ষ্য করি না; দুঃখিত। এছাড়াও, আপনি ঠিক বলেছেন যে কোনও প্রদত্ত ( বা আপনার বাদে ), এফডিআর হ্রাস পাওয়ার সাথে শূন্যের পাওয়ার এ পৌঁছে যাবে grow সুতরাং আপনার প্রশ্নটি বুদ্ধিমান হয়েছে, +1। $p=0.5$$p$$p=0$$\text{prior}=1$$1$

— অ্যামিবা

$\alpha$

Answer 1

$p$

পরিবর্তে, সমস্ত স্টাডিজের অ্যাক্সেসযোগ্য, পাওয়ার স্তর বা উল্লেখযোগ্য ফলাফল উপেক্ষা করে থাকা গুরুত্বপূর্ণ। আসলে, কেবলমাত্র তাৎপর্যপূর্ণ প্রকাশ করার এবং অ-তাৎপর্যহীন ফলাফলগুলি গোপন করার খারাপ অভ্যাসটি প্রকাশনা পক্ষপাতের দিকে পরিচালিত করে এবং বৈজ্ঞানিক ফলাফলের সামগ্রিক রেকর্ডকে কলুষিত করে।

সুতরাং পৃথক গবেষককে পুনরুত্পাদনযোগ্য উপায়ে একটি অধ্যয়ন পরিচালনা করা উচিত, সমস্ত রেকর্ড রাখতে হবে এবং সমস্ত পরীক্ষামূলক পদ্ধতিতে লগইন করা উচিত এমনকি যদি প্রকাশনা জার্নালগুলির কাছে এ জাতীয় বিবরণ না জিজ্ঞাসা করা হয়। স্বল্প শক্তি নিয়ে তার খুব বেশি চিন্তা করা উচিত নয়। এমনকি একটি অ-তথ্যমূলক ফলাফল (= নাল অনুমানকে প্রত্যাখ্যান করা হয়নি) পরবর্তী গবেষণার জন্য আরও বেশি অনুমানকারী যুক্ত করবে, যতক্ষণ না কেউ নিজেরাই তথ্যের পর্যাপ্ত মানের বহন করতে পারে।

$p$$p$$p$

Comments

হর্স্ট, আপনি অন্যরকম প্রশ্নের উত্তর চেয়েছিলেন বলে মনে হচ্ছে than

— অ্যালেক্সিস

নোট করুন যে প্রশ্নটি স্টাডির মধ্যে FDR সম্পর্কিত, এর মধ্যে নয়। সঠিক সিদ্ধান্তগুলির গ্রহণযোগ্য সামগ্রিক হারের জন্য এটি কিছু ধরণের বেইসিয়ান পদ্ধতির সাথে জড়িত। আমার উত্তর জোর দেয় যে সামগ্রিক রায় বরং সিদ্ধান্তের ভিত্তিতে অধ্যয়ন ডেটা এবং অনুমানকে একত্রিত করেই করা হয়, সুতরাং একক গবেষণার ডেটা (সিদ্ধান্তগুলি নয়) যতক্ষণ না নির্ভরযোগ্য ততক্ষণ সমস্যাটি একটি বিশাল "ভার্চুয়াল স্টাডি" তৈরি করে সমাধান করা হয়।

— হর্স্ট গ্রানবুশ

Answer 2

$\alpha$$\alpha=.05$

$\alpha$

$p<0.05$$p\approx 0.05$$p$$p\ll 0.05$$p$-মূল্য আবার ক্ষুদ্র হবে)।

$\alpha$

Answer 3

এটি আসলে একটি গভীর দার্শনিক প্রশ্ন। আমি নিজেই একজন গবেষক এবং আমি এ সম্পর্কে কিছুক্ষণ ভেবেছি। তবে একটি উত্তরের আগে, আসুন ভ্রূণ্য আবিষ্কারের হারটি কী তা পর্যালোচনা করি।

এফডিআর বনাম পি পি কেবল একটি পার্থক্য রয়েছে বলে বলার সম্ভাবনার একটি পরিমাপ, যখন কোনও পার্থক্য নেই এবং শক্তিটিকে বিবেচনায় না নেয়। অন্যদিকে, এফডিআর শক্তিটিকে আমলে নেয়। তবে, এফডিআর গণনা করার জন্য, আমাদের একটি অনুমান করতে হবে: আমরা সত্যিকারের ইতিবাচক ফলাফল পাওয়ার সম্ভাবনা কী? এটি এমন কিছু যা আমাদের কখনও অ্যাক্সেস পাবে না, অত্যন্ত স্বীকৃত পরিস্থিতিতে বাদ দিয়ে। আমি সম্প্রতি আমার দেওয়া একটি সেমিনারে এই সম্পর্কে কথা বললাম। আপনি এখানে স্লাইডগুলি খুঁজে পেতে পারেন ।

এই বিষয়ে ডেভিড কলকোউনের কাগজ থেকে একটি চিত্র এখানে দেওয়া হয়েছে :

মিথ্যা আবিষ্কারের হারকে সত্য ধনাত্মক এবং মিথ্যা ধনাত্মকগুলির সংখ্যার (উদাহরণস্বরূপ, 495 / (80 + 495) x 100% = 86% দিয়ে যোগ করে মিথ্যা ধনাত্মক সংখ্যার ভাগ করে গণনা করা হয়!

পি-তে আরও কিছুটা

আমার বক্তৃতা থেকে স্লাইড সন্ধান করুন। আমি এই বিষয়টি নিয়ে আলোচনা করেছি যে পি মানগুলি একটি বিতরণ থেকে আঁকা। যার অর্থ সর্বদা এমন একটি সুযোগ থাকবে যে আপনি একটি মিথ্যা ইতিবাচক সন্ধান পাবেন। সুতরাং পরিসংখ্যানগত তাত্পর্যকে নিখুঁত সত্য হিসাবে ভাবা উচিত নয়। আমি যুক্তি দিয়েছি যে পরিসংখ্যানগতভাবে তাত্পর্যপূর্ণ এমন কোনও কিছুর অর্থ ব্যাখ্যা করা উচিত, "আরে, এখানে আকর্ষণীয় কিছু থাকতে পারে, আমি নিশ্চিত নই, কেউ ডাবল চেক করে যান!" সুতরাং গবেষণায় প্রজননযোগ্যতার মৌলিক ধারণা!

তাহলে আমরা কি করতে পারি? ঠিক আছে, উপরের চিত্রটি সম্পর্কে এবং পি এবং এফডিআর সম্পর্কে আমার বিশ্লেষণ সম্পর্কে একটি আকর্ষণীয় বিষয় হ'ল আমরা একমাত্র সুস্পষ্ট বোধগম্যতা অর্জনের একমাত্র উপায় হ'ল 1) প্রজননযোগ্যতা এবং 2) সমস্ত ফলাফল প্রকাশ করা। এতে নেতিবাচক ফলাফল অন্তর্ভুক্ত রয়েছে (যদিও নেতিবাচক ফলাফলগুলি ব্যাখ্যা করা কঠিন)। তবে, আমরা আমাদের ফলাফলগুলি থেকে যে সিদ্ধান্তে পৌঁছেছি তা অবশ্যই উপযুক্ত। দুর্ভাগ্যক্রমে, অনেক পাঠক এবং গবেষক পি এবং এফডিআর সম্পর্কিত ধারণাগুলি পুরোপুরি বুঝতে পারেন না। আমি বিশ্বাস করি যে ফলাফলগুলি যথাযথভাবে বিশ্লেষণ করা পাঠকদের দায়িত্ব ... যার অর্থ বোঝা যাচ্ছে শেষ পর্যন্ত বোঝা শিক্ষকদের কাঁধে। সর্বোপরি, 0.000000001 এর একটি পি মান অর্থহীন যদি "বিস্তৃতি" (উপরের চিত্রটি দেখুন) 0 হয় (সেই ক্ষেত্রে, মিথ্যা আবিষ্কারের হার 100% হবে)।

প্রকাশনা গবেষক হিসাবে, আপনার ফলাফলগুলি সম্পূর্ণরূপে বোঝার জন্য সতর্ক থাকুন এবং দাবিগুলি কেবল আপনার ইচ্ছামত তৈরি করুন। যদি এটি প্রমাণিত হয় যে আপনার নির্দিষ্ট অধ্যয়নের জন্য এফডিআর 86% (উপরের উদাহরণের মতো), তবে আপনার ব্যাখ্যাগুলি সম্পর্কে আপনার খুব যত্নবান হওয়া উচিত। অন্যদিকে, যদি আপনার স্বাচ্ছন্দ্যের জন্য এফডিআর যথেষ্ট ছোট হয় .... তবুও আপনার ব্যাখ্যাগুলিতে সতর্ক থাকুন।

আমি আশা করি এখানে সবকিছু পরিষ্কার ছিল। এটি একটি অত্যন্ত গুরুত্বপূর্ণ ধারণা এবং আমি আনন্দিত যে আপনি আলোচনাটি সামনে এনেছিলেন। আপনার যদি কোন প্রশ্ন / উদ্বেগ / ইত্যাদি থাকে তবে আমাকে জানান।

Comments

@ অ্যালেক্সিস অতিরিক্ত বিদ্যুৎ সমীক্ষার মতো বিষয় নেই! যতক্ষণ প্রভাবের আকারটি লক্ষ্য করা যায় ততক্ষণ বড় আকারের নমুনা আকার নিয়ে অধ্যয়ন করে প্রভাবের আকার আরও ঘনিষ্ঠভাবে সংজ্ঞায়িত করতে সক্ষম হওয়ার কোনও ক্ষতি হতে পারে না। 'অতিশক্তিহীন' ধারণাটি আমার কাছে খালি ধারণার সাথে আবদ্ধ বলে মনে হয় যে পর্যবেক্ষণ করা ডেটা না দেখে কোনও পি-ভ্যালু তাকানো থেকে কোনও দরকারী সূচনা করতে পারে।

— মাইকেল লিউ

@ মিশেললিউ: আপনি ঠিক বলেছেন যে অতিরিক্ত চাপ প্রয়োগের বিষয়টি সমাধান করা যেতে পারে (আংশিকভাবে) যদি আপনি সর্বদা অনুমিত প্রভাবের আকারটিকে পি-ভ্যালু সহ একসাথে বিবেচনা করেন। যাইহোক, এটি পি-মানগুলির উদ্দেশ্যটিকে কিছুটা পরাভূত করে: বাইনারি পরীক্ষার ফলাফলগুলিতে প্রভাব অনুমানকারীকে ম্যাপিং "এফেক্ট উপস্থিত / উপস্থিত নয়" যেমন টাইপ আই ত্রুটির হারটি কোরেক্ট। এছাড়াও, আপনার রায়টি প্রাসঙ্গিক প্রভাবের আকারটি কী হতে পারে, আপনি পি-মানটি দেখতে দেখতে পরিবর্তন হতে পারে। সুতরাং প্রকৃতপক্ষে প্রাসঙ্গিক প্রভাবের পরিসীমাটিকে পূর্বনির্ধারিত করে পরবর্তীকালে এটিকে গবেষণার সিআইয়ের সাথে তুলনা করা ভাল, তবে আলেকিসের পরামর্শ অনুসারে এটিকে সমাধান করা ভাল।

— হর্স্ট গ্রানবুশ্চ

$\theta$

একটি ডিগ্রি পর্যন্ত ... আমি পরিসংখ্যানগত অনুক্রমের বিষয়ে কঠোরভাবে কথা বলছিলাম , আপনি যখন অধ্যয়নের নকশার যুক্তি এবং বৈজ্ঞানিক জ্ঞান উত্পাদন করার একটি অ্যান্টোলজি সম্পর্কে আরও কথা বলছিলেন। এটি বলেছিল, আমি অনুভব করি যে ইতিবাচক অনুসন্ধানগুলি যতটা যত্নের আর্ট প্রোটোকল ইত্যাদির সাথে ব্যাখ্যা করা হয় না ঠিক তেমনি নেতিবাচক ফলাফলগুলির মতো উদ্বুদ্ধ হওয়ার সম্ভাবনাও রয়েছে। মহাবিশ্বের সমস্ত ঘটনা বিচ্ছিন্নভাবে পড়াশোনা করার জন্য উপযুক্ত নয় (যেমন পৃথক এবং জনসংখ্যা স্বাস্থ্য উভয়ই একই সাথে রাসায়নিক, সামাজিক, আচরণগত, ইত্যাদি) এবং তাই অনটোলজিকাল অনিশ্চয়তা অবশ্যই এই জাতীয় জটিল ব্যবস্থার অধ্যয়নের সাথে থাকতে হবে।

— অ্যালেক্সিস

@ হোর্স্টগ্রনবুশ, আমি পি-ভ্যালু নয়, আলফা এবং বিটা নিয়ে কাজ করে বলে মূল প্রশ্নটি হাইব্রিড প্রসঙ্গে সেট করা হিসাবে দেখছি না। যাইহোক, জাস্টানথ্রাব্রইনের উত্তরের অবশ্যই এটি পুরোপুরি নেইম্যান এবং পিয়ারসন কাঠামো বা তাত্পর্যপূর্ণ পরীক্ষার কাঠামোর মধ্যে রাখার জন্য পুনরায় কাজ করা দরকার। মিথ্যা আবিষ্কারের হারগুলি সত্যই কেবল পূর্বের অন্তর্ভুক্ত।

— মাইকেল লিউ 9:38

Answer 4

সম্পর্কগুলি বুঝতে সহায়তা করার জন্য, আমি এফডিআর এর এই গ্রাফটি বিভিন্ন শক্তির (আলফা = 0.05 সহ) পূর্বের সম্ভাবনার ফাংশন হিসাবে তৈরি করেছি। এই গ্রাফটি নোট করুন, এবং @ বাকমিনস্টার এর সমীকরণটি আলফার চেয়ে কম পি এর সাথে সমস্ত ফলাফলের জন্য এফডিআর গণনা করে। আপনি যদি একটি গবেষণায় পর্যবেক্ষণ করতে গিয়েছিলেন কেবল পি মানগুলির খুব কাছাকাছি বিবেচনা করলে গ্রাফটি আলাদা দেখাবে।

Comments

এবং এখানে একটি চকচকে অ্যাপ্লিকেশন সংস্করণ রয়েছে (যদিও কিছুটা আলাদা): buckminster.shinyapps.io/FalseDiscoveryRate

— রিচার্ড বর্ডার

Answer 5

প্রকাশের পরামর্শ দেওয়া একটি সিদ্ধান্ত। আমি মনে করি যে এই সিদ্ধান্তের সাথে কী কী সুবিধা এবং ব্যয় যুক্ত তা অধ্যয়ন করা সার্থক।

1) একাডেমিক পরিবেশ সর্বজনীনভাবে গবেষকদের আরও প্রকাশ করার জন্য চাপ দেয়, ভেবেছিল বিভিন্ন প্রকাশনা বিভিন্ন র‌্যাঙ্কিং এই রেকর্ডকেও প্রভাবিত করবে। আমরা ধরে নিতে পারি যে আরও মর্যাদাপূর্ণ জার্নালগুলিতে আরও শক্তিশালী মানের চেকিং থাকতে পারে (আমি আশা করি))

2) প্রচুর প্রকাশনাগুলির সাথে সামাজিক ব্যয় যুক্ত হতে পারে। এই সংস্থানগুলি অন্য কোথাও ব্যবহার করা যেতে পারে, যেমন ফল প্রকাশনা ছাড়াই প্রয়োগিত গবেষণার মতো। সম্প্রতি একটি প্রকাশনা প্রকাশিত হয়েছিল যে নতুন প্রকাশনার নিখুঁত পরিমাণ এত বড় হওয়ায় অনেক প্রকাশনা উত্স হিসাবে গুরুত্বপূর্ণ নয় ... :)

http://arxiv.org/pdf/1503.01881v1.pdf

পৃথক গবেষক এক নম্বর বাহিনীকে আরও প্রকাশ করতে বাধ্য করেন এবং আমি মনে করি যে প্রাতিষ্ঠানিক মানের মানের চেক থাকা উচিত যা স্বীকৃত স্তরে মানের রাখতে পৃথক মানুষের উপর নির্ভরশীল নয়।

যে কোনও ক্ষেত্রে আপনার প্যারামিটারের মানগুলি সত্য নয়, ফলাফলগুলি সত্যই এবং / অথবা মিথ্যাভাবে তাত্পর্যপূর্ণ হলে প্রকাশিত ফলাফলের সংখ্যার সাথে সম্পর্কিত বিভিন্ন ব্যয় এবং বেনিফিট বিবেচনা করে এগুলি অবশ্যই মান দিতে হবে।