পরিবার-ভিত্তিক ত্রুটির সীমানা: স্বাধীন প্রশ্নগুলির বিভিন্ন গবেষণায় ডেটা সেটগুলি পুনরায় ব্যবহার করা কি একাধিক পরীক্ষার সমস্যায় বাড়ে?


11

গবেষকদের একটি দল যদি কোনও প্রদত্ত ডেটা সেটটিতে একাধিক (হাইপোথিসিস) পরীক্ষা করে, সেখানে সাহিত্যের একটি ভলিউম রয়েছে যে তাদের একাধিক পরীক্ষার (বনফেরোনি ইত্যাদি) সংশোধন করার কিছু ফর্ম ব্যবহার করা উচিত, এমনকি যদি পরীক্ষাগুলি স্বতন্ত্র থাকে। আমার প্রশ্নটি হ'ল: এই একই যুক্তিটি কি একাধিক টিমের জন্য একই ডেটা সেটে হাইপোথেসিগুলি পরীক্ষা করার জন্য প্রযোজ্য? অন্যভাবে বলেছেন - পরিবার-ভিত্তিক ত্রুটি গণনার ক্ষেত্রে বাধা কী? গবেষকরা কেবল অনুসন্ধানের জন্য ডেটা সেট পুনরায় ব্যবহারের মধ্যে সীমাবদ্ধ থাকতে হবে?

উত্তর:


10

আমি এই দাবিতে এক তদন্তের মধ্যে একাধিক-অনুমানের সংশোধনের গুরুত্ব স্বীকার করার জন্য @fcoppens লাফিয়ে যাওয়ার সাথে দৃ strongly়ভাবে একমত নই "" বেশ কয়েকটি দল এই পরীক্ষা করে যদি একই যুক্তি অনুসারে একই হয়। "

প্রশ্ন নেই যে আরও বেশি গবেষণা করা হয় এবং আরও অনুমান পরীক্ষা করা হয়, তত বেশি টাইপ ত্রুটি ঘটবে। তবে আমি মনে করি "পরিবার-ভিত্তিক ত্রুটি" হারের অর্থ এবং প্রকৃত বৈজ্ঞানিক কাজে তারা কীভাবে প্রয়োগ করে তা নিয়ে এখানে একটি বিভ্রান্তি রয়েছে।

প্রথমত, মনে রাখবেন যে একাধিক পরীক্ষার সংশোধন সাধারণত উত্তর- পূর্বের তুলনাগুলিতে উত্থিত হয়েছিল যার জন্য কোনও প্রাক-সূচিত অনুমান ছিল না। অনুমানের একটি ছোট পূর্ব নির্ধারিত সেট থাকে যখন একই সংশোধন প্রয়োজন হয় তা মোটেও পরিষ্কার নয়।

দ্বিতীয়ত, একটি পৃথক প্রকাশনার "বৈজ্ঞানিক সত্য" প্রকাশনার মধ্যে প্রতিটি পৃথক বক্তব্যের সত্যের উপর নির্ভর করে না। একটি সু-পরিকল্পিত অধ্যয়ন অনেকগুলি ভিন্ন দৃষ্টিকোণ থেকে সামগ্রিক বৈজ্ঞানিক (পরিসংখ্যানের বিপরীতে) অনুমানের কাছে পৌঁছেছে এবং বৈজ্ঞানিক অনুমানের মূল্যায়নের জন্য বিভিন্ন ধরণের ফলাফল একসাথে রাখে । প্রতিটি পৃথক ফলাফল একটি পরিসংখ্যান পরীক্ষা দ্বারা মূল্যায়ন করা যেতে পারে।

তবে @fcoppens এর যুক্তি অনুসারে, যদি সেই স্বতন্ত্র পরিসংখ্যানগত পরীক্ষাগুলির মধ্যে একটিও টাইপ আই ত্রুটি করে তবে এটি "বৈজ্ঞানিক সত্যের" মিথ্যা বিশ্বাসের দিকে পরিচালিত করে। এটি কেবল ভুল।

একটি পৃথক পরিসংখ্যান পরীক্ষার বৈধতার বিপরীতে একটি প্রকাশনায় বৈজ্ঞানিক অনুমানের "বৈজ্ঞানিক সত্য" সাধারণত বিভিন্ন ধরণের প্রমাণের সংমিশ্রণ থেকে আসে। একাধিক প্রমানের প্রমাণের জন্য জোর দেওয়া অনিবার্যভাবে ঘটে যাওয়া ব্যক্তিগত ভুলগুলির বৈজ্ঞানিক হাইপোটিসিসের বৈধতা তৈরি করে। আমি আমার 50 বা তাই বৈজ্ঞানিক প্রকাশনার পিছনে তাকান, আমি হার্ড এটি চাপা হবে কোন যে দেহাবশেষ @fcoppens যেমন প্রত্যেক বিষদভাবে নিশ্ছিদ্র উপর জিদ বলে মনে হয় তাই। তবুও আমি একভাবে কঠিন চাপা করছি কোনো যেখানে বৈজ্ঞানিকহাইপোথিসিস সম্পূর্ণ ছিল ভুল। অসম্পূর্ণ, সম্ভবত; অবশ্যই ক্ষেত্রের পরবর্তী উন্নয়নের দ্বারা অপ্রাসঙ্গিক হয়ে উঠেছে। তবে সেই সময়ে বৈজ্ঞানিক জ্ঞানের অবস্থা প্রসঙ্গে "ভুল" নয়।

তৃতীয়, যুক্তি দ্বিতীয় ধরণের ত্রুটি তৈরির ব্যয়কে উপেক্ষা করে। দ্বিতীয় ধরণের ত্রুটিটি প্রতিশ্রুতিবদ্ধ বৈজ্ঞানিক তদন্তের পুরো ক্ষেত্রগুলি বন্ধ করে দিতে পারে। @Fcoppens এর সুপারিশ অনুসরণ করা হলে, দ্বিতীয় ধরণের ত্রুটি হার বৈজ্ঞানিক উদ্যোগের ক্ষতির দিকে ব্যাপক আকারে বৃদ্ধি পাবে।

পরিশেষে, প্রস্তাবটি বাস্তবে অনুসরণ করা অসম্ভব। যদি আমি সর্বজনীনভাবে উপলভ্য ডেটাগুলির একটি সেট বিশ্লেষণ করি তবে অন্য কেউ এটি ব্যবহার করেছে কিনা, বা কোন উদ্দেশ্যে ব্যবহার করা হয়েছে তা আমার জানার উপায় নেই। অন্য কারও অনুমানের পরীক্ষার জন্য আমার সংশোধন করার উপায় নেই। এবং আমি উপরে তর্ক হিসাবে, আমার করা উচিত নয়।


2
আমি প্রশ্নটিকে একটি অনুগ্রহ দিয়েছি কারণ আমি এটিকে 'সামনে' আনতে চেয়েছিলাম। আমি কেন এটি করতে চেয়েছিলাম তার কারণটি হ'ল আমি মনে করি যে এটি যথেষ্ট মনোযোগ পাচ্ছে না এবং এটি এবং - দৃশ্যত, আমার উত্তরটি যেমন আমি অভিজ্ঞ হিসাবে নিয়েছি - সে সম্পর্কে আর কোনও আলোচনা নেই। শো হিসাবে, এটি একটি আকর্ষণীয় আলোচনা হতে পারে, সুতরাং আপনি একটি (+1)

@fcoppens এই "সামনে" আনার জন্য ধন্যবাদ
এডএম

এই পোস্টের পর থেকে, আমি একটি দুর্দান্ত কাগজটি হোঁচট খেয়েছি যা এই বিষয়টিকে সম্বোধন করে পাশাপাশি সালজবার্গ "তুলনা ক্লাসিফায়ারদের: পিটফলস টু অ্যাভয়েড এবং একটি প্রস্তাবিত পদ্ধতির" ( সিএস.আর.এনএল / omtomh / onderwijs / lrs / lrs_files / salzberg97compering ) নামে অভিহিত করে topic পিডিএফ )। আমি আলোচনাটি প্রশংসা করি। এই ধরণের প্রশ্নগুলি পরিসংখ্যান এবং মেশিন লার্নিং / অন্যান্য প্রয়োগ ক্ষেত্রগুলির মধ্যে বিভাজন নিয়ে আসে যা এই পোস্টে আলোচনা করা হয়েছিল: stats.stackexchange.com/questions/1194/… ....
টোপজমে

1
ব্রেইমানের একটি কাগজও এই বিষয়টিকে সম্বোধন করে: projecteuclid.org/euclid.ss/1009213726 । আমি আশা করি যে এই গবেষণাগুলি যারা বর্তমান গবেষণায় আগ্রহী এবং এই বিষয়ে আলোচনামূলক আলোচনার বিষয়ে আগ্রহী তাদের জন্য একটি সহজ রেফারেন্স হিসাবে কাজ করতে পারে।
টোপাজমে

" মেডিক্যাল স্টাডিতে আলফার প্রজন্ম ও মালিকানার বিষয়ে " নীচের কাগজটিও রয়েছে । এটি স্পষ্টতই একটি বিতর্কিত বিষয়। উত্তরটি পরিষ্কার হওয়ার কয়েকটি ক্ষেত্রে ফার্মাসিউটিক্যাল পণ্যাদির নিয়ন্ত্রক লেবেল দাবির সাথে রয়েছে, যেখানে চিকিত্সা অধ্যয়নের জন্য কম-বেশি একক । একবার যখন আমরা বৈজ্ঞানিক প্রকাশনাতে প্রবেশ করি, তখন এর থেকে আরও ভাল করার জন্য বা কাউকে এ জাতীয় কোনও প্রয়োগ করার জন্য প্রস্তুত করা উচিত নয়। α=0.05
Björn

4

'' একাধিক পরীক্ষা '' সংশোধন প্রয়োজনীয় যখনই আপনি 'ধরণের আই ত্রুটিটি উত্সাহিত করবেন': উদাহরণস্বরূপ যদি আপনি দুটি পরীক্ষা করে থাকেন তবে প্রত্যেকে একটি আত্মবিশ্বাসের স্তরে , এবং প্রথমটির জন্য আমরা নাল test পরীক্ষা করি বিকল্প বিরুদ্ধে এবং দ্বিতীয় হাইপোথিসিস বনাম । α=5%H0(1)H1(1)H0(2)H1(2)

তারপরে আমরা জানি যে প্রথম ধরণের অনুমানের জন্য প্রথম ধরণের ত্রুটি হ'ল মিথ্যাভাবে প্রত্যাখ্যান করার সম্ভাবনা এবং এটি ।H0(1)α=5%

আপনি যদি দুটি পরীক্ষা করেন তবে কমপক্ষে দুজনের মধ্যে একটিরও মিথ্যাভাবে প্রত্যাখ্যান হওয়ার সম্ভাবনাটি 1 বিয়োগের সমান যা উভয়কে তাই মেনে নেওয়া হয় which যা, এর সমান , সুতরাং কমপক্ষে একটি মিথ্যা প্রত্যাখ্যান করার টাইপ ওয়ান ত্রুটিটি প্রায় দ্বিগুণ হয়ে গেছে!1-(1-α)2α=5%9.75%

পরিসংখ্যান অনুমানের পরীক্ষায় কেউ কেবল নালকে প্রত্যাখ্যান করে বিকল্প অনুমানের পক্ষে পরিসংখ্যানগত প্রমাণ খুঁজে পেতে পারে, নালকে প্রত্যাখ্যান করলে আমাদের এই সিদ্ধান্তে পৌঁছতে দেয় যে বিকল্প অনুমানের পক্ষে প্রমাণ রয়েছে। (এছাড়াও আমরা নাল অনুমানকে বাতিল করতে ব্যর্থ হলে কী ঘটে তা অনুসরণ করুন? )।

সুতরাং নালীর একটি মিথ্যা প্রত্যাখ্যান আমাদের মিথ্যা প্রমাণ দেয় যাতে '' বৈজ্ঞানিক সত্য '' এর মিথ্যা বিশ্বাস belief এ কারণেই এই ধরণের প্রথম মুদ্রাস্ফীতি (আমার ত্রুটির ধরণের প্রায় দ্বিগুণ) এড়াতে হবে; উচ্চতর ধরণের I ত্রুটিগুলি আরও মিথ্যা বিশ্বাসকে বোঝায় যে বৈজ্ঞানিকভাবে কিছু প্রমাণিত । তাই লোকেরা পারিবারিকভাবে স্তরে 'নিয়ন্ত্রণ' টাইপ করে ইয়ারার।

যদি এমন একদল গবেষক থাকে যা একাধিক পরীক্ষা করে, তবে প্রতিবার তারা নাল অনুমানকে প্রত্যাখ্যান করে তারা এই সিদ্ধান্তে পৌঁছে যে তারা একটি বৈজ্ঞানিক সত্যের স্ট্যাটাসিক্যাল প্রমাণ পেয়েছে। যাইহোক, উপরোক্ত অনুসারে, এই সিদ্ধান্তে অনেকগুলি এরও বেশি '' বৈজ্ঞানিক সত্য '' এর মিথ্যা বিশ্বাস। 5%

একই যুক্তি অনুসারে, যদি বেশ কয়েকটি দল এই পরীক্ষাগুলি করে (একই ডেটাতে) একই হয় the

একথাও ঠিক যে, উপরে তথ্যও শুধুমাত্র রাখা যদি আমরা দল কাজ একই ডেটার উপর । তারা যখন বিভিন্ন নমুনায় কাজ করেন তখন কী আলাদা?

এটি ব্যাখ্যা করতে, আসুন একটি সাধারণ এবং খুব অবাস্তব উদাহরণ দিন। আমাদের নাল হাইপোথিসিসটি হ'ল জনসংখ্যার একটি সাধারণ বন্টন রয়েছে, যার সাথে পরিচিত এবং জানিয়েছে যে বিরুদ্ধে । আসুন তাত্পর্য স্তর নেওয়া যাক ।σএইচ0:μ=0এইচ1:μ0α=5%

আমাদের নমুনা ('ডেটা') কেবলমাত্র একটি পর্যবেক্ষণ, সুতরাং যখন পর্যবেক্ষণ হয় either বা চেয়ে ছোট হবে তখন আমরা ।1.96 σ - 1.96 σ1.96σ-1.96σ

আমরা সম্ভাব্যতা সহ প্রথম ধরণের ত্রুটি করি কারণ এটি হতে পারে যে আমরা প্রত্যাখ্যান , প্রকৃতপক্ষে, যদি সত্য হয় (সুতরাং জনসংখ্যা স্বাভাবিক এবং ) তবে সেখানে রয়েছে ( সত্য) ) এমন একটি সুযোগ যা ] এ । সুতরাং যদি সত্য হয় তবে ডেটা নিয়ে আমাদের ভাগ্য খারাপ হওয়ার একটা সম্ভাবনা রয়েছে। এইচ 0 এইচ 0 μ = 0 এইচ 0[ - 1.96 σ ; 1.96 σ এইচ 05%এইচ0এইচ0μ=0এইচ0[-1.96σ;1.96σএইচ0

সুতরাং আমরা যদি একই ডেটা ব্যবহার করি তবে এটি হতে পারে যে পরীক্ষাগুলির সিদ্ধান্তগুলি '' খারাপ সুযোগ '' দিয়ে আঁকা একটি নমুনার উপর ভিত্তি করে। অন্য একটি নমুনার সাথে প্রসঙ্গটি আলাদা।


1
আমি বৈজ্ঞানিক প্রমাণের ক্ষেত্রে "প্রুফ" ব্যবহারের অনুরাগী নই।
অ্যালেক্সিস

@ অ্যালেক্সিস: এটি অবশ্যই কারণ ইংরেজি আমার মাতৃভাষা নয়, তবে আমি ভেবেছিলাম যে 'প্রমাণ' এবং 'প্রমাণ' আরও বেশি বা সিনোমিমের মতো, তবে এটি মনে হয় না?

1
আমার মতে আনুষ্ঠানিক "প্রমাণ", গণিতে অন্তর্ভুক্ত। বা, কম আনুষ্ঠানিকভাবে, আইনশাস্ত্র অন্তর্ভুক্ত। আমার কাছে প্রমাণ বিজ্ঞানের অন্তর্গত নয়, কারণ এটি তদন্তের শেষ এবং ডগমা প্রারম্ভকে বোঝায় এবং বিজ্ঞান তদন্ত সম্পর্কে মৌলিকভাবে is উদাহরণস্বরূপ, ইংরেজিতে (এবং মার্কিন যুক্তরাষ্ট্রে) আমাদের একটি বাজে খেলা আছে যেখানে বিবর্তনবিরোধী ব্যক্তিরা বলবেন "জৈবিক বিবর্তন কেবল একটি তত্ত্ব, এবং এটি বৈজ্ঞানিকভাবে প্রমাণিত হয়নি ।" অবশ্যই, কৌশলটি শ্রোতাদের ভুলে যেতে পাচ্ছে যে বিজ্ঞান কখনও প্রমাণ করে না, কেবল প্রমাণ দেয়।
অ্যালেক্সিস
আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.