অনানুষ্ঠানিক / চাক্ষুষ "একাধিক তুলনা" জন্য একাধিক তুলনা সংশোধন প্রয়োজনীয়?

Question

আমার যখন একাধিক তুলনা সংশোধন করা আবশ্যক সম্পর্কে এক ধরণের দার্শনিক প্রশ্ন রয়েছে।

আমি একটি অবিচ্ছিন্ন সময় বিভিন্ন সংকেত পরিমাপ করছি (পৃথক সময় পয়েন্টে)। সময়ে সময়ে পৃথক পৃথক ঘটনা ঘটে এবং আমি যদি এই ইভেন্টগুলি পরিমাপক সংকেতের উপর উল্লেখযোগ্য প্রভাব ফেলে তবে তা প্রতিষ্ঠিত করতে চাই।

সুতরাং আমি কোনও ঘটনা অনুসরণকারী গড় সংকেত নিতে পারি এবং সাধারণত আমি সেখানে একটি নির্দিষ্ট শীর্ষে কিছুটা প্রভাব দেখতে পারি। যদি আমি সেই শিখরের সময়টি বেছে নিই এবং কোন ঘটনাটি নির্ধারণ করতে টি-টেস্ট বলি যখন ঘটনাটি ঘটে না তখন তা উল্লেখযোগ্য হয় কিনা আমাকে একাধিক তুলনা সংশোধন করা দরকার?

যদিও আমি কেবল একটি টি-টেস্ট (গণনা করা 1 মান) সম্পাদন করেছি, আমার প্রাথমিক ভিজ্যুয়াল পরিদর্শনে আমি সবচেয়ে বড় সম্ভাব্য প্রভাব (যার জন্য) 15 টি পোস্ট পোস্ট বিলম্বের সময় পয়েন্টগুলি প্লট করেছি তার মধ্যে একটির জন্য নির্বাচন করেছি। সুতরাং আমি যে 15 টি পরীক্ষাগুলি না করেছিলাম তার জন্য কি আমাকে একাধিক তুলনা সংশোধন করা দরকার?

আমি যদি ভিজ্যুয়াল ইন্সপেকশন ব্যবহার না করে, তবে প্রতিটি ইভেন্টে পরীক্ষা করেই পিছিয়ে পড়েছি এবং সর্বোচ্চটি বেছে নিয়েছি, আমার অবশ্যই সংশোধন করা দরকার। পরীক্ষার চেয়ে 'সেরা বিলম্ব' নির্বাচনটি অন্য কোনও মানদণ্ড দ্বারা করা হয়েছে (যেমন ভিজ্যুয়াল সিলেকশন, সর্বোচ্চ গড় ইত্যাদি) যদি আমার দরকার হয় বা না হয় সে সম্পর্কে আমি কিছুটা বিভ্রান্ত হয়ে পড়েছি eg

Answer 1

প্রযুক্তিগতভাবে, আপনি পরীক্ষাটি কোথায় করবেন তার একটি ভিজ্যুয়াল পূর্বনির্ধারণ করেন, আপনার ইতিমধ্যে এটির জন্য সংশোধন করা উচিত: আপনার চোখ এবং মস্তিষ্ক ইতিমধ্যে ডেটাতে কিছু অনিশ্চয়তা বাইপাস করেছে, আপনি যদি সেই মুহুর্তে পরীক্ষাটি করেন তবে আপনি দায়বদ্ধ নন ।

কল্পনা করুন যে আপনার 'শিখর' সত্যিই একটি মালভূমি, এবং আপনি 'শিখর' পার্থক্যটি বেছে নিয়েছেন, তারপরে একটি পরীক্ষা চালান এবং এটি সবেমাত্র তাৎপর্যপূর্ণ হয়। আপনি যদি বাম বা ডান দিকে কিছুটা বেশি চালাতে চান, তবে ফলাফলটি পরিবর্তিত হতে পারে। এইভাবে, আপনাকে পূর্বনির্ধারণের প্রক্রিয়াটির জন্য অ্যাকাউন্ট করতে হবে: আপনি যে বক্তব্য দিয়েছেন তা আপনার কাছে নিশ্চিতভাবে নেই! আপনি নির্বাচনটি করতে ডেটা ব্যবহার করছেন, সুতরাং আপনি একই তথ্য দুটিবার কার্যকরভাবে ব্যবহার করছেন।

অবশ্যই, অনুশীলনে, হ্যান্ডপিকিং প্রক্রিয়া জাতীয় কিছু হিসাবে অ্যাকাউন্ট করা খুব কঠিন, তবে এর অর্থ এই নয় যে আপনার উচিত হবে না (বা কমপক্ষে ফলাফলের আত্মবিশ্বাসের বিরতি / পরীক্ষার ফলাফল লবণের দানার সাথে নেওয়া উচিত)।

উপসংহার : আপনি কীভাবে এই তুলনাগুলি নির্বাচন করেছেন তা নির্বিশেষে আপনি একাধিক তুলনা করলে সর্বদা একাধিক তুলনার জন্য সংশোধন করা উচিত । যদি ডেটা দেখার আগে সেগুলি না নেওয়া হয় , তবে আপনাকে অবশ্যই এটির জন্য সংশোধন করা উচিত।

দ্রষ্টব্য: ম্যানুয়াল পূর্বনির্ধারণের জন্য সংশোধন করার একটি বিকল্প (উদাহরণস্বরূপ যখন এটি ব্যবহারিকভাবে অসম্ভব) সম্ভবত আপনার ফলাফলগুলি বর্ণনা করা যাতে তারা স্পষ্টতই ম্যানুয়াল নির্বাচনের রেফারেন্স ধারণ করে। তবে এটি 'পুনরুত্পাদনযোগ্য গবেষণা' নয় বলে আমার ধারণা।

Comments

যদিও সর্বদা সংশোধন করে, আপনার ধরণের দ্বিতীয় ত্রুটির হারকে স্ফীত করে। সংশোধন করার আগে আপনার যদি সমস্ত উল্লেখযোগ্য ফলাফল থাকে তবে আপনি সংশোধন করার পরে সেগুলি হারাতে পারেন, সমস্ত উল্লেখযোগ্য ফলাফল পাওয়ার কম প্রতিকূলতার জন্য অ্যাকাউন্টিং না করে। এটি আপনার প্রসঙ্গে টাইপ আই বা টাইপ II ত্রুটির উপর নির্ভর করতে পারে।

— এটিয়েন লো-ডিকারি

আমি প্রথমে প্রতিক্রিয়া জানালে আমি যে উত্তর দিতে চাই তা নিক বলেছিল। তবে প্রাথমিক সেটআপে আপনি (এমকেপিটাস) বলেছিলেন যে আপনি যদি 15 টি পরীক্ষা করে থাকেন তবে আপনাকে বহুগুণ সংশোধন করতে হবে না। আপনি কেন বলবেন তা আমি দেখছি না। আমি মনে করি সেক্ষেত্রে বহুগুণ সংশোধনের প্রয়োজনীয়তা আরও স্পষ্ট হয়ে ওঠে। @Etienne আপনার পয়েন্ট FWER সংশোধনের জন্য প্রযোজ্য যা আই টাইপ আই ত্রুটি নিয়ন্ত্রণে অত্যন্ত কঠোর। আপনি যদি এফডিআর ব্যবহার করেন তবে ততটা শক্তি ত্যাগ করবেন না।

— মাইকেল আর চেরনিক

Answer 2

অনেক আগে, আমার প্রথম পরিসংখ্যানের ক্লাসে, আমি একটি পাঠ্যে এই সম্পর্কে পড়ছিলাম (আমার মনে হয় এটি কোহেনের অনুশাসন সম্পর্কিত বইয়ের একটি পুরাতন সংস্করণ ছিল) যেখানে বলা হয়েছিল "এটি এমন একটি প্রশ্ন যা যুক্তিসঙ্গত লোকেরা পৃথক হতে পারে"।

আমার কাছে এটি স্পষ্ট নয় যে যে কাউকে কখনও একাধিক তুলনার জন্য সংশোধন করা দরকার, না হয়, যদি তারা করে তবে কোন সময় বা তুলনা সেট সেট করা উচিত। প্রতিটি নিবন্ধ? প্রতিটি প্রতিরোধ বা আনোভা? তারা কোন বিষয়ে প্রকাশিত সবকিছু? অন্যরা কী প্রকাশ করে সে সম্পর্কে কী?

আপনি যেমন আপনার প্রথম লাইনে লিখছেন, এটি দার্শনিক।

Comments

আপনি ঠিক বলেছেন যে কয়টি তুলনা করা হচ্ছে তা নিয়ে একটি প্রশ্ন রয়েছে তবে আমি মনে করি না এটি আপনার উপসংহারকে বোঝায়। যুক্তিসঙ্গত লোকেরা পৃথক হতে পারে কারণ তাদের সম্ভাব্য ফলাফলগুলির জন্য বিভিন্ন উদ্দেশ্য এবং বিভিন্ন মূল্যায়ন (ক্ষতির ফাংশন) রয়েছে। যদি আপনার একাধিক তুলনার জন্য সংশোধন করা উচিত, এটি কারণ এটির চেয়ে বেশি প্রত্যাশিত ক্ষতি হয়। যেমন, এটি একটি নিবিড় ব্যবহারিক সমস্যা, নিছক "দর্শন" নয় এবং এর সমাধানের যুক্তিসঙ্গত উপায় রয়েছে যার ভিত্তিতে যুক্তিসঙ্গত লোকেরা একমত হতে পারে।

— হোবার

@ তবে আপনি কিছু পরিস্থিতিতে অবশ্যই ঠিক আছেন। কখনও কখনও একটি বোধগম্য ক্ষতির ফাংশন থাকে, যদিও এটি পরিষ্কারভাবে বর্ণনা করা প্রায়শই কঠিন। তবে অন্যান্য সময়, যেমন অনুসন্ধানের কাজে, কোনও ক্ষতির কার্যকারিতা কীভাবে সম্ভব হয় তা দেখে আমার সমস্যা হয়। অবশ্যই, পুরো ক্ষতির ফাংশন ধারণা আমাদের পি = .05 এর গ্রেইলের মতো মর্যাদাগুলি থেকে দূরে সরিয়ে দেয় এবং আদর্শ অনুমান যে শক্তি = .8 বা .9 যথেষ্ট ভাল, এবং (আমার মনে) আরও বুদ্ধিমান ধারণা যে আমরা এগুলি আরও স্থিতিশীল ভিত্তিতে স্থাপন করি।

— পিটার ফ্লম

আপনার জবাবের ক্ষেত্র এবং স্পিরিট স্পষ্ট করার জন্য আপনাকে ধন্যবাদ, পিটার।

— হোবার

লোকেরা যখন বলে যে বহুগুণ পরীক্ষা করার বিষয়টি বিবেচনা করে না তখন আমি রেগে যাই। আমি এই মনোভাবটি প্রায়শই চিকিত্সা গবেষণায় প্রকাশিত দেখি। আপনি অনেকগুলি কাগজপত্রগুলিতে ইঙ্গিত করতে পারেন যা ভুল সিদ্ধান্তে পৌঁছেছে কারণ গুণকে উপেক্ষা করা হয়েছিল। ওষুধে ভুল সিদ্ধান্তে কাগজপত্র প্রকাশ না করা সমালোচনা কারণ এটি রোগীদের চিকিত্সা করা এবং জীবন ঝুঁকির মধ্যে পড়ে তা প্রভাবিত করে। বহুগুণ প্রকাশের পক্ষপাতদুষ্টে অবদান রাখে (কারণ যখন কোনও বিষয় অনেকবার অধ্যয়ন করা হয় কেবলমাত্র উল্লেখযোগ্য ফলাফল নিয়ে পড়াশোনা প্রকাশিত হয়) যা মেটা বিশ্লেষণে একটি গুরুতর বিষয়,

— মাইকেল আর। চেরনিক

@ মিশেল চের্নিক, আমি সম্মত হই - লোকেরা একাধিক পরীক্ষার সংশোধন অগ্রাহ্য করলে এটি খুব সমস্যাযুক্ত। যাইহোক, আমি মনে করি পিটার একটি ভাল পয়েন্ট তুলে ধরেছে - একাধিক পরীক্ষার সুযোগ কী হওয়া উচিত? একক কাগজে সব পরীক্ষা করা হয়? সমস্ত টেস্ট একক ডেটা সেট দিয়ে শেষ? সমস্ত পরীক্ষা কি শুরু থেকে শুরু? একটি পরিষ্কার উত্তর আছে বলে মনে হচ্ছে না।

— ম্যাক্রো

Answer 3

আপনি যদি বাস্তবতা সম্পর্কে এক-সিদ্ধান্ত সিদ্ধান্ত নেওয়ার চেষ্টা করছেন এবং আপনি যে হারকে নাল অনুমানকে মিথ্যাভাবে প্রত্যাখ্যান করছেন তা নিয়ন্ত্রণ করতে চান, তবে আপনি নাল অনুমানের তাত্পর্য পরীক্ষা (এনএইচএসটি) ব্যবহার করবেন এবং একাধিক তুলনার জন্য সংশোধন ব্যবহার করতে চাইবেন। যাইহোক, পিটার ফ্লম তার উত্তরে নোট হিসাবে, সংশোধনটি প্রয়োগ করার জন্য কোন তুলনার সেটটি কীভাবে সংজ্ঞায়িত করা যায় তা স্পষ্ট নয়। সবচেয়ে সহজ পছন্দটি কোনও প্রদত্ত ডেটা সেটে প্রয়োগ করা তুলনাগুলির সেট এবং এটি সর্বাধিক সাধারণ পদ্ধতি approach

যাইহোক, বিজ্ঞান তাত্ত্বিকভাবে संचयी ব্যবস্থা হিসাবে কল্পনা করা হয় যেখানে এক-সিদ্ধান্তের সিদ্ধান্ত নেওয়া প্রয়োজন হয় না এবং বাস্তবে কেবল প্রমাণ সংগ্রহের দক্ষতা হ্রাস করতে (শুধুমাত্র একক তথ্যে প্রাপ্ত প্রমাণকে হ্রাস করা) পরিবেশন করা হয়। সুতরাং, যদি কেউ পরিসংখ্যান বিশ্লেষণের জন্য সঠিকভাবে বৈজ্ঞানিক দৃষ্টিভঙ্গি অনুসরণ করে, সম্ভাবনা অনুপাতের মতো সরঞ্জামগুলির জন্য এনএইচএসটি বন্ধ করে দেওয়া (সম্ভবত বায়েশিয়ানও সম্ভবত), তবে একাধিক তুলনার "সমস্যা" অদৃশ্য হয়ে যায়।

Answer 4

আপনার প্রশ্নের উপর নির্ভর করে সংশোধনের একটি সম্ভাব্য বিকল্প হ'ল পি-মানগুলির যোগফলের তাত্পর্য পরীক্ষা করা। তারপরে আপনি এমন পরীক্ষার জন্য নিজেকে দণ্ডিত করতে পারেন যা উচ্চ পি-ভ্যালু যুক্ত করে করা হয় না।

ফিশারের পদ্ধতির এক্সটেনশনের (যার স্বাধীনতার প্রয়োজন নেই) ব্যবহার করা যেতে পারে (যা পরীক্ষার স্বাধীনতার প্রয়োজন)।

যেমন। কোস্টের পদ্ধতি

Comments

এগুলি মেটা-বিশ্লেষণে ব্যবহৃত পদ্ধতির উদাহরণ যখন পৃথক অধ্যয়নগুলি কেবল পি-মান সরবরাহ করে বা ডেটা সংহত করা যায় না তবে প্রতিটি গবেষণায় একটি পি-মান গণনা করা হয়। এছাড়াও ফিশারের সংমিশ্রণ পদ্ধতি এবং বিপরীত স্বাভাবিক হল অভিযোজিত ডিজাইনে স্টপিং বিধি তৈরির উপায়।

— মাইকেল আর চেরনিক

Answer 5

একটি খুব গুরুত্বপূর্ণ বিষয় মনে রাখবেন যে একাধিক পরীক্ষার সংশোধন স্বাধীন পরীক্ষা গ্রহণ করে। আপনার বিশ্লেষণ করা ডেটা যদি স্বতন্ত্র না হয় তবে সম্পাদিত পরীক্ষাগুলির সংখ্যার জন্য সংশোধন করার চেয়ে জিনিসগুলি কিছুটা জটিল হয়ে যায়, আপনাকে বিশ্লেষণ করা ডেটার মধ্যে পারস্পরিক সম্পর্কের জন্য অ্যাকাউন্ট করতে হবে বা আপনার সংশোধন সম্ভবত উপায়টি খুব রক্ষণশীল হতে পারে এবং আপনি উচ্চ ধরণের দ্বিতীয় ত্রুটি হার রয়েছে। আমি ক্রস-বৈধকরণ, ক্রমশক্তি পরীক্ষা বা বুটস্ট্র্যাপিং সঠিকভাবে ব্যবহার করা হলে একাধিক তুলনা মোকাবেলার কার্যকর উপায় হতে পারে found অন্যরা এফডিআর ব্যবহারের কথা উল্লেখ করেছেন, তবে আপনার ডেটাতে প্রচুর পরিমাণে স্বতন্ত্রতা না পেলে এটি ভুল ফলাফল দিতে পারে কারণ এটি মান করে যে নালীর অধীনে সমস্ত পরীক্ষাগুলিতে পি-মানগুলি অভিন্ন uniform

Comments

ম্যাট, সাইটে আপনাকে স্বাগতম। আপনার খোলার বাক্যটি সম্পর্কে: একটি অত্যন্ত গুরুত্বপূর্ণ বিষয় মনে রাখবেন যে একাধিক পরীক্ষার সংশোধন স্বতন্ত্র পরীক্ষা গ্রহণ করে। নোট করুন যে এটি কয়েকটি মাল্টিপল-টেস্টিং সংশোধন পদ্ধতির জন্য সত্য , তবে অবশ্যই সমস্ত নয়। উদাহরণস্বরূপ, সব সহজ (Bonferroni) কোন স্বাধীনতা ধৃষ্টতা করে তোলে, এবং প্রকৃতপক্ষে বেশ অদক্ষ হলে পরীক্ষার আসলে স্বাধীন! :-) এছাড়াও, একটি অবিচ্ছিন্ন-বিতরণ সেটিংসে, একক (প্রান্তিক) বিতরণ$p$-মূল্য নালীর নীচে অভিন্ন হবে; আপনি আপনার মন্তব্য স্পষ্ট করতে সম্পাদনা বিবেচনা করতে পারেন।

— কার্ডিনাল