পোস্ট-হক পরীক্ষায় সমস্যা কী?


15

আমার পরিসংখ্যান অধ্যাপক তাই বলেছেন, আমি যে সমস্ত বইয়ের দিকে তাকাই সেগুলি এটি বর্ণনা করে: পোস্ট-হক-টেস্টিং অবৈজ্ঞানিক। আপনাকে অবশ্যই প্রথমে তত্ত্ব থেকে একটি অনুমান করা উচিত এবং তারপরে ডেটা সংগ্রহ করে তা বিশ্লেষণ করতে হবে।

তবে সমস্যাটি আসলে কী তা আমি বুঝতে পারি না।

মনে করুন, আমি বিভিন্ন গাড়ির রঙের বিক্রয় সম্পর্কিত পরিসংখ্যান দেখতে পেয়েছি এবং এই হাইপোথিসিসটি তৈরি করেছি যে রাস্তার ধারে বিভিন্ন বর্ণের গাড়ি বিক্রি করা সবচেয়ে বড় গাড়ি সাদা হয়। তাই আমি একদিন কোনও রাস্তায় বসে সমস্ত গাড়িগুলির রঙিন নোট করি যা আমাকে পাস করে। তারপরে আমি কিছু পরীক্ষা করি এবং যা খুজে পাই।

এখন, ধরুন আমি একঘেয়ে হয়ে গিয়েছিলাম এবং একদিন কোনও রাস্তায় বসেছি এবং আমাকে যে গাড়িগুলি দিয়ে গেছে তার সমস্ত রঙ উল্লেখ করেছি। যেহেতু আমি গ্রাফগুলি পছন্দ করি, তাই আমি একটি সুন্দর হিস্টোগ্রামের প্লট করি এবং দেখতে পাই যে সাদা গাড়িগুলি সবচেয়ে বড় দল গঠন করে। সুতরাং আমি মনে করি যে সম্ভবত রাস্তায় বেশিরভাগ গাড়ি সাদা এবং কিছু পরীক্ষা করে।

তাত্ত্বিক চালিত * হাইপোথিসিস টেস্টের থেকে কীভাবে এবং কেন এই উত্তর-পরবর্তী পরীক্ষার ফলাফলের ফলাফল বা ব্যাখ্যা আলাদা হয়?

* যাইহোক, পোস্ট-হক পরীক্ষার বিপরীতে নাম কী?


আমি যুক্ত করতে চাই যে মহাবিশ্ব সম্পর্কে আমাদের বেশিরভাগ জ্ঞান (পৃথিবী সূর্যের চারপাশে ঘোরাফেরা করে) পর্যবেক্ষণ থেকে এই পোস্টকে ছাড়িয়েছে।

আমার কাছে মনে হয় যে পদার্থবিজ্ঞানে এটি ধরে নেওয়া মোটেও ঠিক আছে যে গত হাজার বছর ধরে প্রাচ্যে সূর্য উদিত হচ্ছে এমন ঘটনা কাকতালীয় নয়


2
সমস্যাগুলি এখানে এবং এখানে উদাহরণ দিয়ে দেওয়া হয়েছে
স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

@ স্কোর্টচি হুম, আপনাকে ধন্যবাদ, তবে আমি যা পাই তা হ'ল: "এটি পরিসংখ্যান পরীক্ষার অপব্যবহার হবে, যেমন অনেক জায়গায় পুরোপুরি ব্যাখ্যা করা হয়েছে এবং প্রদর্শিত হয়েছে।" বাকি মন্তব্য এবং উত্তরগুলি উত্তর-পরীক্ষার সমস্যাটির ব্যাখ্যা দেয় না, তবে সাধারণভাবে পরীক্ষার বিষয়ে।

2
অ্যামিবার উত্তরটি (আপনার 1 ম দৃশ্যের সমতুল্য) হুবুহু (আপনার 2 য়ের সমতুল্য) সাথে তুলনা করুন।
স্কর্চচি - মনিকা পুনরায় ইনস্টল করুন

3
পোস্ট-হক এর বিপরীত একটি অগ্রাধিকার মাত্র একটি নোট। উপরের লিঙ্কযুক্ত পোস্টে হুবহরের উত্তরটি বেশ বিস্তৃত, তবে আপনি অনুসন্ধানী ডেটা বিশ্লেষণ বনাম নিশ্চিতকরণমূলক ডেটা বিশ্লেষণ করতে পারেন।
পিটার ফ্লুম - মনিকা পুনরায়

এটি স্পর্শকাতরভাবে সম্পর্কিত তবে এই প্রশ্নটি পড়তে আগ্রহীদের মধ্যে আগ্রহী হতে পারে: andrewgelman.com/2014/12/20/…
শ্যাডট্যালকার

উত্তর:


12

"আপনি জানেন, আজ রাতে আমার কাছে সবচেয়ে আশ্চর্যজনক ঘটনা ঘটেছে I আমি এখানে বক্তৃতা দেওয়ার পথে আসছিলাম, এবং আমি পার্কিংয়ের মধ্য দিয়ে .ুকলাম what এবং কী ঘটেছে আপনি বিশ্বাস করবেন না I আমি লাইসেন্স সহ একটি গাড়ি দেখেছি প্লেট এআরডাব্লু 357. আপনি কি কল্পনা করতে পারেন? রাজ্যের সমস্ত মিলিয়ন লাইসেন্স প্লেটগুলির মধ্যে, আজ রাত্রে আমি সেই বিশেষটিকে দেখার কি সুযোগ ছিল? আশ্চর্য! " রিচার্ড ফেনম্যান

আমি মনে করি যে আমি এই সমস্যার গভীর প্রযুক্তিগত দিকগুলি ব্যাখ্যা করার মতো অবস্থানে নেই। তবে আমি মনে করি তাদের মধ্যে অনেকগুলি স্বজ্ঞাত হ্রাস করা যেতে পারে।

প্রথম সেট আপটিতে আপনি এমন কিছু অনুমান দিয়ে শুরু করেন যা আপনি নতুন ডেটাতে (নকশা করা পরীক্ষায়) যাচাই করেছেন। বিক্রয় পরিসংখ্যান অধ্যয়ন আপনাকে খুব নকশাকৃত নকশাকৃত পরীক্ষায় নিয়ে যেতে পারে, যেখানে আপনি সত্যই সিদ্ধান্ত নিতে পারেন যে আপনার উত্তরটি কতটা শক্তিশালী হওয়া উচিত (পরিসংখ্যানিক শক্তি, পি-মান, নমুনার আকার এবং অন্যান্য অনেকগুলি জিনিস)।

সবার আগে দ্বিতীয় সেটআপে আপনি উত্তরটির শক্তি সম্পর্কে কিছুই সিদ্ধান্ত নেন না। এটি একটি সমস্যা। দ্বিতীয় সমস্যাটি হ'ল পরীক্ষার জন্য ব্যবহৃত একই নমুনা থেকে হাইপোথিসিসটি বের করা খুব অনিয়ন্ত্রিত উপায়ে বৃদ্ধি পাবে এলোমেলো নিদর্শনগুলিকে মূল্যবান তথ্য হিসাবে ব্যাখ্যা করার সম্ভাবনা chan আপনি যা করেন তা হ'ল কিছু লক্ষ্য করা (যে সাদা গাড়িগুলি প্রচুর সংখ্যায় রয়েছে) এবং নিজেকে তা জিজ্ঞাসা করুন এটি উল্লেখযোগ্য কিনা। পয়েন্ট যে তুমি নির্বাচিত যে নমুনার উপর শুধুমাত্র একটি উল্লেখযোগ্য সত্য দৃশ্যমান অন্যান্য অনুমানের খারিজ। আপনি কিছু অনুমানের পক্ষে অনুকূল পরিস্থিতি তৈরি করেছেন এবং আপনি বেশিরভাগ অ্যাপ্রোরি স্ট্যাটিস্টিকাল পরীক্ষার অনুমানগুলি ভেঙেছেন।

আপনি এই ফুটো সম্পর্কে জানেন না এমন আচরণ করা বৈজ্ঞানিক নয় এবং ভান করুন যে এটি সত্য নয়, যখন এটি সমস্ত অনুমানের সাথে একটি পরীক্ষা। এই ক্ষেত্রে একটি হাইপোথিসিস তৈরি করার জন্য পোস্ট হকের বিশ্লেষণ ব্যবহার করা এবং এটি পরীক্ষা করার জন্য একেবারে নতুন পরীক্ষা ডিজাইন করা বৈজ্ঞানিক।


কিন্তু কোনও অনুমান নয়, বিশেষত একটি অনুমানের জন্য সেট করা, "অনুকূল" অবস্থার সবচেয়ে চরম রূপ?

1
একমাত্র জিনিস যা একটি পরীক্ষার "পক্ষপাতী" তা হ'ল উত্তরের দৃ .়তা। এবং অন্যান্য বিষয়গুলির মধ্যে এটি একটি নির্দিষ্ট অনুমানকে "পক্ষপাতী নয়" করার চেষ্টা করে।
রাপাইও

4

আপনি যদি প্রথমে ডেটা সংগ্রহ করেন এবং তথ্যের উপর ভিত্তি করে একটি তত্ত্ব তৈরি করেন তবে আপনি আপনার পর্যবেক্ষণগুলিতে কোনও গল্প ফিট করার ঝুঁকিতে আছেন। সমস্যাটি হ'ল আমরা মানুষ গল্প লেখার ক্ষেত্রে অত্যন্ত ভাল। অন্য একটি উপায় রাখুন: গল্পটি কেবল যথেষ্ট পরিমাণে বিশৃঙ্খলাযুক্ত হলে কোনও ডেটা কোনও গল্প দ্বারা "ব্যাখ্যা" করা যায়।

এই প্রক্রিয়াটি সুন্দর উপাখ্যানগুলি সরবরাহ করে। তবে, এর বাস্তবতা ব্যাখ্যা করার এবং / বা ভাল পূর্বাভাস দেওয়ার কারণ হওয়ার কোনও কারণ নেই। আপনাকে এটির জন্য একটি মডেল সেট আপ করতে হবে এবং তা প্রমাণ করতে হবে ।

xkcd নোট করে যে এই ঘটনাটি স্পোর্টস "মন্তব্য" :

ক্রীড়া মন্তব্য

সম্পর্কিত হ'ল পেরেডোলিয়ার ঘটনা : প্যাটার্নগুলি দেখে যেখানে কোনও অস্তিত্ব নেই। উদাহরণস্বরূপ, "মুখ" লোকেরা মঙ্গল গ্রহের পূর্বের উপগ্রহের চিত্রগুলিতে দেখেছিল:

মার্টিয়ান চেহারা

এছাড়াও, আপনি আরও ডেটা সংগ্রহ করার সাথে সাথে আপনার সতর্কতা অবলম্বন করা উচিত যে আপনি আপনার পর্যবেক্ষণকে "পর্যালোচনা" করার জন্য আপনার পর্যবেক্ষণগুলিকে "অব্যাহত" করার জন্য আরও বিচিত্র উপায়ে আপনার কাহিনীকে টুইট করতে পারবেন না :

নির্বাচনী নজির


2

বিজ্ঞান অনুমানগুলি গঠন করে (যা অবশ্যই অভিজ্ঞতার দ্বারা অনুপ্রাণিত হয়) পরিচালনা করে, সেই অনুমানগুলির উপর ভিত্তি করে ভবিষ্যদ্বাণী করে এবং সেগুলি পরীক্ষা করে। অতীতে কিছু পর্যবেক্ষণ করা, তত্ত্বটিকে এই পর্যবেক্ষণকে সাধারণীকরণ করা কি তবুও তাত্ক্ষণিকভাবে তত্ত্বকে বৈধতা দেওয়ার মতো এক প্রকার পূর্ববর্তী পরীক্ষা হিসাবে বিবেচনা করবে? না, কারণ পুরো প্রশ্নটি ছিল আপনার তত্ত্বটি কতটা ভাল জেনারেলাইজ করে, অতীতে এটি একবার কাজ করেছিল কিনা তা নয়। এই কারণেই ডেটা দ্বারা প্রস্তাবিত হাইপোথিসিকে পরীক্ষা করা খারাপ বিজ্ঞান হিসাবে বিবেচনা করা হয়।


1

আপনার অধ্যাপক এবং অন্যান্য উত্তরগুলি সঠিক যে পোস্ট-হক বিশ্লেষণে সমস্যা রয়েছে। তবে, আপনি এও ঠিক বলেছেন যে উত্তর-বিশ্লেষণ থেকে অনেক ভাল বিজ্ঞান আসে। মূল বক্তব্যটি হ'ল সঠিকভাবে নকশা করা পরীক্ষাগুলি অগ্রাধিকার দেওয়া উচিত এবং এইচ-পোস্ট বিশ্লেষণকে সতর্কতার সাথে এবং বিশেষ সরঞ্জামগুলির সাথে প্রকৃত আবিষ্কারগুলির দ্বারা অনুপস্থিত প্রৌ .় শিল্পকর্মগুলি রোধ করার জন্য মোকাবেলা করা উচিত। মিথ্যা আবিষ্কারের হার সম্পর্কিত উইকিপিডিয়া নিবন্ধ সমস্যার বিষয়ে অন্তর্দৃষ্টি দিতে পারে।

কেবল কয়েকটি উদাহরণ দিতে:

  • যদি আমরা গোটা বিশ্বের গোটা জনসংখ্যার উপর বায়োমেট্রিক ব্যবস্থা গ্রহণ করি তবে আমরা সিদ্ধান্তে আসতে পারি যে গবাদি পশুদের দুটি নাকের নাকের ছিদ্র রয়েছে। এটি আসলে পোস্ট-হক বিশ্লেষণ, তবে বেশিরভাগ জীববিজ্ঞান, আগ্নেয়গিরি বা ইতিহাস এইভাবে নির্মিত হয়েছে। গবাদি পশু দু'টি নাকের ছিদ্র রয়েছে তা যে কারণে আমরা অস্বীকার করি না তার কারণ এটি এত অপ্রতিরোধ্য হওয়ার পক্ষে প্রমাণ।
  • আমরা প্রদত্ত গরুর খামারে আগের বছর জন্ম নেওয়া বাছুর থেকে ডেটা নিই। আমরা বুঝতে পারি যে প্রতি মঙ্গলবারে পূর্ণ চাঁদের অধীনে নবজাত বাছুরের 50% এরও বেশি মহিলা ছিলেন - সে দেশে বা শীতকালীন মঙ্গলবারগুলিতে সরকারী ছুটি ব্যতীত। আমরা যদি আগে এই অনুমানটি তৈরি করেছিলাম যে এই ধরণের দিনগুলিতে আরও বেশি মহিলা বাছুর জন্মায়, আমরা একটি অনুমান পরীক্ষা করতে পারি এবং সেই অনুমানটি গ্রহণ (বা প্রত্যাখ্যান) করতে পারি। তবে, আমরা যদি বিবেচনায় নিই যে এটি কেবল একটি পোস্ট-হক বিশ্লেষণ, প্রমাণগুলি কোনও উদ্দীপক ঘটনাটিকে প্রত্যাখ্যান করার পক্ষে পর্যাপ্ত হবে না।

একটি প্রায়শই উদ্ধৃত নিবন্ধ রয়েছে যা প্যারাস্যুটগুলি উপাখ্যান হিসাবে কার্যকর হিসাবে প্রমাণিত করে দেয় - যা পোস্ট-হক বিশ্লেষণের ভিত্তিতে প্রমাণের একটি বিশেষ খারাপ শ্রেণি।

এবং স্টিফান কোলাসার উত্তরের দ্বারা ব্যবহৃত একটি ভাল উদাহরণ ব্যবহার করার জন্য: মঙ্গল গ্রহের মুখের অনুরূপ কয়েকটি অন্ধকার দাগ পেরেডোলিয়া হিসাবে প্রত্যাখ্যান করা যেতে পারে তবে লিওনার্দো দা ভিঞ্চির শেষ স্নাতকের কিছুটা ক্ষুদ্রতম বিবরণে পুনরুত্পাদন করার মতো কিছু তা পারেনি।


0

আপনার প্রস্তাবগুলি সমর্থন করে যদি আপনার কাছে কোনও তত্ত্ব না থাকে তবে আপনার প্রস্তাবটি বৈধ হওয়া সত্ত্বেও এটি কাকতালীয় হয়ে থাকতে পারে এবং কোনও কিছুই প্রমাণ করে না। উদাহরণস্বরূপ, আমি দেখতে পেয়েছি যে সূর্য ওঠার সময় আমি ক্ষোভ প্রকাশ করি এবং গত 10 বছর ধরে এটি করে চলেছি - এই তথ্যের উপর ভিত্তি করে একটি পোস্ট-হক বিশ্লেষণ আমাকে বলেছে যে আমার ক্ষুধা এবং সূর্য ওঠার মধ্যে একটি সম্পর্ক রয়েছে, যদিও যা বিদ্যমান তা নিছক একটি কাকতালীয় ঘটনা। আপনি শক্তিমান বা তদ্বিপরীত কারণ সূর্য উদিত হয় না।

জীবন কাকতালিতে পূর্ণ। থিয়োরিয়াল সমর্থিত প্রস্তাবগুলি এই জাতীয় কাকতালীয় ঘটনা বা ছদ্ম-সম্পর্ককে সরিয়ে দেয়।


আমার যদি একটি তত্ত্ব থাকে এবং ফলাফলগুলি সেই তত্ত্বের সাথে খাপ খায়, এটি ঠিক ততই কাকতালীয়ও হতে পারে। যে কারণে তত্ত্বগুলি বৈধ করা যায় না, কেবল মিথ্যা। এবং প্রকৃতপক্ষে, সকালের অন্ত্রের গতিবিধির সাথে সূর্য ওঠার মধ্যে একটি সম্পর্ক রয়েছে, সূর্যের গতিবেগগুলি ডিউরনাল রিদমকে ঘুরিয়ে ফেলে অন্ত্রের গতিবিধিকে প্রভাবিত করে।

0

এখানে একটি স্বজ্ঞাত যা আপনাকে দরকারী মনে করতে পারে। আপনি যদি বিরক্ত হয়ে যান এবং গাড়ি গণনা করেন তবে আপনাকে এখনও মনে রাখতে হবে যে আপনি যা দেখছেন তা কিছু এলোমেলো প্রক্রিয়ার ফলাফল। বিশেষত, গাড়িগুলি বিভিন্ন রঙ হতে পারে

সুতরাং আপনি যদি এই অনুমানটি গঠন করেন যে সর্বাধিক ঘন রঙটি সাদা, কারণ এটি সম্ভবত কারণ হতে পারে তবে এটিও হতে পারে যে সর্বাধিক ঘন বর্ণটি লাল হয় তবে সেই নির্দিষ্ট পরীক্ষায় সর্বাধিক ঘন ঘন সাদা ছিল (যা সর্বদা সম্ভব )।

এখন, যদি আপনি পোস্ট-হক করে থাকেন তবে আপনি সাদাকে সবচেয়ে ঘন ঘন হওয়ার পরীক্ষা করে দেখবেন এবং তথ্যের দ্বারা প্রস্তাবিত যে খুব অনুমান করা হয়েছে, আপনি ভালভাবে সিদ্ধান্তে পৌঁছে দিতে পারেন যে সাদা সবচেয়ে ঘন ঘন ... কমপক্ষে, ডেটা কখনও বিপরীত হবে না (পোস্ট-হক) অনুমান।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.