তুলনা এবং বৈপরীত্য, পি-মান, তাত্পর্য স্তর এবং টাইপ প্রথম ত্রুটি

আমি ভাবছিলাম যে পি-ভ্যালু, তাত্পর্য স্তর এবং টাইপ আই ত্রুটির সংজ্ঞা এবং ব্যবহারগুলি হিসাবে যদি কেউ সংক্ষিপ্ত রানডাউন দিতে পারে।

আমি বুঝতে পেরেছি যে পি-মানগুলি "প্রকৃতপক্ষে আমরা যতটা পর্যবেক্ষণ করেছি তার চেয়ে বেশি হিসাবে একটি পরিসংখ্যানের পরিসংখ্যান প্রাপ্তির সম্ভাবনা" হিসাবে সংজ্ঞায়িত হয়েছে, যখন তাত্পর্য স্তরটি যদি পি-মানটি উল্লেখযোগ্য হয় বা না হয় তবে গেজ করার জন্য একটি স্বেচ্ছাসেবী কাট অফ মান হয় while । টাইপ প্রথম ত্রুটিটি বাতিল হয়ে যাওয়া একটি অনুমানের ত্রুটি যা সত্য ছিল। যাইহোক, আমি তাত্পর্য স্তর এবং আমি যে ধরণের ত্রুটি টাইপের মধ্যে পার্থক্য সম্পর্কে অনিশ্চিত, তারা কি একই ধারণা নয়?

উদাহরণস্বরূপ, খুব সাধারণ পরীক্ষাটি ধরুন যেখানে আমি একটি মুদ্রা 1000 বার ফ্লিপ করেছিলাম এবং এটি 'মাথা' বারে কতবার নেমে আসে তা গণনা করি। আমার নাল হাইপোথিসিস, এইচ 0, এটি হ'ল = 500 (নিরপেক্ষ মুদ্রা)। আমি তারপরে আলফা = 0.05 এ আমার তাত্পর্যটি সেট করেছি।

আমি মুদ্রাটি 1000 বার ফ্লিপ করি এবং তারপরে আমি পি-মানটি গণনা করি, যদি পি-মান> 0.05 হয় তবে আমি নাল অনুমানটিকে প্রত্যাখ্যান করতে ব্যর্থ হই এবং যদি পি-মান <0.05 হয় তবে আমি নাল অনুমানটিকে প্রত্যাখ্যান করি।

এখন আমি যদি বারবার এই পরীক্ষাটি করে থাকি, প্রতিবার পি-মানটি গণনা করা এবং নাল অনুমানকে প্রত্যাখ্যান করতে বা প্রত্যাখ্যান করা এবং আমি কতজনকে প্রত্যাখ্যান / প্রত্যাখ্যান করতে ব্যর্থ হয়েছি তার একটি গণনা রেখে, তবে আমি নাল অনুমানের 5% প্রত্যাখ্যান করে শেষ করব যা বাস্তবে সত্য ছিল, তা কি সঠিক? এটি টাইপ আই ত্রুটির সংজ্ঞা। অতএব, ফিশার তাত্পর্য পরীক্ষার তাত্পর্য স্তরটি মূলত নেইমন-পিয়ারসন হাইপোথিসিস টেস্টিং থেকে টাইপ আই ত্রুটিটি যদি আপনি বারবার পরীক্ষা-নিরীক্ষা করেন।

এখন পি-মানগুলির ক্ষেত্রে, যদি আমি আমার সর্বশেষ পরীক্ষার থেকে 0.06 এর একটি পি-মান অর্জন করেছিলাম এবং আমি একাধিক পরীক্ষা-নিরীক্ষা করেছিলাম এবং 0 থেকে 0.06 এর মধ্যে আমি যে পি-মান পেয়েছি সেগুলি গণনা করি, তবে আমারও একটি হবে না সত্য নাল অনুমানকে প্রত্যাখ্যান করার 6% সম্ভাবনা?

— BYS2
সূত্র

উত্তর:

প্রশ্নটি সহজ দেখাচ্ছে, তবে আপনার চারপাশে আপনার প্রতিবিম্বটি দেখায় যে এটি এতটা সহজ নয়।

আসলে, পি-মানগুলি পরিসংখ্যানের তত্ত্বের তুলনায় তুলনামূলক দেরী সংযোজন। কম্পিউটার ছাড়াই পি-ভ্যালু গণনা করা অত্যন্ত ক্লান্তিকর; এই কারণেই সাম্প্রতিককাল অবধি পরিসংখ্যান পরীক্ষা করার একমাত্র উপায় ছিল পরিসংখ্যান পরীক্ষার টেবিলগুলি ব্যবহার করা, যেমনটি আমি এই ব্লগ পোস্টে ব্যাখ্যা করেছি । কারণ সেই টেবিল সংশোধন জন্য নির্ণিত ছিল মাত্রা (সাধারণত 0.05, 0.01 এবং 0.001) আপনি কেবলমাত্র সেই মাত্রায় একটি পরীক্ষা সঞ্চালন করা যেতে পারে। $\alpha$

কম্পিউটারগুলি সেই টেবিলগুলিকে অকেজো করে তোলে তবে পরীক্ষার যুক্তি এখনও একই। তোমার উচিত:

একটি নাল হাইপোথিসিস প্রণয়ন।
একটি বিকল্প অনুমান রচনা করুন।
সর্বাধিক প্রকারের I ত্রুটি (মিথ্যাভাবে নাল হাইপোথিসিস প্রত্যাখ্যান করার সম্ভাব্যতা) আপনি যে ত্রুটি গ্রহণ করতে প্রস্তুত তা স্থির করুন।
প্রত্যাখ্যান অঞ্চল ডিজাইন করুন। সম্ভাব্যতা যে পরীক্ষার পরিসংখ্যান দেওয়া যে নাল হাইপোথিসিস আপনার স্তর প্রত্যাখ্যান অঞ্চল পড়ে । @ এমএনএসটি যেমন ব্যাখ্যা করে, এটি আপনার গ্রহণযোগ্য টাইপ আই ত্রুটির চেয়ে ছোট হওয়া উচিত নয় এবং অনেক ক্ষেত্রে অ্যাসিম্পটোটিক আনুমানিকতা ব্যবহার করুন। $\alpha$
এলোমেলো পরীক্ষা চালান, পরীক্ষার পরিসংখ্যান গণনা করুন এবং দেখুন এটি প্রত্যাখ্যান অঞ্চলে পড়ে কিনা।

তত্ত্ব ইন, ইভেন্টের মধ্যে একটি কঠোর সমানতা হয় "পরিসংখ্যাত প্রত্যাখ্যান অঞ্চল পড়ে" এবং "পি-মান কম " $\alpha$ যা কেন এটা অনুভূত হয় যে আপনার পি-মান প্রতিবেদন করতে পারেন, পরিবর্তে । অনুশীলনে, এটি আপনাকে পদক্ষেপ 3 এড়ানোর অনুমতি দেয় এবং পরীক্ষাটি শেষ হওয়ার পরে ধরণের আই ত্রুটিটি মূল্যায়ন করতে পারে ।

আপনার পোস্টে ফিরে আসতে, নাল অনুমানের বক্তব্যটি ভুল। নাল হাইপোথিসিস যে একটি মাথা আলোকসম্পাতের সম্ভাবনা নেই (নাল হাইপোথিসিস র্যান্ডম পরীক্ষা ফলাফল অধিকারে থাকা না করতে পারেন)। $1/2$

যদি আপনি 0.05 এর প্রান্তিক পি-মান দিয়ে পুনরায় পরীক্ষাটি পুনরাবৃত্তি করেন তবে হ্যাঁ, আপনার আনুমানিক 5% প্রত্যাখ্যান হওয়া উচিত । এবং যদি আপনি ০.০ p এর একটি পি-মান কাট অফ সেট করেন তবে আপনার মোটামুটি 6% প্রত্যাখ্যান হওয়া উচিত। আরও সাধারণভাবে, অবিচ্ছিন্ন পরীক্ষার জন্য, পি-মান সংজ্ঞা দিয়ে $p$

P r o b (p < x) = x, (0 < x < 1),

$Prob(p < x) = x, \, (0 < x < 1),$

যা বিচ্ছিন্ন পরীক্ষার জন্য প্রায় সত্য।

এখানে কিছু আর কোড রয়েছে যা আমি আশা করি এটি কিছুটা স্পষ্ট করে দিতে পারে। দ্বিপদী পরীক্ষা তুলনামূলকভাবে ধীর গতির, তাই আমি কেবল 10,000 র্যান্ডম পরীক্ষাগুলি করি যেখানে আমি 1000 কয়েন ফ্লিপ করি। আমি দ্বিপদী পরীক্ষা করি এবং 10,000 পি-মান সংগ্রহ করি।

set.seed(123)
# Generate 10,000 random experiments of each 1000 coin flipping
rexperiments <- rbinom(n=10000, size=1000, prob=0.5)
all_p_values <- rep(NA, 10000)
for (i in 1:10000) {
    all_p_values[i] <- binom.test(rexperiments[i], 1000)$p.value
}
# Plot the cumulative density of p-values.
plot(ecdf(all_p_values))
# How many are less than 0.05?
mean(all_p_values < 0.05)
# [1] 0.0425
# How many are less than 0.06?
mean(all_p_values < 0.06)
# 0.0491

আপনি দেখতে পাচ্ছেন যে অনুপাতগুলি সঠিক নয়, কারণ নমুনার আকারটি অসীম নয় এবং পরীক্ষাটি পৃথক, তবে এখনও দুজনের মধ্যে প্রায় 1% বৃদ্ধি রয়েছে increase

— gui11aume
সূত্র

@ MånsT ধন্যবাদ! অবিচ্ছিন্ন এবং বিযুক্ত পরীক্ষাগুলির মধ্যে পার্থক্যের জন্য আপনার কাছে +1 (যা আমি সততার সাথে সম্পূর্ণ উপেক্ষা করে থাকি)।

— gui11aume

@ gui11aume, আপনাকে ইনপুট দেওয়ার জন্য ধন্যবাদ! তবে, আপনার বিবৃতি "পি-মানগুলি পরিসংখ্যান তত্ত্বের তুলনায় তুলনামূলকভাবে দেরী সংযোজন" অদ্ভুত। আমি যা পড়েছি তা থেকে, পি-মানগুলির সাথে ফিশারের 'তাত্পর্য পরীক্ষা' এর সূচনা হয়েছিল ১৯২৫ সালের দিকে While যদিও নেইম্যান-পিয়ারসনের 'হাইপোথিসিস টেস্টিং' কয়েক বছর পরে ফিশারের কাজে 'উন্নতি' হিসাবে আসে। যদিও এটি সত্য যে পি-মানগুলি গণনা করা কঠিন ছিল (তাই কেন স্ট্যান্ডার্ড স্তরের তাত্পর্য ব্যবহৃত হয়েছিল), তার কাজটি স্মরণীয় ছিল। প্রকৃতপক্ষে তাঁকে 'পরিসংখ্যানের জনক' হিসাবে উল্লেখ করা হয় কারণ তিনি আধুনিক পরিসংখ্যানের বেশিরভাগ ভিত্তি তৈরি করেছিলেন।

— বিওয়াইএস 2

@ BYS2 একেবারে ঠিক (+1)। পি-ভ্যালুগুলির তত্ত্বটি পরিসংখ্যানের উত্স থেকে ফিরে আসে। এটি তাদের বিস্তৃত ব্যবহার যা সাম্প্রতিক। ;-) লক্ষ্য করার জন্য ধন্যবাদ

— gui11aume

@ গিলাউম এর জন্য ধন্যবাদ, যদিও আমার কাছে আরও একটি দ্রুত প্রশ্ন রয়েছে। আপনি বলছেন যে আমার নাল অনুমানটি এইচ 0 = 500 হতে পারে না তবে আমি মনে করি যে অসংখ্য পাঠ্য উদাহরণ হিসাবে ব্যবহার করা হয়েছে: নুল এল হাইপোথিসিসটি হ'ল গড়টি 0 হবে বা তারতম্যটি হবে 10 .. আমার কোনও সমস্যা হয়নি এটি এর মতো করে করা হচ্ছে: এস .. বিতরণটি মূলত কেবলমাত্র স্কেল করে যদি আমি H0 = 0.5 এর পরিবর্তে H0 = 500 ব্যবহার করি

— BYS2

@ gui11aume: আমার উত্তরটি একবারে নজর দেওয়া মজাদার হতে পারে: stats.stackexchange.com/questions/166323/…

আপনি @ মনসটি এবং @ গুই 11উমে (প্রতিটি +1) এর থেকে এখানে ভাল উত্তর পেয়ে যাচ্ছেন। আমি তাদের উভয় উত্তর দুটিতে আরও স্পষ্টভাবে পেতে পারি কিনা তা আমাকে দেখতে দিন।

পৃথক ডেটা নিয়ে কাজ করার সময় , কেবলমাত্র কয়েকটি নির্দিষ্ট মান-সম্ভাবনা রয়েছে এবং কম সম্ভাবনা / ছোট ডেটা সেট সহ সমস্যা আরও খারাপ। উদাহরণস্বরূপ, একটি মুদ্রা আলোকসম্পাতের কল্পনা বার। একটি নির্দিষ্ট সংখ্যা, , পাওয়ার সম্ভাবনা হ'ল: $n$ $k$

p (k) = \frac{n!}{k! (n - k)!} p^{k} (1 - p)^{n - k}

$p(k)=\frac{n!}{k!(n-k)!}p^k(1-p)^{n-k}$

α = .05

$\alpha=.05$

number of heads:           0    1    2    3    4    5    6    7    8    9   10
individual probability:  .001 .010 .044 .117 .205 .246 .205 .117 .044 .010 .001
type I error rate:       .002 .021 .109 .344 .754   1  .754 .344 .109 .021 .002

$\alpha=.05$ $.021$ $\alpha\ne\text{type I error}$ $\alpha$ $.05$ দ্বিপদী সম্ভাবনা। আরও নোট করুন যে এরূপ পরিস্থিতিতে পি-মান এবং তাত্পর্য স্তরগুলির মধ্যে তাত্পর্য হ্রাস করতে সাহায্য করার জন্য মিড পি-মানটির বিকাশকে প্ররোচিত করেছে ।

এমন কেস হতে পারে যেখানে গণনা করা পি-মানটি দীর্ঘ-চালিত টাইপ আই ত্রুটির হারের সমান হয় না , এ ছাড়াও যে ধরণের আই ত্রুটিটি তাত্ক্ষণিকভাবে তাত্পর্য স্তরের সমান হয় না। এই পর্যবেক্ষণগুলি গণনা সহ একটি 2x2 কন্টিনজেন্সি টেবিল বিবেচনা করুন:

     col1 col2
row1   2    4   
row2   4    2

$\chi^2$ $\chi^2_{1}=1.3, p=.248$ $\chi^2$ $\chi^2$ $p=.5671$ $.5637\ne .5671$

সুতরাং, এখানে সমস্যাগুলি হ'ল পৃথক ডেটা সহ:

আপনার পছন্দসই তাত্পর্য স্তরটি ত্রুটি হারের সম্ভাব্য প্রকারের মধ্যে একটিও নাও হতে পারে &
অবিচ্ছিন্ন পরিসংখ্যানগুলিতে (প্রচলিত) সান্নিধ্য ব্যবহার করা ভুল গণনা করা পি-মান অর্জন করবে।

$N$

(যদিও এই সমস্যাগুলির সমাধান সম্পর্কে প্রশ্ন জিজ্ঞাসা করে না) এমন কিছু বিষয় রয়েছে যা এই সমস্যাগুলি প্রশমিত করে:

$N$
প্রায়শই সংশোধন হয় (যেমন ধারাবাহিকতার জন্য ইয়েটসের সংশোধন) যা গণনা করা মানকে সঠিক মানের নিকটে নিয়ে আসে,
$N$
মাঝের পি-মানটি আপনার প্রকারের ত্রুটি হারকে আপনার নির্বাচিত আত্মবিশ্বাসের স্তরের কাছে পাওয়ার সম্ভাবনা দেয়,
আপনি বিদ্যমান টাইপ আই ত্রুটির হারগুলির মধ্যে একটিতে স্পষ্টভাবে ব্যবহার করতে পারেন (বা এটি কী হবে তা নোট করুন)।

— gung - মনিকা পুনরায় স্থাপন করুন
সূত্র

দুর্দান্ত যে আপনি আমাদের যে দিকটি রেখেছিলেন সে বিষয়ে (+1) আপনি গেছেন।

— gui11aume

@ গুং - আপনি কীভাবে প্রথম টেবিলের জন্য টাইপ আই ত্রুটির হারগুলি পেয়েছিলেন তা সম্পর্কে মন্তব্য করতে পারেন?

— পরিসংখ্যান 134711

@ পরিসংখ্যান 134711, এটি চূড়ান্ত বা আরও চরম (2-লেজযুক্ত) বিকল্পগুলির জন্য স্বতন্ত্র সম্ভাবনার সমষ্টি the

— গুং - মনিকা পুনরায়

ধারণাগুলি একে অপরের সাথে নিবিড়ভাবে জড়িত।

${\rm P}({\rm type~I~error})= \alpha$ $\alpha$ ${\rm P}({\rm type~I~error})\leq \alpha$ , এর অর্থ হ'ল প্রথম ধরণের ত্রুটির সম্ভাবনাটি সীমাবদ্ধ $\alpha$ । তবে, পরীক্ষাগুলি যেগুলি একরকম বা অন্যরকমের প্রায়শ ব্যবহার করে তা আসলে থাকে ${\rm P}({\rm type~I~error})\approx \alpha$ , এক্ষেত্রে প্রথম ধরণের ত্রুটির সম্ভাবনা নামমাত্রের চেয়ে বড় হতে পারে $\alpha$ ।

পি-মান হ'ল সর্বনিম্ন তাত্পর্য স্তর যেখানে নাল অনুমানটি স্বীকৃত হবে । সুতরাং এটি আমাদের "কতটা গুরুত্বপূর্ণ" ফলাফল তা বলে tells

— MånsT
সূত্র