হাইপোথিসিস টেস্টিংয়ের জন্য কি বড় ডেটা অনুপযুক্ত?

129

একটি সাম্প্রতিক প্রবন্ধ এর Amstat সংবাদ , লেখক (মার্ক ভ্যান ডার Laan এবং Sherri রোজ) বিবৃত আমরা জানি যে "যে বৃহৎ যথেষ্ট নমুনা মাপ জন্য, যে অধ্যয়ন সহ যার কোন প্রভাব নাল হাইপোথিসিস সত্য - একটি প্রচার করব পরিসংখ্যানগতভাবে উল্লেখযোগ্য প্রভাব।

ঠিক আছে, আমি একজনের জন্য এটি জানতাম না। এটা কি সত্য? এর অর্থ কি এই যে হাইপোথিসিস টেস্টিং বড় ডেটা সেটগুলির জন্য মূল্যহীন?

— কার্লোস অ্যাকসিওলি
সূত্র

10

+1: এই প্রশ্নটি সাধারণত কিছু আকর্ষণীয় দৃষ্টিভঙ্গি প্রকাশ করে।

— ব্যবহারকারী 60

7

বড় ডেটা সেটগুলি সম্পর্কে আরও আলোচনা stats.stackexchange.com/q/7815/919 এ উপস্থিত হয় । (ফোকাসটি সেখানে রিগ্রেশন মডেলিংয়ের দিকে রয়েছে))

— শুভ

1

সম্পর্কিত থ্রেড ?

— এন্টোইন

8

যদি একটি বৃহত নমুনা আপনাকে ধারণা করে যে হাইপোথিসিস টেস্টিংটি ভুল সরঞ্জাম ছিল, তবে হাইপোথিসিস টেস্টিং আসলে ছোট ছোট নমুনাগুলিতে সঠিক প্রশ্নের উত্তর দিচ্ছিল না - যে এটি ভুল ছিল কেবল বৃহত্তর নমুনার আকারে আরও স্পষ্ট হয়ে উঠেছে , তবে একই বিবেচনাগুলি প্রাসঙ্গিক । যদি খুব ছোট প্রভাবের আকারের একটি উল্লেখযোগ্য ফলাফল আপনাকে বলে দেয় "ভাল, আমি যা চাইছিলাম তা নয়, আমি চেয়েছিলাম এটি গুরুত্বপূর্ণ কিনা তা আমাকে জানাতে" তবে অনুমানের পরীক্ষাটি শুরু করার জন্য কেবল ভুল সরঞ্জাম ছিল। এই ধরণের সমস্যার জন্য আরও উপযুক্ত সরঞ্জাম (যেমন আত্মবিশ্বাসের অন্তর, সমতুল্য পরীক্ষা ইত্যাদি) রয়েছে।

— Glen_b

91

এটা সত্য না. যদি নাল হাইপোথিসিসটি সত্য হয় তবে ছোটের চেয়ে বড় নমুনার আকারে এটি আরও ঘন ঘন প্রত্যাখাত হবে না। একটি ভ্রান্ত প্রত্যাখ্যান হার রয়েছে যা সাধারণত 0.05 (আলফা) এ সেট করা থাকে তবে এটি নমুনা আকার থেকে স্বতন্ত্র। সুতরাং, আক্ষরিকভাবে নেওয়া বক্তব্যটি মিথ্যা। তবুও, এটি সম্ভব যে কিছু পরিস্থিতিতে (এমনকি পুরো ক্ষেত্রগুলি) সমস্ত নাল মিথ্যা এবং তাই এন পর্যাপ্ত পরিমাণে বেশি হলে সমস্ত প্রত্যাখ্যান করা হবে। তবে এটা কি খারাপ জিনিস?

সত্যটি হ'ল তুচ্ছ ছোট প্রভাবগুলি খুব বড় নমুনা আকারের সাথে "উল্লেখযোগ্য" হিসাবে দেখা যায়। এটি আপনাকে সুপারিশ করে না যে আপনার এত বড় নমুনার আকার না রাখা উচিত। এর অর্থ হ'ল আপনি যেভাবে আপনার অনুসন্ধানের ব্যাখ্যা করছেন তা পরীক্ষার প্রভাবের আকার এবং সংবেদনশীলতার উপর নির্ভর করে। আপনার যদি খুব ছোট প্রভাবের আকার এবং অত্যন্ত সংবেদনশীল পরীক্ষা থাকে তবে আপনাকে সনাক্ত করতে হবে যে পরিসংখ্যানগতভাবে গুরুত্বপূর্ণ অনুসন্ধানগুলি অর্থবহ বা কার্যকর নাও হতে পারে।

কিছু লোক বিশ্বাস করে না যে নাল অনুমানের একটি পরীক্ষা, নালটি সত্য হলে সর্বদা যে কোনও নমুনা আকারের জন্য নির্বাচিত কাটঅফ পয়েন্টের সমান ত্রুটির হার থাকে, এখানে Rবিন্দুটি প্রমাণ করার ক্ষেত্রে একটি সাধারণ সিমুলেশন রয়েছে । এনটিকে আপনার পছন্দমতো বৃহত করুন এবং টাইপ আই ত্রুটির হার স্থির থাকবে।

# number of subjects in each condition
n <- 100
# number of replications of the study in order to check the Type I error rate
nsamp <- 10000

ps <- replicate(nsamp, {
    #population mean = 0, sd = 1 for both samples, therefore, no real effect
    y1 <- rnorm(n, 0, 1) 
    y2 <- rnorm(n, 0, 1)
    tt <- t.test(y1, y2, var.equal = TRUE)
    tt$p.value
})
sum(ps < .05) / nsamp

# ~ .05 no matter how big n is. Note particularly that it is not an increasing value always finding effects when n is very large.

— জন
সূত্র

8

+1: প্রকৃতপক্ষে, এখানে তিনটি উত্তরই একে অপরের সাথে যৌক্তিকভাবে সামঞ্জস্যপূর্ণ।

— ব্যবহারকারী 60

1

অবশেষে আমি একজন (অ-পরিসংখ্যান) অধ্যাপক অনেক দিন আগে আমাকে বলেছিলেন এমন কিছুটির একটি ডিবাঙ্কিং পেয়েছি।

— জেস

1

@ সিম্পা, না এস এ নেমে যাওয়ার সাথে সাথে N এর উপরে উঠে যাওয়ার অর্থ এই নয় যে আপনি সর্বদা বড় এন দিয়ে একটি প্রভাব খুঁজে পাবেন (সিমুলেশন দেখুন)। মনে রাখবেন যে এসই যেমন নিম্নমানের দিকে চলেছে তেমনি প্রভাবের অনুমানের পরিমাণও বাড়ছে। যদি জনসংখ্যার প্রভাব না থাকে তবে এটি 0 এর কাছাকাছি হওয়ার এবং কোনও পার্থক্য না দেখানোর সম্ভাবনা অনেক বেশি। আসলে, পি-মানগুলির বিতরণ নমুনা আকার নির্বিশেষে সমতল যখনই নাল সত্য (তার জন্য নিজের নিজস্ব সিমুলেশন লিখুন)। উত্তরের কোনও বিরোধ নেই।

— জন

4

তাহলে আপনি ভুল হতে হবে। আপনি অন্যান্য উত্তরগুলি এখানে পড়ার বিষয়েও বিবেচনা করতে চাইতে পারেন। যেহেতু আপনি সিমুলেশন এবং হাইপোথিসিস পরীক্ষার মধ্যকার সম্পর্কটিকে অনুসরণ করতে পারবেন না, তাই আমি অনুমান করি যে আমি কেবলমাত্র আপনার প্রাথমিক দাবির দিকে ইঙ্গিত করতে পারি যে স্ট্যান্ডার্ড ত্রুটি যেমন নিচে যায়, তেমন উপরে যায় এবং পি নীচে যায়। প্রভাবটি যদি অবিচ্ছিন্ন থাকে তবে এটি কেবল সত্য। তবে এফেক্টটি একটি এলোমেলো নমুনা এবং যখন আসল ইফেক্ট 0 হয় তখন এন পরিলক্ষিত প্রভাবটি হ্রাস পেতে থাকে। সুতরাং, যদিও এন বাড়ছে এসই নীচে চলে যাওয়ায় এটি টি-মান বাড়বে না কারণ টি-মানটির সংখ্যকও কম হবে।

— জন

1

Rnorm একটি অযৌক্তিক সংখ্যা উত্পাদন করতে পারে না এই উদাহরণে অপ্রাসঙ্গিক। এমনকি যদি এটি 0 এবং 1 এর এসডি থেকে যথাযথভাবে স্বাভাবিক না ঘটে তবে উভয় নমুনার ক্ষেত্রে এটি সাধারণ নয়। টাইপ আই ত্রুটির হারটি .05 এর থেকে সামান্য দূরে থাকতে পারে তবে এটি এন এর নির্বিশেষে স্থির থাকতে হবে। এবং এটি সমস্ত অনুকরণের ক্ষেত্রে সত্য নয়, কারণ আমি কোনও বিযুক্তকে বেছে নিতে পারতাম যেখানে এটি কোনও সমস্যা নয়। (আপনি যদি সত্যিই কোনও রহস্যজনক বিষয় উত্থাপন করতে চেয়েছিলেন তবে আপনার ছদ্ম এলোমেলোতার সমাধান করা উচিত ছিল।)

— জন

31

আমি যে উত্তরগুলি উপস্থিত হয়েছে তার সাথে একমত, তবে যুক্ত করতে চাই যে সম্ভবত প্রশ্নটি পুনঃনির্দেশিত করা যেতে পারে। হাইপোথিসিস পরীক্ষা করা যায় কি না তা গবেষণামূলক প্রশ্ন যা কমপক্ষে সাধারণভাবে কতটা ডেটা আছে সে সম্পর্কে স্বতন্ত্র হওয়া উচিত। আপনার যদি সত্যই কোনও হাইপোথিসিস পরীক্ষা করার দরকার হয় তবে তা করুন এবং ছোট প্রভাবগুলি সনাক্ত করার ক্ষমতাকে ভয় পাবেন না। তবে প্রথমে জিজ্ঞাসা করুন যে এটি আপনার গবেষণা উদ্দেশ্যগুলির অংশ কিনা।

এখন কিছু বাটা জন্য:

কিছু নাল অনুমান নির্মাণ দ্বারা একেবারে সত্য। উদাহরণস্বরূপ, আপনি যখন ইক্যুইটিস্ট্রিবিউশনের জন্য সিউডোরডম সংখ্যা জেনারেটর পরীক্ষা করছেন এবং পিআরজি সত্যিই নিখরচায়িত (যা গাণিতিক উপপাদ্য হবে) তখন নালটি ধরে। সম্ভবত আপনি বেশিরভাগ আরও বেশি আকর্ষণীয় বাস্তব-জগতের উদাহরণগুলি পরীক্ষা-নিরীক্ষায় র্যান্ডমাইজেশন থেকে উদ্ভূত হয়ে উঠতে পারেন যেখানে চিকিত্সার সত্যিই কোনও প্রভাব নেই। (আমি উদাহরণ হিসাবে পুরো সাহিত্যের esp উপর রাখা হবে। ;-)
ক্লাসিক টি-টেস্ট বা জেড-টেস্টগুলির মতো একটি "সাধারণ" নালকে "যৌগিক" বিকল্পের বিরুদ্ধে পরীক্ষা করা হয় এমন পরিস্থিতিতে সাধারণত প্রভাবের আকারটি সনাক্ত করতে সমানুপাতিক একটি নমুনা আকার লাগে । কোনও গবেষণায় এটির একটি ব্যবহারিক উপরের আবদ্ধ রয়েছে, এটি সনাক্তকারী প্রভাবের আকারের উপর একটি ব্যবহারিক নিম্ন বন্ড রয়েছে imp সুতরাং, তাত্ত্বিক বিষয় হিসাবে ডের লান এবং রোজ সঠিক, তবে তাদের উপসংহারটি প্রয়োগ করার ক্ষেত্রে আমাদের যত্ন নেওয়া উচিত। $1/\epsilon^2$ $\epsilon$

— whuber
সূত্র

এটি কি টাইপ আই ত্রুটি বনাম টাইপ II ত্রুটি (বা শক্তি) এর বিষয় নয়? যদি একটি ফিক্স টাইপ করে I ত্রুটির সম্ভাবনা ( ) 0.05 এ থাকে, তবে অবশ্যই (পৃথক ক্ষেত্রে বাদে), নমুনা বড় কিনা তা 0.05 হবে। তবে প্রদত্ত প্রকারের জন্য আমি ত্রুটির সম্ভাব্যতা, 0.05 উদাহরণস্বরূপ, শক্তি, বা সম্ভাবনাটি যখন আপনি সেখানে থাকাকালীন প্রভাবটি সনাক্ত করতে পারেন, এটি বড় স্যাম্পেল আকারের জন্য বৃহত্তর।

α

$\alpha$

@fcop আপনার মন্তব্যগুলি সঠিক হলেও এটি অন্য উত্তরে নির্দেশিত বলে মনে হচ্ছে। তারা এইটির বিন্দুটি মিস করে, যা সুপারিশ করে যে সমস্ত পরিসংখ্যান বিশ্লেষণকে হাইপোথিসিস পরীক্ষা করার প্রয়োজন হয় না। প্রথাগত হাইপোথিসিস পরীক্ষাগুলি পরিচালনা করার সময় প্রকার I এবং II ত্রুটির অর্থ রয়েছে।

— whuber

ওপি একটি বিবৃতি উল্লেখ করে: '' আমরা জানি যে পর্যাপ্ত পরিমাণে নমুনা আকারের জন্য, প্রতিটি গবেষণায়- যার মধ্যে কোনও প্রভাবের নাল অনুমানটি সত্য নয় - একটি পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ প্রভাব ঘোষণা করবে '' সুতরাং, আপনি যদি পরীক্ষা করেন যেমন বনাম তারপর বড় নমুনাগুলিতে শক্তি এত বেশি যে আপনি 1 থেকে এমনকি ছোট ছোট বিচ্যুতিগুলি সনাক্ত করতে পারেন So সুতরাং আমি মনে করি তাদের বক্তব্যটি সঠিক নয়, তবে বৃহত নমুনায় সেই শক্তি আপনাকে অনুমতি দেয় খুব ছোট পার্থক্য সনাক্ত করতে।

H_{0} : μ = 1

$H_0: \mu=1$

H_{1} : μ \neq 1

$H_1: \mu \ne 1$

@fcop ব্যাখ্যা করার জন্য আপনাকে ধন্যবাদ। আমি আপনার যুক্তির সাথে একমত: যখন নালটি সত্য হয়, তবে নির্মাণের মাধ্যমে এমনকি বড় অধ্যয়নগুলি তাদের পরীক্ষার আকারের সমানভাবে একটি সুযোগের সাথে একটি উল্লেখযোগ্য প্রভাব খুঁজে পেতে পারে - অর্থাৎ, তারা কোনও উল্লেখযোগ্য প্রভাব খুঁজে পাওয়ার সম্ভাবনা পাবে না।

— শুক্র

19

হাইপোথিসিস পরীক্ষায় allyতিহ্যগতভাবে পি মানগুলিতে স্ট্যাটিস্টিকাল তাত্পর্য অর্জনের দিকে দৃষ্টি নিবদ্ধ করা হয় যখন 0.05 এর চেয়ে কম থাকে যখন একটি বড় দুর্বলতা থাকে। এবং, এটি হ'ল যথেষ্ট পরিমাণে নমুনা আকারের সাথে কোনও পরীক্ষা শেষ পর্যন্ত নাল অনুমানকে প্রত্যাখ্যান করতে পারে এবং তুচ্ছভাবে ছোট ছোট পার্থক্য সনাক্ত করতে পারে যা পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ হয়।

এই কারণেই ড্রাগ সংস্থাগুলি খুব বড় নমুনা নিয়ে এফডিএ অনুমোদন পেতে ক্লিনিকাল ট্রায়ালগুলি গঠন করে। বড় নমুনা শূন্যের কাছাকাছি মান ত্রুটি হ্রাস করবে। ফলস্বরূপ এটি কৃত্রিমভাবে টি স্ট্যাটিকে উত্সাহ দেবে এবং পি এর মানটি 0% এর কাছাকাছি কমিয়ে দেবে।

আমি বৈজ্ঞানিক সম্প্রদায়গুলির মধ্যে জড়িত হয়েছি যেগুলি অর্থনৈতিক উত্সাহ এবং সম্পর্কিত স্বার্থ অনুমানের পরীক্ষার দ্বন্দ্ব দ্বারা দূষিত নয় এবং প্রভাব আকারের পরিমাপের জন্য কোনও মান মান পরিমাপ থেকে দূরে সরে যাচ্ছে। এটি কারণ কারণ আকার আকার বিশ্লেষণের পরিসংখ্যানগত দূরত্ব বা পার্থক্য একক মান ত্রুটির পরিবর্তে মান বিচ্যুতি। এবং, আদর্শ বিচ্যুতি নমুনার আকার থেকে সম্পূর্ণ স্বাধীন। অন্যদিকে স্ট্যান্ডার্ড ত্রুটি নমুনার আকার থেকে সম্পূর্ণ নির্ভর করে।

সুতরাং, যে কেউ হাইপোথিসিস পরীক্ষার বিষয়ে সন্দেহ করছেন তিনি বড় নমুনাগুলি এবং পি মান সম্পর্কিত পদ্ধতির উপর ভিত্তি করে পরিসংখ্যানগতভাবে গুরুত্বপূর্ণ ফলাফলগুলিতে পৌঁছানোর বিষয়ে সংশয়ী হওয়া ঠিক। তাদের একই ডেটা ব্যবহার করে বিশ্লেষণটি পুনরায় চালিত করা উচিত তবে পরিবর্তে এফেক্ট আকারের পরিসংখ্যান পরীক্ষা করে। এবং, তাহলে প্রভাবের আকারটি উপাদান হিসাবে বিবেচিত হয়েছে কিনা তা পর্যবেক্ষণ করুন। এটি করে আপনি পর্যবেক্ষণ করতে পারেন যে পরিসংখ্যানগতভাবে তাত্পর্যপূর্ণ একগুচ্ছ পার্থক্যের প্রভাব আকারের সাথে যুক্ত ma ক্লিনিকাল ট্রায়াল গবেষকরা কখনও কখনও এর অর্থ যখন কোনও পরিসংখ্যানগতভাবে তাত্পর্যপূর্ণ হন তবে "চিকিত্সাগতভাবে তাৎপর্যপূর্ণ" হন না। তারা বোঝায় যে একটি চিকিত্সা প্লেসবো এর চেয়ে ভাল হতে পারে তবে পার্থক্যটি এতটাই প্রান্তিক যে এটি ক্লিনিকাল প্রসঙ্গে রোগীর পক্ষে কোনও পার্থক্য রাখে না।

— Sympa
সূত্র

1

একজনের বড় নমুনা অন্যের ছোট নমুনা। :)

— Iterator

3

আপনি কি তখন ভুল প্রশ্ন করলেন না? সম্ভবত এফডিএ অনুমোদনের প্রক্রিয়াটির পরিবর্তে প্লাসবো (একটি ড্রাগের ব্যয়গুলির সাথে সম্পর্কিত, যার বিরূপ প্রভাব সহ) সম্ভবত একটি পরিসংখ্যানগত তাত্পর্যটির পরিবর্তে একটি বৃহত লাভ নির্দিষ্ট করবে? কারণ খুব সামান্য হলেও সত্যিকারের পার্থক্য থাকতে পারে এবং এই পার্থক্যটি পরিসংখ্যানগতভাবে তা তাত্পর্যপূর্ণ হিসাবে দেখানো হয়েছে যদিও তা ছোট small

— এমিল বিক্রষ্টম

এফডিএতে "কেবল পরিসংখ্যানগত তাত্পর্য" লাগে না। এটা অযৌক্তিক হবে। শিল্পের প্রত্যেকে "ক্লিনিকালি গুরুত্বপূর্ণভাবে" এর অর্থ বোঝে। এফডিএ স্বাস্থ্য ও সুরক্ষার উদ্বেগের বিরুদ্ধে ছাড়ের মতো ক্লিনিকাল এন্ডপয়েন্টস দ্বারা মাপা ড্রাগের কার্যকারিতার পরিসংখ্যানগত প্রমাণকে ওজন করে । ভিত্তিহীন দাবি করার আগে দয়া করে এফডিএ নির্দেশিকা পড়ুন।

— Qwr

15

একটি (ঘনত্ববাদী) হাইপোথিসিস পরীক্ষা, অবিকল পর্যবেক্ষণ করা তথ্যের সম্ভাব্যতার প্রশ্নটির সমাধান করুন বা আরও চরম কিছু সম্ভবত নাল হাইপোথিসিসটি সত্য বলে ধরে নিবেন। এই ব্যাখ্যাটি নমুনা আকারে উদাসীন। নমুনা 5 বা 1,000,000 আকারের কিনা সে ব্যাখ্যাটি বৈধ।

একটি গুরুত্বপূর্ণ সতর্কতা হ'ল পরীক্ষাটি কেবল নমুনা ত্রুটির সাথে প্রাসঙ্গিক। পরিমাপের কোনও ত্রুটি, স্যাম্পলিংয়ের সমস্যা, কভারেজ, ডেটা এন্ট্রি ত্রুটি ইত্যাদি নমুনা ত্রুটির সুযোগের বাইরে। যেমন নমুনার আকার বৃদ্ধি পায়, নন-স্যাম্পলিং ত্রুটিগুলি আরও প্রভাবশালী হয়ে ওঠে কারণ ছোট প্রস্থানগুলি এলোমেলো নমুনা মডেল থেকে উল্লেখযোগ্য ছাড়তে পারে। ফলস্বরূপ, তাত্পর্য পরীক্ষা কম কার্যকর হয়।

এটি কোনওভাবেই তাত্পর্যপূর্ণ পরীক্ষার প্রতীক নয়। যাইহোক, আমাদের গুণাবলী সম্পর্কে আমাদের যত্নবান হওয়া দরকার। একটি ফলাফল পরিসংখ্যানগতভাবে তাৎপর্যপূর্ণ হতে পারে। তবে, নমুনার আকার বড় হলে আমরা কীভাবে অ্যাট্রিবিউটগুলি তৈরি করি সে সম্পর্কে আমাদের সতর্ক হওয়া দরকার। সেই পার্থক্যটি কি আমাদের অনুমানযুক্ত উত্পন্ন প্রক্রিয়াটি কোনও ভিজ্যু নমুনা ত্রুটির কারণে হয়েছে বা পরীক্ষার পরিসংখ্যানকে প্রভাবিত করতে পারে এমন অনেকগুলি সম্ভাব্য নন-স্যাম্পলিং ত্রুটির ফলস্বরূপ (যা পরিসংখ্যানগুলি অ্যাকাউন্ট করে না)?

বড় নমুনাগুলি সহ আরেকটি বিবেচনা হ'ল ফলাফলের ব্যবহারিক তাত্পর্য। একটি তাত্পর্যপূর্ণ পরীক্ষা বলতে পারে (আমরা যদি নমুনা না দেওয়ার ত্রুটিও বাতিল করতে পারি) এমন পার্থক্য যা ব্যবহারিক দিক থেকে তুচ্ছ। এমনকি যদি ফলাফলটি স্যাম্পলিংয়ের মডেলটি দেওয়া নাও হয় তবে সমস্যার প্রসঙ্গে তা কি তাৎপর্যপূর্ণ? একটি বৃহত পরিমাণে নমুনা দেওয়া, কয়েকটি গ্রুপের মধ্যে আয়ের তুলনা করার সময় পরিসংখ্যানগতভাবে তাত্পর্যপূর্ণ এমন ফল উত্পন্ন করার জন্য কয়েক ডলারের মধ্যে পার্থক্য যথেষ্ট। এটি কি কোনও অর্থবহ অর্থে গুরুত্বপূর্ণ? পরিসংখ্যানগত তাত্পর্য ভাল রায় এবং বিষয় জ্ঞানের জন্য কোনও প্রতিস্থাপন নয়।

একদিকে যেমন নাল সত্য বা মিথ্যাও নয়। এটি একটি মডেল। এটি একটি অনুমান। আমরা নালটি সত্য বলে ধরে নিই এবং সেই অনুমানের দিক থেকে আমাদের নমুনাটি মূল্যায়ন করি। আমাদের নমুনাটি যদি এই অনুমিতি দেওয়া সম্ভব না হয়, তবে আমরা আমাদের বিকল্পের উপর আরও ভরসা রাখি। অনুশীলনে কোনও নাল চিরকাল সত্য কিনা বা না তা প্রশ্ন করা তাৎপর্য পরীক্ষার যুক্তির ভুল বোঝাবুঝি।

— ব্রেট
সূত্র

3

এটি মডেল জটিলতা বাড়ানোর পক্ষে যুক্তি সমর্থন করে কারণ নমুনা আকারগুলি বড় হয় - বৃহত্তর নমুনা ক্ষেত্রে স্যাম্পলিং ত্রুটি আর অনিশ্চয়তার প্রভাবশালী পথ নয়। অবশ্যই এটি একটি বেয়েশিয়ার কাঠামোয় কেবল "বোধগম্য", যা নমুনা ত্রুটির পাশাপাশি অনিশ্চয়তার অন্যান্য উত্সকেও মঞ্জুরি দেয়।

— সম্ভাব্যতাব্লোগিক

13

অন্য উত্তরে সরাসরি না করা একটি সহজ বিষয় হ'ল এটি সহজ নয় যে "সমস্ত নাল অনুমানগুলি মিথ্যা।"

একটি সাধারণ অনুমান যা একটি শারীরিক মুদ্রার মাথা সম্ভাবনা থাকে ঠিক 0.5 এর সমান, ঠিক আছে, এটি মিথ্যা।

$\alpha$

— কিথ উইনস্টাইন
সূত্র

9

একটি নির্দিষ্ট অর্থে, [সমস্ত] অনেক নাল হাইপোথিসিস [সর্বদা] মিথ্যা (বিজোড় সংখ্যায় ঘরে বসে লোকজনের দল কখনও গড়সংখ্যক ঘরে ঘরে বসবাসকারী সম্প্রদায়ের মতো ঠিক কখনই অর্জন করে না )।

$T_{\alpha}n^{-0.5}$ $T_{\alpha}$ $\alpha$ $n$

এটি পরিসংখ্যানগত পরীক্ষার ত্রুটি নয়। কেবলমাত্র এই যে আরও তথ্য ছাড়াই (পূর্ববর্তী) আমাদের ফলাফল যে নলের সাথে সংখ্যক ছোট ছোট অসঙ্গতিগুলি নূরের বিরুদ্ধে প্রমাণ হিসাবে গ্রহণ করতে হবে। এই অসঙ্গতিগুলি যতই তুচ্ছ হিসাবে প্রমাণিত হয় matter

$\hat{P}(|\bar{\mu}_1-\bar{\mu}_2|^2>\eta|\eta, X)$

— user603
সূত্র

এটি অদ্ভুত ... স্বজ্ঞাতভাবে, এটি বৃহত সংখ্যার বিধানের বিরোধিতা বলে মনে হচ্ছে।

— কার্লোস অ্যাকলিওলি

কার্লোস:> আপনি আরও নির্দিষ্ট করতে পারেন?

— ব্যবহারকারী 60

n

$n$

1

@ কার্লোস - তবে রূপান্তর মানে সমতা নয়; এটি কেবল অসীমের সীমাহীন সীমার জন্য গ্যারান্টিযুক্ত। সুতরাং কোনও বৈপরীত্য নেই ;-)

5

সংক্ষিপ্ত উত্তর হলো 'না". অসীম পর্যবেক্ষণ এবং একাধিক হাইপোথিসিসের অ্যাসিম্পোটিক পদ্ধতিতে হাইপোথিসিস পরীক্ষার উপর গবেষণা বিগত 15-20 বছরে মাইক্রোআরাই ডেটা এবং আর্থিক তথ্য প্রয়োগের কারণে খুব সক্রিয় ছিল। দীর্ঘ উত্তরটি স্ট্যাড 329 এর পাঠ্যক্রমের পৃষ্ঠায় রয়েছে, "বৃহত্তর স্কেল একযোগে অনুক্রম", ব্র্যাড এফ্রন দ্বারা 2010 সালে শেখানো হয়েছিল। একটি পূর্ণ অধ্যায় বড় আকারের অনুমান পরীক্ষার জন্য উত্সর্গীকৃত।

— ফাটল আছে এমন
সূত্র

7

আমি বিশ্বাস করি যে ইফ্রনের বইটি নমুনার আকার নয়, প্রচুর পরিমাণে ভেরিয়েবলগুলিতে (এবং ফলে উত্পন্ন একাধিক পরীক্ষার বিষয়গুলি) কেন্দ্র করে।

— গ্যালিট শমুয়েলই

4

বড় ডেটার জন্য হাইপোথিসিস পরীক্ষার মধ্যে পার্থক্য রয়েছে কি না তার পরিবর্তে অ্যাকাউন্টের মধ্যে কাঙ্ক্ষিত মাত্রার পার্থক্য থাকা উচিত। আপনি এইচ 0 এর প্রতি আগ্রহী নন যে অনুমানটি ঠিক 0। নাল অনুমান এবং পর্যবেক্ষণকৃত মান একটি প্রদত্ত কাট-অফ মানের থেকে বড় কিনা তা পরীক্ষা করার জন্য একটি সাধারণ পদ্ধতির পরীক্ষা করা হবে।

$\bar{X_1} > \bar{X_2}$

T = \frac{\bar{X 1} - \bar{X 2} - δ}{\sqrt{\frac{S^{2}}{n}}} + \frac{δ}{\sqrt{\frac{S^{2}}{n}}} \approx N (\frac{δ}{\sqrt{\frac{S^{2}}{n}}}, 1)

$T=\frac{\bar{X1}-\bar{X2}-\delta}{\sqrt{\frac{S^2}{n}}}+\frac{\delta}{\sqrt{\frac{S^2}{n}}} \approx N(\frac{\delta}{\sqrt{\frac{S^2}{n}}},1)$

T = \frac{\bar{X 1} - \bar{X 2}}{\sqrt{\frac{S^{2}}{n}}} \approx N (\frac{δ}{\sqrt{\frac{S^{2}}{n}}}, 1)

$T=\frac{\bar{X1}-\bar{X2}}{\sqrt{\frac{S^2}{n}}} \approx N(\frac{\delta}{\sqrt{\frac{S^2}{n}}},1)$

$H_0:\bar{X1}-\bar{X2} = \delta$

\frac{\bar{X 1} - \bar{X 2} - δ}{\sqrt{\frac{S^{2}}{n}}} \approx N (0, 1)

$\frac{\bar{X1}-\bar{X2}-\delta}{\sqrt{\frac{S^2}{n}}}\approx N(0,1)$

$H_A$ $\bar{X1}-\bar{X2} > \delta$

mod.test <- function(x1,x2,dif,...){
    avg.x1 <- mean(x1)
    avg.x2 <- mean(x2)
    sd.x1 <- sd(x1)
    sd.x2 <- sd(x2)

    sd.comb <- sqrt((sd.x1^2+sd.x2^2)/2)
    n <- length(x1)
    t.val <- (abs(avg.x1-avg.x2))*sqrt(n)/sd.comb
    ncp <- (dif*sqrt(n)/sd.comb)
    p.val <- pt(t.val,n-1,ncp=ncp,lower.tail=FALSE)
    return(p.val)
}

n <- 5000

test1 <- replicate(100,
  t.test(rnorm(n),rnorm(n,0.05))$p.value)
table(test1<0.05)
test2 <- replicate(100,
  t.test(rnorm(n),rnorm(n,0.5))$p.value)
table(test2<0.05)

test3 <- replicate(100,
   mod.test(rnorm(n),rnorm(n,0.05),dif=0.3))
table(test3<0.05)

test4 <- replicate(100,
   mod.test(rnorm(n),rnorm(n,0.5),dif=0.3))
table(test4<0.05)

যা দেয় :

> table(test1<0.05)
FALSE  TRUE 
   24    76 

> table(test2<0.05)
TRUE 
 100 

> table(test3<0.05)
FALSE 
  100 

> table(test4<0.05)
TRUE 
 100

— জরিস মাইস
সূত্র

প্রথম সমীকরণে কোনও অনুলিপি / অতীত টাইপো নেই?

— ব্যবহারকারী 60

আমি এটা দেখতে পাচ্ছি না?

— জোরিস মেজ

4

"এর অর্থ কি হাইপোথিসিস টেস্টিং বড় ডেটা সেটগুলির জন্য মূল্যহীন?"

না, এর অর্থ এই নয়। সাধারণ বার্তাটি হ'ল হাইপোথিসিস টেস্ট পরিচালনার পরে নেওয়া সিদ্ধান্তগুলি সর্বদা অনুমিত প্রভাবের আকারটি বিবেচনা করা উচিত , এবং কেবলমাত্র পি-মানই নয়। বিশেষত, খুব বড় নমুনা আকারের পরীক্ষায়, প্রভাব আকার বিবেচনা করার এই প্রয়োজনীয়তাটি নাটকীয় হয়ে ওঠে। অবশ্যই, সাধারণভাবে, ব্যবহারকারীরা এটি পছন্দ করেন না কারণ পদ্ধতিটি কম "স্বয়ংক্রিয়" হয়ে যায়।

এই সিমুলেশন উদাহরণ বিবেচনা করুন। ধরুন আপনার কাছে আদর্শ মানের বিতরণ থেকে 1 মিলিয়ন পর্যবেক্ষণের এলোমেলো নমুনা রয়েছে,

n <- 10^6
x <- rnorm(n)

$0.01$

y <- rnorm(n, mean = 0.01)

$95\%$ $2.5\times 10^{-14}$

t.test(x, y)

        Welch Two Sample t-test

data:  x and y
t = -7.6218, df = 1999984, p-value = 2.503e-14
alternative hypothesis: true difference in means is not equal to 0
95 percent confidence interval:
 -0.013554059 -0.008009031
sample estimates:
   mean of x    mean of y 
0.0008947038 0.0116762485

$95\%$ $[-0.013, -0.008]$

আমরা যে বিশেষ সমস্যার সাথে পড়াশোনা করছি তার সাথে প্রস্থের এই ক্রমের দুটি জনসংখ্যার মধ্যে পার্থক্য কি প্রাসঙ্গিক ?

— জেন
সূত্র

আমি আপনার উত্তরের প্রথম বাক্যটি বাদ দিয়ে সমস্ত কিছুর সাথে একমত, যা আমি "হ্যাঁ, এর অর্থ সাধারণত" এর পরিবর্তিত হয় কারণ মিলিয়ন বা তার বেশি আকারের আকারের পরিমাণ খুব কম হয়।

— zbicyclist

α

$\alpha$

3

$H_{ST}:d_{1}=1.23,d_{2}=1.11,\dots$ $d_{i}$

তবে একজন সাধারণত এই নিশ্চিত বিষয় অনুমানের প্রতি আগ্রহী হন না। আপনি যদি হাইপোথিসিস টেস্টটি দিয়ে আসলে কী করতে চান সে সম্পর্কে আপনি যদি ভাবেন তবে শীঘ্রই আপনি স্বীকৃতি পাবেন যে এর সাথে প্রতিস্থাপনের জন্য আরও ভাল কিছু থাকলে আপনার কেবল নাল অনুমানকেই প্রত্যাখ্যান করা উচিত। এমনকি যদি আপনার নাল ডেটা ব্যাখ্যা না করে তবে আপনার প্রতিস্থাপন না করা থাকলে এটিকে ছুঁড়ে ফেলার কোনও সুবিধা নেই। এখন আপনি সবসময় নালকে "নিশ্চিত জিনিস" অনুমান দিয়ে প্রতিস্থাপন করবেন? সম্ভবত তা নয়, কারণ আপনি এই "নিশ্চিত জিনিস" অনুমানটি আপনার ডেটা সেট ছাড়িয়ে সাধারণ করতে ব্যবহার করতে পারবেন না। এটি আপনার ডেটা প্রিন্ট করার চেয়ে বেশি কিছু নয়।

সুতরাং, আপনার যা করা উচিত তা হ'ল হাইপোথিসিসটি নির্দিষ্ট করে যা আপনি সত্যই যদি কাজ করতে আগ্রহী হন। তারপরে সেই বিকল্পগুলির একে অপরের সাথে তুলনা করার জন্য উপযুক্ত পরীক্ষা করুন - এবং অনুমানের কোনও অপ্রাসঙ্গিক শ্রেণীর সাথে নয় যা আপনি জানেন যে মিথ্যা বা অযোগ্য।

$H_{0}:\mu=0$ $H_{1}:\mu\in\{\pm 1,\pm 2,\pm 3,\pm 4,\pm 5,\pm 6\}$ $0.5$ $100$

উপসংহারটি মূলত: আপনার অনুমানের স্থানটি নির্দিষ্ট করা দরকার - সেই হাইপোথিসিস যা আপনার পক্ষে আগ্রহী big মনে হয় যে বড় ডেটার সাথে এটি করা একটি খুব গুরুত্বপূর্ণ বিষয় হয়ে ওঠে, কেবল কারণ আপনার ডেটাতে এতটা সমাধান করার শক্তি রয়েছে। এটিও মনে হয় যে হাইপোথিসিসের সাথে তুলনা করা গুরুত্বপূর্ণ - বিন্দু সহ বিন্দু, যৌগের সাথে যৌগিক - ভাল আচরণের ফলাফল পেতে।

— probabilityislogic
সূত্র

3

না এটি সত্য, সমস্ত দরকারী পয়েন্ট অনুমানের পরীক্ষাটি সামঞ্জস্যপূর্ণ এবং সুতরাং যদি নমুনার আকার যথেষ্ট পরিমাণে বড় হয় এবং কিছু অপ্রাসঙ্গিক প্রভাব বিদ্যমান থাকে তবে এটি একটি উল্লেখযোগ্য ফলাফল প্রদর্শন করবে। পরিসংখ্যান অনুমানের পরীক্ষার এই অপূর্ণতা কাটিয়ে উঠতে (উপরের গায়তন সিংহের উত্তর দ্বারা ইতিমধ্যে উল্লিখিত), সেখানে প্রাসঙ্গিকতা পরীক্ষা রয়েছে। এগুলি সমতুল্য পরীক্ষার অনুরূপ তবে কম সাধারণও। প্রাসঙ্গিকতার পরীক্ষার জন্য, সর্বনিম্ন প্রাসঙ্গিক প্রভাবটির আকার পূর্বনির্ধারিত is একটি প্রাসঙ্গিকতা পরীক্ষা প্রভাবের জন্য একটি আত্মবিশ্বাসের ব্যবধানের ভিত্তিতে তৈরি করতে পারে: আত্মবিশ্বাসের ব্যবধান এবং প্রাসঙ্গিকতা অঞ্চলটি যদি আপত্তি থাকে তবে আপনি শূন্যতাটিকে প্রত্যাখ্যান করতে পারেন।

তবে ভ্যান ডার লান এবং রোজ তাদের বিবৃতিতে ধরে নিয়েছেন, এমনকি সত্য নাল অনুমানও অধ্যয়নগুলিতে পরীক্ষা করা হয়। যদি নাল হাইপোথিসিসটি সত্য হয় তবে প্রত্যাখ্যানের প্রবণতা আলফার চেয়ে বড় নয়, বিশেষত বড় নমুনাগুলির এবং এমনকি ভুল বানানো ক্ষেত্রেও আমি কেবল দেখতে পাচ্ছি যে নমুনা বিতরণটি জনসংখ্যার বিতরণ থেকে নিয়মতান্ত্রিকভাবে পৃথক,

— হর্স্ট গ্রানবুশ
সূত্র

3

আপনি যে নিবন্ধটি উল্লেখ করেছেন তার একটি বৈধ পয়েন্ট রয়েছে, যতক্ষণ স্ট্যান্ডার্ড ঘনঘনবাদী পরীক্ষাগুলি সম্পর্কিত। এজন্য প্রদত্ত এফেক্ট আকারের জন্য পরীক্ষা করা খুব গুরুত্বপূর্ণ। উদাহরণস্বরূপ, এখানে 3 টি গ্রুপের মধ্যে একটি আনোভা রয়েছে, যেখানে গ্রুপ 'বি' গ্রুপ 'এ' এবং 'সি' এর চেয়ে সামান্য আলাদা r

treat_diff=0.001 #size of treatment difference
ns=c(10, 100, 1000, 10000, 100000, 1000000) #values for sample size per group considered
reps=10 #number of test repetitions for each sample size considered
p_mat=data.frame(n=factor(), p=double()) #create empty dataframe for outputs
for (n in ns){ #for each sample size
  for (i in c(1:reps)){ #repeat anova test ‘reps’ time
    treatA=data.frame(treatment="A", val=rnorm(n)) 
    treatB=data.frame(treatment="B", val=rnorm(n)+treat_diff) #this is the group that has the means slightly different from the other groups
    treatC=data.frame(treatment="C", val=rnorm(n))
    all_treatment=rbind(treatA, treatB, treatC)
    treatment_aov=aov(val~treatment, data=all_treatment)
    aov_summary=summary(treatment_aov)
    p=aov_summary[[1]][["Pr(>F)"]][1]
    temp_df=data.frame(n=n, p=p)
    p_mat=rbind(p_mat, temp_df)
  }
}

library(ggplot2)
p <- ggplot(p_mat, aes(factor(n), p))
p + geom_boxplot()

প্রত্যাশিত হিসাবে, পরীক্ষায় প্রতি সংখ্যার বেশি নমুনা সহ, পরীক্ষার পরিসংখ্যানগত তাত্পর্য বৃদ্ধি পায়:

— লুকাস ফোর্টিনি
সূত্র

2

আমি মনে করি তাদের অর্থ হ'ল একটি প্রায়শই নাল অনুমানের সম্ভাবনা ঘনত্ব সম্পর্কে ধারণা তৈরি করে যার একটি 'সরল' ফর্ম রয়েছে তবে সত্য সম্ভাবনার ঘনত্বের সাথে মিল নেই।

এখন ছোট ডেটা সেটগুলির সাহায্যে আপনার এ প্রভাবটি দেখার যথেষ্ট সংবেদনশীলতা নাও থাকতে পারে তবে একটি বৃহত পর্যাপ্ত ডেটা সেট দিয়ে আপনি নাল অনুমানটি বাতিল করবেন এবং সিদ্ধান্ত নেবেন যে নাল হাইপোথিসিস সম্পর্কে আপনার ধারণাটি ভুল বলে সিদ্ধান্ত নেওয়ার পরিবর্তে একটি নতুন প্রভাব রয়েছে।

— আন্দ্রে হলজনার
সূত্র

1

আমি জানি না যে মার্ক এবং শেরনের মনে আপনার দৃষ্টিভঙ্গি ছিল কিনা তবে কেবল আপনার বক্তব্যটি পুনরায় বাক্য বলার জন্য- যদি নালীর নীচে থাকা ডেটারগুলির মডেলটি 'ভুল' হয় তবে আপনি যথেষ্ট পরিমাণে তথ্যের জন্য নাল হাইপোথিসিসকে প্রত্যাখাত করবেন।

1

$\alpha$

$H_0$ $H_1$

নমুনা আকারের সাথে শক্তি বৃদ্ধি পায় (অন্যান্য সমস্ত জিনিস সমান)।

তবে বিবৃতি যে "আমরা জানি যে পর্যাপ্ত পরিমাণে নমুনা আকারের জন্য, প্রতিটি গবেষণা - যার মধ্যে কোনও প্রভাবের নাল অনুমান সত্য নয় - এটি একটি পরিসংখ্যানগতভাবে গুরুত্বপূর্ণ প্রভাব ঘোষণা করবে।" ভুল.