স্বাভাবিকতার জন্য সমস্ত পরীক্ষা কেন নাল অনুমানকে প্রত্যাখ্যান করবে?

Question

কলগোমোরভ-স্মারনভ পরীক্ষা, শাপিরো পরীক্ষা ইত্যাদি .... সমস্ত বিতরণকে স্বাভাবিক বলে অনুমানকে প্রত্যাখ্যান করে। তবুও আমি যখন সাধারণ কোয়ান্টাইলস এবং হিস্টোগ্রামের পরিকল্পনা করি তখন ডেটা স্পষ্টভাবে স্বাভাবিক। পরীক্ষার শক্তি বেশি বলেই হয়তো?

নমুনা আকার 650 কাছাকাছি। সুতরাং এই পরীক্ষাগুলির মধ্যে কমপক্ষে একটিও নাল অনুমানকে প্রত্যাখ্যান করতে ব্যর্থ হওয়া উচিত নয়?

ফলাফল:

           Kolmogorov-Smirnov    D          0.05031          Pr > D       <0.010
           Cramer-von Mises      W-Sq       0.30003          Pr > W-Sq    <0.005
           Anderson-Darling      A-Sq       1.66965          Pr > A-Sq    <0.005
           Chi-Square            Chi-Sq  3250.43596     18   Pr > Chi-Sq  <0.001

Comments

সাইটে স্বাগতম। শক্তি প্রকৃতপক্ষে একটি সমস্যা হতে পারে। আপনি কি আপনার ফলাফল পোস্ট করতে পারেন, যাতে আমরা আরও নির্দিষ্ট করে বলতে পারি?

— স্টাসকে

হিস্টোগ্রাম বা কোয়ান্টাইলগুলি দেখে অনেক নির্ভুলতার সাথে স্বাভাবিকতা নির্ধারণ করা প্রায় অসম্ভব। এই পরীক্ষার প্রথম তিনটি একটি সম্ভাব্যতা প্লটের (সাধারণ কিউকি প্লট) বিচ্যুতি পরিমাপ করে, তাহলে সেই প্লটটি লিনিয়ারটি কীভাবে দেখায়?

— whuber

Answer 1

সাধারণতা পরীক্ষা করা সময়ের অপচয় এবং আপনার উদাহরণ কেন তা বোঝায়। ছোট নমুনাগুলি সহ, স্বাভাবিকতা পরীক্ষাতে শক্তি কম থাকে, তাই পরিসংখ্যানের মডেলগুলি কী ব্যবহার করবেন সে সম্পর্কে সিদ্ধান্তগুলি পূর্বের জ্ঞানের ভিত্তিতে হওয়া দরকার । এই ক্ষেত্রে নাল প্রত্যাখ্যান করতে ব্যর্থতা প্রমাণ করে না যে জনসংখ্যা স্তরে নালটি প্রায় সত্য approximately

যখন আপনার কাছে বড় নমুনা থাকে, স্বাভাবিকতা পরীক্ষাগুলি হাস্যকরভাবে শক্তিশালী হয়ে ওঠে তবে তারা আপনাকে এমন কিছু বলে না যা আপনি ইতিমধ্যে জানতেন না। কোনও আসল পরিমাণ হুবহু সাধারণত বিতরণ করা হয় না। সাধারণ বিতরণটি একটি গাণিতিক বিমূর্ততা যা অনেক ক্ষেত্রেই যথেষ্ট পরিমাণে আনুমানিক। এর সহজ প্রমাণটি হ'ল এমন কোনও আসল পরিমাণ নেই (কমপক্ষে এমন কোনও নয় যা আমি ভাবতে পারি না) যে কোনও বাস্তব সংখ্যাটিকে এর মান হিসাবে নিতে পারে । উদাহরণস্বরূপ, মহাবিশ্বে কেবলমাত্র এতগুলি অণু রয়েছে। অর্থ সরবরাহের জন্য এখানে কেবলমাত্র অনেকগুলি ডলার রয়েছে। আলোর গতি সীমাবদ্ধ। কম্পিউটারগুলি কেবল একটি সীমাবদ্ধ আকারের সংখ্যার সঞ্চয় করতে পারে, তাই কোনও কিছুর মধ্যে সমস্ত আসল সংখ্যার সমর্থন থাকলেও আপনি এটি পরিমাপ করতে সক্ষম হবেন না।

মুল বক্তব্যটি হ'ল আপনি ইতিমধ্যে জানতেন যে আপনার ডেটা হুবহু সাধারণভাবে বিতরণ করা হয়নি তবে স্বাভাবিকতা পরীক্ষাগুলি আপনাকে কীভাবে অ-স্বাভাবিক তথ্য হয় তা সম্পর্কে কিছুই জানায় না। আপনার ডেটা প্রায় এমনভাবে এমন বিতরণ করা হয় যে পরিসংখ্যানগত অনুমানের পদ্ধতিগুলি যা স্বাভাবিকভাবে ধরে দেয় যে সঠিক উত্তর দেয় তা সম্পর্কে আপনাকে কোনও ইঙ্গিত দেয় না। হাস্যকরভাবে, সাধারণ পরীক্ষা (যেমন টি-টেস্ট এবং আনোভা) যে স্বাভাবিকতা ধরে নেয় তা বড় আকারের নমুনার আকারগুলিতে অ-স্বাভাবিকতার চেয়ে বেশি শক্তিশালী।

Comments

আপনার উত্তরটি অনুসরণ করে, আমি একটি প্রশ্ন পোস্ট করেছি যেটি নন- নরমালটির একটি ভাল সূচকটি গঠন করে: stats.stackexchange.com/questions/16646/… কোন চিন্তা?

— জেরোমি অ্যাংলিম

পৃথিবীর যে কোনও কিছুই কোয়ান্টাইজড হওয়ার বিষয়ে: আলাদা আলাদা ডেটাও কি সাধারণত বিতরণ করা যায় না?

— xmjx

কম্পিউটার ইস্যুতে আরও একটি মন্তব্য: দয়া করে নোট করুন যে প্রায়শই কম্পিউটারে দশমিক সংখ্যা সংরক্ষণের জন্য ব্যবহৃত ব্যবস্থার স্বল্প সংখ্যার এবং বৃহত সংখ্যার পরিসীমা জন্য আলাদা গ্রানুলারিটি রয়েছে। সুতরাং কম্পিউটার যে সংখ্যায় সংরক্ষণ করতে সক্ষম তার মধ্যে ন্যূনতম পার্থক্যটি ছোট সংখ্যার জন্য ছোট এবং বড় সংখ্যার জন্য বৃহত্তর। একটি কম্পিউটারের জন্য, 100000.1 এবং 100000.2 একই হতে পারে তবে 0.1 এবং 0.2 নয়। (কেবলমাত্র একটি উদাহরণ - বাস্তব বিশ্বে এটি

— এতটা

@xmjx: বিচ্ছিন্ন ডেটা হতে পারে প্রায় স্বাভাবিকভাবে বিতরণ, যার অর্থ, এটির প্রায় কোনো ব্যবহারিক উদ্দেশ্যে ঘনিষ্ঠ যথেষ্ট। যাইহোক, তাত্ত্বিকভাবে কোনও স্বতন্ত্র বিতরণ যদি নমুনার আকার যথেষ্ট পরিমাণে বড় হয় তবে স্বাভাবিকতার জন্য কিছু পরীক্ষায় ব্যর্থ হবে। সাধারণ বিতরণ অবিচ্ছিন্ন এবং এর আশেপাশে কোনও উপায় নেই।

— dsimcha

@ ডিএসিমচা তবে সাধারণ বিতরণটি কেবলমাত্র একটি সম্ভাবনার ঘনত্বের ফাংশন যা পৃথক ভেরিয়েবলের প্রদত্ত বিনের পর্যবেক্ষণের সংখ্যার পূর্বাভাস দিতে পারে। সুতরাং, আমি বুঝতে পারব যদি আপনি বলেছিলেন যে "কোনও আসল পরিবর্তনশীল হুবহু সাধারণত বিতরণ করা হয় না এবং এজন্যই কোনও সময়ে স্বাভাবিকতা পরীক্ষাগুলি ব্যর্থ হবে"। তবে "অস্বচ্ছ ডেটা সাধারণভাবে বিতরণ করা যায় না যেহেতু এটি অবিচ্ছিন্ন নয়" আমি কিছু রেফারেন্স চাই। আমি সত্যিই সেই ধরণের জিনিসগুলিতে আগ্রহী। এখানে লড়াই শুরু করতে চান না।

— xmjx

Answer 2

এটি আমাকে বিস্মিত করে না --- প্রচুর পরিমাণে নমুনা আকারের সাথে, কোনও ভাল পরীক্ষার নাল অনুমানকে বাতিল করা উচিত, যদি না তথ্য উত্পন্ন বিতরণ সত্যই (এবং ঠিক) স্বাভাবিক হয়।

হাইপোথিসিস টেস্টিংয়ের সাথে একজন সাধারণত "শক্তিশালী" পরীক্ষা খুঁজে পেতে আগ্রহী, যা এমন একটি পরীক্ষা যা নাল হাইপোথিসিস থেকে খুব ছোট বিচ্যুতি খুঁজে পেতে পারে, যতটা সম্ভব অল্প ডেটা দিয়ে with

20, 50, 100, 200 আকারের একটি নমুনা নিয়ে পরীক্ষা চালানোর চেষ্টা করুন এবং পরীক্ষাগুলি কোন আকারে প্রত্যাখ্যান করা শুরু করবে তা দেখুন। এটি সহজেই দেখা যায় যে কোনও হিস্টগ্রাম সংশ্লেষিত এবং সাধারণত বেল-আকৃতির, তবে বিতরণের লেজগুলি চোখের দ্বারা মূল্যায়ন করা আরও শক্ত। সম্ভবত ডেটাগুলিতে অপ্রত্যাশিতরা রয়েছে যা পরীক্ষাগুলি প্রত্যাখ্যান করে? যদি সেখানে থাকে, দেখুন যখন আপনি তাদের ছাঁটাই করেন তখন কী হয়।

Comments

উত্তরের জন্য ধন্যবাদ. উদ্দেশ্যটি পরীক্ষা করা হচ্ছে যে অবশিষ্টাংশগুলি স্বাভাবিক কিনা। আমি অনুমান করি যে কোনও সাধারণ-কোয়ান্টাইল প্লটটি দেখে এবং এটি y = x এর উপর পড়ে কিনা তা সেরা বাজি?

— রবি

@ রবি আপনি যদি আপনার অবশিষ্টাংশগুলি স্বাভাবিক কিনা তা খুঁজে বের করার চেষ্টা করতে আগ্রহী হন তবে একটি ভিজ্যুয়াল পরিদর্শন ঠিক করা উচিত। বিতরণের পরিসংখ্যানগত পরীক্ষার জন্য এটির জন্য সত্যই প্রয়োজন নেই - যেমনটি উল্লেখ করা হয়েছে যে এটি স্বাভাবিকতা থেকে কোনও বিচ্যুতি বাছাই করতে চলেছে, এমনকি এটি সত্যিকার অর্থে গুরুত্বপূর্ণ নয়।

— ফোমাইট

@ এপিগ্রাড আমি একমত নই স্বাভাবিকতার জন্য পরীক্ষাগুলিতে কুখ্যাত শক্তি কম। আমার উত্তর উপরে দেখুন। অন্যদিকে সম্পাদনা করুন, অস্বচ্ছলতা অ-স্বাভাবিকতার পক্ষে বেশ শক্তিশালী, তাই আমি সম্মত হই যে যদি এটি স্বাভাবিক দেখায় তবে আপনি সম্ভবত সেই উদ্দেশ্যেই ঠিক আছেন।

— ডেভিড জে হ্যারিস

@ ডেভিড জে হ্যারিস: "কুখ্যাত নিম্ন শক্তি"? 650 আকারের নমুনার জন্য? এটি আমি যা পড়েছি বা অভিজ্ঞতা পেয়েছি তার বিপরীতে। আপনার কাছে প্রশংসাপত্র আছে?

— whuber

@ ডেভিডজে.হরিস আমি মনে করি একটি বৃহত নমুনার কারণে মূল শক্তি, স্বল্প শক্তি বা উদ্দীপনাপূর্ণ তাত্পর্য, স্বাভাবিক অনুমানের রুটিন পরীক্ষার জন্য পুরো অনুশীলন অপ্রয়োজনীয়।

— ফোমাইট

Answer 3

সম্ভাব্য কারণটি হ'ল আপনার ডেটা খুব সামান্য অস্বাভাবিক এবং এটি প্রকাশের জন্য আপনার নমুনার আকারটি যথেষ্ট বড়।

যদি বিতরণটি সত্যিকার অর্থে স্বাভাবিক হয় তবে নিম্নলিখিত পরীক্ষাগুলির মধ্যে একটি ব্যতীত যে সমস্ত পাস করা হয় সেখানে এটি সাধারণত এই পরীক্ষাগুলি পাস করা উচিত।

> require(nortest)
> 
> set.seed(1)
> dat <- rnorm(650,mean=100, sd=5)
> 
> ad.test(dat)

        Anderson-Darling normality test

data:  dat 
A = 0.439, p-value = 0.2924

> cvm.test(dat)

        Cramer-von Mises normality test

data:  dat 
W = 0.0882, p-value = 0.1619

> lillie.test(dat)

        Lilliefors (Kolmogorov-Smirnov) normality test

data:  dat 
D = 0.0334, p-value = 0.08196

> pearson.test(dat)

        Pearson chi-square normality test

data:  dat 
P = 37.96, p-value = 0.035

> sf.test(dat)

        Shapiro-Francia normality test

data:  dat 
W = 0.9978, p-value = 0.5186

> shapiro.test(dat)

        Shapiro-Wilk normality test

data:  dat 
W = 0.9981, p-value = 0.675

আপনি কিউকিপ্লট করতে চাইতে পারেন এবং এটি যদি সরাসরি সরলরেখার কাছাকাছি হয় তবে আপনি এটিকে আপনার উদ্দেশ্যগুলির জন্য যথেষ্ট স্বাভাবিকতার হিসাবে বিবেচনা করার সিদ্ধান্ত নিতে পারেন। এটি বরং এই উদ্দেশ্যগুলি কী তার উপর নির্ভর করে।

Comments

লিনিয়ার রিগ্রেশন-এ অবশিষ্টাংশগুলি স্বাভাবিক কিনা তা পরীক্ষা করার জন্য উদ্দেশ্যগুলি।

— রবি

@Robbie। স্পষ্টতই তারা না, তবে এটি খুব বেশি গুরুত্বপূর্ণ না হওয়ার জন্য তারা যথেষ্ট কাছাকাছি থাকতে পারে। Qqplot চেষ্টা করুন।

— হেনরি 18

পিয়ারসন চি স্কোয়ার ফলাফলটি দেখে মনে হয় ডেটা সাধারণত বিতরিত হয় না। কথা মাত্র. এরকম ফলাফল নিয়ে কী করবেন?

— xmjx

@ এক্সএমজেএক্স: খুব বেশি নয় - আপনি যদি 0.05 মাপদণ্ড প্রয়োগ করেন তবে আপনি যদি 5% সময় ভ্রান্ত ইতিবাচক পান তবে অবাক হবেন না।

— হেনরি

@ হেনরি আমি জানি আমি যা বলতে চাইছি: যে কোনও স্বাভাবিকতা পরীক্ষা সামনে রেখে বেছে নেওয়ার কিছুটা সম্ভাবনা থাকে যা "উল্লেখযোগ্য" বলবে। তাহলে কি ব্যাটারি চালানো ভাল এবং তারপরে ... কী? গড়? সংখ্যাগরিষ্ঠ ভোট দিয়ে যাবেন?

— xmjx

Answer 4

আমি dsimcha- এর উত্তরটির সাথে একমত নই: "সাধারণতা পরীক্ষা করা সময়ের অপচয় এবং আপনার উদাহরণটি চিত্রিত করে কেন" " সাধারণ পরীক্ষাটি কখনই সময়ের অপচয় হয় না, আপনি সর্বদা আপনার ডেটা থেকে শিখতে পারেন। তদ্ব্যতীত, কিছু বিশ্লেষণ করার আগে আপনাকে অবশ্যই কিছু পরীক্ষা করতে হবে (যেমন আনোভা, রিগ্রেশন ইত্যাদি)। আপেক্ষিক বড় নমুনা আকারগুলি প্লটের (কিউকিউপ্লট, হিস্টোগ্রাম) দিয়ে পরীক্ষা করা ভাল। এই ধরনের ক্ষেত্রে, ভিজ্যুয়ালাইজেশন মাল্টিমোডাল আচরণ এবং আরও অনেক কিছু সম্পর্কে আরও অনেক তথ্য দেয়।

অ্যানোভা এবং রিগ্রেশন অ-স্বাভাবিকতার পক্ষে শক্তিশালী যখন বড় আকারের নমুনা আকারগুলি ডিল করে তবে মূল ধরণের ডেটা যা সমস্যার সৃষ্টি করে তা হ'ল মাল্টিমোডাল ডেটা নমুনা।

ছোট নমুনা আকারের সাথে কোলগোমোরভ-স্মারনভ পরীক্ষাটি তার বিকল্প সংবেদনশীলতার কারণে সেরা বিকল্প।

Answer 5

আমি এ পর্যন্ত পোস্ট করা অন্যান্য উত্তরগুলির সাথে কিছুটা দ্বিমত পোষণ করছি: স্বাভাবিকতার জন্য এই পরীক্ষাগুলিতে কমপক্ষে কিছু ধরণের বিচ্যুতিগুলির জন্য তুলনামূলকভাবে বড় আকারের নমুনা আকারের সাথেও কুখ্যাতভাবে সামান্য শক্তি রয়েছে।

এখানে একটি দ্রুত উদাহরণ। আমি দুটি স্বাভাবিকের মিশ্রণ তৈরি করেছি যার অর্থ একটি সম্পূর্ণ এসডি দ্বারা পৃথক করা হয়।

set.seed(1)
reps = replicate(
  10000, 
  shapiro.test(c(rnorm(325, mean = 0), rnorm(325, mean = 1)))$p.value
)
mean(reps < .05)
[1] 0.0525

বিবেচনা করে যে এটি সত্যিকারের স্বাভাবিক হলেও 5% সময় থেকে স্বাভাবিকতা থেকে বিচ্যুতিগুলি "সনাক্ত" করবে, এটি খুব চিত্তাকর্ষক নয়।

এখানে আরও একটি উদাহরণ রয়েছে: আমি দুটি স্ট্যান্ডার্ড বিচ্যুতির আকারের পরিসীমা জুড়ে অভিন্ন শব্দের যোগ করি। এটি এক যথেষ্ট দৃশ্যমান অ-স্বাভাবিক।

set.seed(1)
reps = replicate(
  10000, 
  shapiro.test(rnorm(650) + 2 * runif(650))$p.value
)
mean(reps < .05)
[1] 0.0523

আবার স্বাভাবিকতা থেকে বেশ বড় প্রস্থানের জন্য অত্যন্ত স্বল্প শক্তি।

আপনি কি কিউকিপ্লটটি সঠিকভাবে পড়ছেন তা নিশ্চিত? আপনি এটি আপলোড করতে পারেন যাতে আমরা এটি দেখতে পারি?

অন্যদিকে সম্পাদনা করুন, অস্বচ্ছলতা অ-স্বাভাবিকতার পক্ষে মোটামুটি শক্তিশালী, তাই আমি সম্মত হই যে বেশিরভাগ কারণে ভিজ্যুয়াল পরিদর্শন যথেষ্ট হবে।

Comments

$0$$73/25$$75/25$