ছোট নমুনাগুলির জন্য উপযুক্ত স্বাভাবিকতা পরীক্ষা

Question

এখনও অবধি, আমি ছোট নমুনায় স্বাভাবিকতা অনুমানগুলি পরীক্ষা করার জন্য শাপিরো-উইলকের পরিসংখ্যানটি ব্যবহার করছি।

আপনি দয়া করে অন্য কৌশল প্রস্তাব করতে পারেন?

Comments

এখানে সম্ভাব্য আগ্রহের আরও কয়েকটি প্রশ্ন রয়েছে: স্বাভাবিকতা-পরীক্ষার-মূলত-অকেজো , স্বাভাবিকতা পরীক্ষার মান নিয়ে আলোচনার জন্য, এবং যদি-অবশিষ্টাংশগুলি-সাধারণত-বিতরণ-তবে-ই-ই- হয়- না , বোঝার আলোচনার / স্পষ্টতার জন্য যা স্বাভাবিকতা একটি রৈখিক মডেলের অনুমান।

— গুং - মনিকা পুনরায়

শাপিরো-উইলকের উইলক বলতে মার্টিন বি উইলকে বোঝায়। "উইলক্স" লেখা খুব সহজ, বিশেষত (ক) অন্য কেউ যদি বলেন বা লিখেছেন এবং আপনি কপি করছেন (খ) আপনি স্যামুয়েল এস উইলকসের পরিসংখ্যানের কাজ সম্পর্কে জানেন তবে আপনি পেয়েছেন এক অন্যরকম ব্যক্তি (গ) ইংরেজিতে টার্মিনাল "গুলি" সম্পর্কে বিভ্রান্ত, বহুবচন (পরিসংখ্যান, বিড়াল, কুকুর, ...) এবং এর মালিকদের (গুলি) এর অন্যান্য ব্যবহার দেওয়া হয়েছে, যা তাদের প্রথম ভাষাও ইংরেজি is আমি যতটা পারি এই থ্রেডটি সম্পাদনা করেছি; আমি মন্তব্যে পৌঁছাতে পারি না।

— নিক কক্স

Answer 1

FBasics আর (অংশ প্যাকেজ Rmetrics ) অন্তর্ভুক্ত বিভিন্ন স্বাভাবিক পরীক্ষার , জনপ্রিয় অনেক আচ্ছাদন frequentist পরীক্ষা - স্বাভাবিক পরীক্ষার জন্য একটি লেফাফা সহ - Kolmogorov-Smirnov, শাপিরো-Wilk, Jarque-বেড়া, এবং ডি Agostino মধ্যে nortest অ্যান্ডারসন-ওগো, Cramer-ভন মিসেস, Lilliefors (Kolmogorov-Smirnov), পিয়ারসন চি-বর্গাকার, এবং শাপিরো-Francia - প্যাকেজ। প্যাকেজ ডকুমেন্টেশন সমস্ত গুরুত্বপূর্ণ তথ্য সরবরাহ করে। এখানে একটি ডেমো যা দেখায় যে কীভাবে প্রথম থেকে পরীক্ষাগুলি ব্যবহার করতে হয় ।

একটি পদ্ধতির, যদি আপনার কাছে সময় থাকে তবে হ'ল একাধিক পরীক্ষা ব্যবহার করা এবং চুক্তির জন্য পরীক্ষা করা। পরীক্ষাগুলি বিভিন্ন উপায়ে পরিবর্তিত হয়, তাই "সেরা" বাছাই করা সম্পূর্ণ সোজা নয়। আপনার ক্ষেত্রের অন্যান্য গবেষকরা কী ব্যবহার করবেন? এটি পরিবর্তিত হতে পারে এবং গ্রহণযোগ্য পদ্ধতিগুলির সাথে লেগে থাকা ভাল তবে যাতে অন্যরা আপনার কাজ স্বীকার করে। আমি প্রায়শই জার্কে-বেরা পরীক্ষাটি ব্যবহার করি, আংশিকভাবে সেই কারণে এবং অ্যান্ডারসন – ডার্লিং তুলনার জন্য।

আপনি তাকান করতে পারেন "Univariate স্বাভাবিক জন্য টেস্ট তুলনা" (Seier 2002) এবং "স্বাভাবিকতার মধ্যে বিভিন্ন পরীক্ষার তুলনা" একটি তুলনামূলক এবং বিষয় আলোচনার জন্য; (Yolacan 2007 Yazici)।

সমস্ত ডিস্ট্রিবিউশন ফাংশনগুলির জন্য আর এর তুলনায় এই পদ্ধতিগুলি পরীক্ষা করাও তুচ্ছ । সিমুলেটেড ডেটা সহ একটি সাধারণ উদাহরণ এখানে রয়েছে (স্থান বাঁচাতে আমি ফলাফলগুলি প্রিন্ট করব না), যদিও আরও একটি পূর্ণ বিবরণ প্রয়োজন হবে:

library(fBasics); library(ggplot2)
set.seed(1)

# normal distribution
x1 <- rnorm(1e+06)   
x1.samp <- sample(x1, 200)
qplot(x1.samp, geom="histogram")
jbTest(x1.samp)
adTest(x1.samp)

# cauchy distribution
x2 <- rcauchy(1e+06)
x2.samp <- sample(x2, 200)
qplot(x2.samp, geom="histogram")
jbTest(x2.samp)
adTest(x2.samp)

বিভিন্ন বিতরণে বিভিন্ন পরীক্ষার ফলাফল একবার হয়ে গেলে আপনি তুলনা করতে পারেন কোনটি কার্যকর ছিল। উদাহরণস্বরূপ, উপরের জার্কে-বেরা পরীক্ষার জন্য পি-মানটি স্বাভাবিক বিতরণ (গ্রহণযোগ্য) এর জন্য 0.276 এবং কৌচির জন্য <2.2e-16 (নাল অনুমানকে প্রত্যাখ্যান করে) ফেরত দিয়েছে।

Comments

ধন্যবাদ শেন, দুর্দান্ত উত্তর! ঠিক আছে, আমার ক্ষেত্রের "অন্যরা" প্রায়শই এসপিএস ব্যবহার করে, তাই তারা কলমোগোরভ-স্মারনভ ব্যবহার করে (তারা যদি আদৌ স্বাভাবিকতা পরীক্ষা করে থাকে), যদিও আইএমএইচও লিলিফর্স পরীক্ষা আরও ভাল পছন্দ যখন ডেটা একটি নমুনা থেকে সংগ্রহ করা হয় (যখন প্যারামিটারগুলি থাকে অজানা)। আমাকে শিখানো হয়েছিল যে শ্যাপিরো-উইলকগুলি ছোট নমুনাগুলির জন্য উপযুক্ত, এবং "ছোট নমুনার স্বাভাবিকতা পরীক্ষা" সম্পর্কে আরও তথ্য পেতে চেয়েছিলেন ... বিটিডাব্লু, আমি আর-এ নরটেস্ট ব্যবহার করি! =)

— এএল

Answer 2

স্বাভাবিকতার জন্য, প্রকৃত শাপিরো-উইলকের মোটামুটি ছোট নমুনায় ভাল শক্তি রয়েছে।

যে গবেষণাগুলি আমি দেখেছি তার মধ্যে প্রধান প্রতিদ্বন্দ্বী হলেন আরও সাধারণ অ্যান্ডারসন-ডার্লিং, যা মোটামুটি ভাল করে, তবে আমি বলব না এটি ভাল ছিল। আপনার কী কী বিকল্পের আগ্রহ রয়েছে তা আপনি যদি স্পষ্ট করে বলতে পারেন তবে সম্ভবত আরও ভাল পরিসংখ্যান আরও সুস্পষ্ট। [সম্পাদনা করুন: আপনি যদি প্যারামিটারগুলি অনুমান করেন তবে AD পরীক্ষাটি তার জন্য সামঞ্জস্য করা উচিত]]

[আমি ছোট নমুনায় জার্কে-বেরা বিবেচনা করার বিরুদ্ধে দৃ strongly়ভাবে পরামর্শ দিচ্ছি (যা সম্ভবত পরিসংখ্যানগত বৃত্তগুলিতে বোম্যান-শেনটন নামে পরিচিত - তারা ছোট নমুনা বিতরণটি অধ্যয়ন করেছেন)। স্কিউনেস এবং কুর্তোসিসের অ্যাসিম্পটোটিক যৌথ বন্টন ছোট-নমুনা বিতরণের মতো কিছুই নয় - একইভাবে একটি কলা কমলার মতো দেখায় না। কিছু আকর্ষণীয় বিকল্পের বিরুদ্ধে এর খুব কম শক্তিও রয়েছে - উদাহরণস্বরূপ এটি একটি প্রতিসম বিমোডাল বিতরণ বাছাই করার ক্ষমতা কম রাখে যা একটি সাধারণ বিতরণের সাথে কুরটোসিস থাকে]]

প্রায়শই লোকেরা বিশেষত-ভাল কারণ হতে পারে না তার জন্য ফিটের সার্থকতা পরীক্ষা করে, বা তারা আসলে উত্তর দিতে চায় এমন প্রশ্ন ছাড়া অন্য কোনও প্রশ্নের জবাব দিচ্ছে।

উদাহরণস্বরূপ, আপনি প্রায় নিশ্চিতভাবেই জানেন যে আপনার ডেটা সত্যিই স্বাভাবিক নয় (ঠিক নয়), সুতরাং যে প্রশ্নের উত্তর আপনি জানেন সেটির উত্তর দেওয়ার চেষ্টা করার কোনও অর্থ নেই - এবং হাইপোথিসিস টেস্টটি আসলে যাইহোক এর উত্তর দেয় না ।

আপনি জেনে গেছেন যে আপনার ইতিমধ্যে যথাযথ স্বাভাবিকতা নেই, আপনার স্বাভাবিকতার অনুমানের পরীক্ষাটি সত্যই আপনাকে নিকটে থাকা একটি প্রশ্নের উত্তর দিচ্ছে "আমার নমুনার আকারটি আমার কাছে যে নরমালিক্য আছে তার পরিমাণ তুলতে যথেষ্ট", যখন আপনি যে উত্তরটি দিতে আগ্রহী তা প্রকৃতপক্ষে "" আমি আগ্রহী এই অন্যান্য বিষয়গুলির উপর এই অ-স্বাভাবিকতার প্রভাব কী ? "এর কাছাকাছি। অনুমান পরীক্ষাটি নমুনার আকার পরিমাপ করছে, যখন আপনি যে প্রশ্নের উত্তর দিতে আগ্রহী তা নমুনা আকারের উপর খুব নির্ভরশীল নয় very

এমন কিছু সময় রয়েছে যখন স্বাভাবিকতার পরীক্ষাটি কিছুটা অর্থবোধ করে, তবে ছোট ছোট নমুনাগুলি নিয়ে এই পরিস্থিতি প্রায় কখনও ঘটে না।

কেন আপনি স্বাভাবিকতা পরীক্ষা করছেন?

Comments

একটি দুর্দান্ত উত্তরের জন্য এবং পরে একটি দুর্দান্ত প্রশ্নের জন্য ধন্যবাদ। সমস্যার পটভূমি সম্পর্কে অন্তর্দৃষ্টি পেতে এটি গুরুত্বপূর্ণ। ওয়েল, এতবার আমি লোককে টি-টেস্ট করতে দেখেছি, পিয়ারসনের আর বা আনোভা বিতরণের আকার সম্পর্কে ধারণা না পেয়ে (যা প্রায়শই ভারী-স্কিউড) - প্যারাম্যাট্রিক কৌশলগুলির "সন্তুষ্ট স্বাভাবিকতা অনুমান" প্রয়োজন। মনোবিজ্ঞানে (যা আমার আগ্রহের ক্ষেত্র), আমরা প্রায়শই ছোট ছোট নমুনাগুলি নিয়ে কাজ করি, সুতরাং আমার যথাযথ স্বাভাবিকতা পরীক্ষা দরকার।

— aL3xa

তবে স্বাভাবিকতা কখনই সন্তুষ্ট হয় না । এটি কখনও কখনও ডেটাগুলির যুক্তিসঙ্গত বিবরণ হয় তবে এগুলি আসলে স্বাভাবিক হয় না you যখন আপনি এটি ধরে নেন তখন অ-স্বাভাবিকতা পরীক্ষা করা বুদ্ধিমান হয় তবে এটি পরীক্ষা করা বিশেষভাবে কার্যকর নয় (আমি উপরে বর্ণিত কারণগুলির জন্য)। উদাহরণস্বরূপ, আমি কিউ-প্লট করি তবে একটি অনুমান পরীক্ষা এই পরিস্থিতিতে ভুল প্রশ্নের উত্তর দেয়। টি-টেস্ট এবং আনোভা সাধারণত বিতরণগুলি খুব বেশি স্কু না করা হয় তবে যুক্তিসঙ্গতভাবে ভাল কাজ করে। স্বাভাবিক পদ্ধতি গ্রহণ না করে এমন পদ্ধতি ব্যবহার করা আরও ভাল পদ্ধতির হতে পারে - সম্ভবত পুনরায় মডেলিংয়ের কৌশল।

— গ্লেন_বি -রিনস্টেট মনিকা

অথবা আপনি কম শক্তি থাকার ব্যয়ে নন-প্যারাম্যাট্রিক পরীক্ষা ব্যবহার করতে পারেন। এবং পরিসংখ্যানগুলিতে কিছুই সম্পূর্ণ সন্তুষ্ট নয়, এটি সম্পূর্ণরূপে কোনও স্বাভাবিকতার সমস্যা নয়। তবে কাউকে টি-টেস্ট এবং / অথবা আনোভা অনুমানের সাথে পরিচয় করানোর সময় বুটস্ট্র্যাপিং বা জ্যাকনিফিং কোনও সমাধান নয়। আমি সন্দেহ করি যে পুনর্নির্মাণের কৌশলগুলি স্বাভাবিকতা সম্পর্কিত সমস্যাগুলি একেবারে সমাধান করে। গ্রাফিকভাবে (ঘনত্বের প্লট, বক্সপ্লট, কিউকিপ্লাট, হিস্টোগ্রাম) এবং "সংখ্যাগতভাবে" (স্বাভাবিকতা পরীক্ষা, স্কিউনেস, কুর্তোসিস ইত্যাদি) উভয়েরই স্বাভাবিকতা পরীক্ষা করা উচিত। আপনি কি পরামর্শ দিচ্ছেন? এটি সম্পূর্ণ বিষয়বহুল, তবে আপনি কীভাবে চেক করবেন, বলবেন, আনোভা স্বাভাবিকতা অনুমান?

— aL3xa

@ aL3xa আমি মনে করি আপনার গবেষণা ক্ষেত্রটি প্রদত্ত র্যান্ডমাইজেশন পদ্ধতিটি আরও উপযুক্ত; সাধারণ প্যারামেট্রিক টেস্টগুলি যথাযথ ক্রমচারণ পরীক্ষাগুলির ভাল সান্নিধ্য প্রদান করে, প্যারামেট্রিক নন-প্যারামেট্রিক পরীক্ষাগুলি কিছুটা অনুমানকে বোঝায় (উদাহরণস্বরূপ বিতরণের আকারে)। আমি এমনকি আশ্চর্যও করি যে আমরা কীভাবে সংক্ষিপ্ত-নমুনা সমীক্ষায় স্বাভাবিকতা থেকে বিচ্যুতি কী তা সংজ্ঞায়িত করতে পারি। আমি মনে করি আপনার একটি পৃথক প্রশ্নে এই বিষয়টি সম্পর্কে আরও আলোচনার জন্য জিজ্ঞাসা করা উচিত।

— chl

Answer 3

স্বাভাবিকতা পরীক্ষায় একটি সম্পূর্ণ উইকিপিডিয়া বিভাগ রয়েছে:

• অ্যান্ডারসন Darling, পরীক্ষা , স্ট্যাটিসটিসিয়ান মধ্যে জনপ্রিয়; এবং
• Jarque-বেড়া পরীক্ষা , econometricians মধ্যে জনপ্রিয়।

আমি মনে করি এডি সম্ভবত তাদের মধ্যে সেরা।

Comments

আমি রাজী. আমি এডি পরীক্ষার একটি দ্রুত পরীক্ষা করলাম, জার্কে-বেরা এবং স্পিগেলহাল্টারের পরীক্ষা (1983) নালীর নীচে, নমুনা আকার 8 সহ, 10,000 বার পুনরাবৃত্তি করে। এডি পরীক্ষায় নামমাত্র প্রত্যাখ্যান হার বজায় থাকে, এবং অভিন্ন pvals দেয়, যখন জেবি পরীক্ষাটি ভয়ানক, স্পিজেহাল্টার বিচলিত হয়।

— shabbychef

@ শ্যাববিচেফ জার্কে-বেরা পরীক্ষা নমুনা স্কিউনেস এবং কুর্তোসিসের অ্যাসিম্পোটিক স্বাভাবিকতার উপর নির্ভর করে, যা কম দশকের দশকেও ভাল কাজ করে না । তবে পছন্দসই প্রত্যাখ্যান হার পাওয়ার জন্য আপনি গুরুত্বপূর্ণ মানগুলি সামঞ্জস্য করতে পারেন যেমন সিমুলেশন ফলাফলের উপর ভিত্তি করে, থেডাওয়াল্ড, টি, এবং এইচ। বনিং, ২০০৪ এর বিভাগ ৪.১ এর মতো, জার্কে -বেরা পরীক্ষা এবং তার প্রতিযোগীদের স্বাভাবিকতা পরীক্ষা করার জন্য - একটি শক্তি তুলনা , আলোচনা কাগজ অর্থনীতি 2004/9, স্কুল অফ বিজনেস অ্যান্ড ইকোনমিক্স, ফ্রি ইউনিভার্সিটি অফ বার্লিন।

— সিলভারফিশ

Answer 4

সম্পূর্ণতার জন্য, অর্থনীতিবিদরাও ১৯৮৩ সালের অর্থনীতিতে তাদের গবেষণাপত্রের কাগজ থেকে কিফার এবং সালমন টেস্ট পছন্দ করেন - এটি স্কিউনেস এবং কুর্তোসিসের 'স্বাভাবিকীকরণ' যা তারপরে চি-বর্গ বিতরণকৃত অভিব্যক্তির সমষ্টি। আমার একটি পুরানো সি ++ সংস্করণ রয়েছে আমি গ্রেড স্কুলে পড়ার সময় আমি আর তে অনুবাদ করতে পারি could

সম্পাদনা করুন: এবং এখানে বিয়েরেন্সের পুনরায় সাম্প্রতিক কাগজ রয়েছে (পুনরায়) জার্কে-বেরা এবং কিফার-সলমন iving

সম্পাদনা 2: আমি পুরানো কোডটি দেখেছি এবং দেখে মনে হচ্ছে এটি জার্কে-বেরা এবং কিফের-সালমন এর মধ্যে সত্যই একই পরীক্ষা।

Answer 5

প্রকৃতপক্ষে কেফার সালমন পরীক্ষা এবং জার্কে বেরা পরীক্ষাটি বেশ কয়েকটি স্থানে প্রদর্শিত হিসাবে সমালোচিতভাবে আলাদা তবে খুব সম্প্রতি এখানে - স্ট্যান্ডার্ডাইজড ত্রুটি বিতরণের জন্য মোমেন্ট টেস্ট: ই-টিং চেনের একটি সহজ রোবস্ট অ্যাপ্রোচ । নির্মাণের দ্বারা খিফার সালমন পরীক্ষাটি স্ট্যান্ডার্ড জার্কে বেরার পরীক্ষার বিপরীতে এআরসিএইচ টাইপের ত্রুটি কাঠামোর মুখোমুখি। ই-টিং চেনের কাগজটি বিকাশ করেছে এবং আমার মনে হয় যা এই মুহূর্তে সেরা পরীক্ষা হতে পারে বলে আমি আলোচনা করি discus

Comments

চেন বৃহত্তর ডেটাসেটগুলিতে ফোকাস দেখাচ্ছে বলে মনে হয়, কারণ এই পরীক্ষাগুলিতে জড়িত চতুর্থ এবং ষষ্ঠ এবং উচ্চতর মুহুর্তগুলি অ্যাসিপোটোটিক স্তরে স্থিত হতে কিছুটা সময় নিতে চলেছে। তবে বিতরণমূলক পরীক্ষাগুলি সাধারণত 250 টিরও কম মান (এই গবেষণাপত্রে সর্বনিম্ন অধ্যয়নকৃত) ডেটাসেটের জন্য ব্যবহৃত হয়। প্রকৃতপক্ষে, তাদের বেশিরভাগই বৃহত পরিমাণে ডেটা নিয়ে এত শক্তিশালী হয়ে ওঠে যে এগুলি অ্যাপ্লিকেশনগুলির আফটার আফটার চেয়ে কিছুটা বেশি। নাকি আমি যা দেখছি তার চেয়ে বেশি এখানে চলছে?

— whuber

Answer 6

নমুনা আকারের <30 বিষয়গুলির জন্য, শাপিরো-উইলককে একটি শক্তিশালী শক্তি হিসাবে বিবেচনা করা হয় - পরীক্ষার তাত্পর্য স্তরটি সামঞ্জস্য করার সময় সতর্ক থাকুন , যেহেতু এটি দ্বিতীয় ধরণের ত্রুটি প্ররোচিত করতে পারে! [1]

Comments

ছোট নমুনাগুলিতে ফিট টেস্টগুলির ধার্মিকতা সাধারণত আদর্শকে প্রত্যাখ্যান করতে অক্ষম।

— মাইকেল আর চেরনিক

@ মিশেল চের্নিক তাহলে নির্দিষ্ট ক্ষেত্রে কী ঘটে? একটি ছোট ছোটকে সাধারণ হিসাবে অস্বীকৃত হিসাবে চিহ্নিত করার পিছনে কারণ কী?

— আলিয়াকবার আহমদী