খুব বড় নমুনা মাপের জন্য গডনেস অফ ফিট

Question

আমি প্রতিদিন খুব বড় নমুনাগুলি (> 1,000,000) শ্রেণীবদ্ধ ডেটা সংগ্রহ করি এবং ডেটা সংগ্রহের ত্রুটিগুলি সনাক্ত করতে ডেটা দিনের মধ্যে "উল্লেখযোগ্যভাবে" আলাদা বলে দেখতে চাই।

আমি ভেবেছিলাম একটি ভাল-ফিট-টেস্ট পরীক্ষা করা (বিশেষত, একটি জি-পরীক্ষা) এর জন্য ভাল ফিট (পাং উদ্দেশ্যযুক্ত) হবে। আগের দিন বিতরণ দ্বারা প্রত্যাশিত বিতরণ দেওয়া হয়।

তবে, যেহেতু আমার নমুনা আকারগুলি এত বড়, পরীক্ষার খুব উচ্চ ক্ষমতা রয়েছে এবং এটি অনেকগুলি মিথ্যা ধনাত্মকতা দেয়। এটি বলার জন্য, এমনকি খুব সামান্য দৈনিক ওঠানামাও একটি কাছাকাছি-শূন্য পি-মান দেবে give

আমি আমার পরীক্ষার পরিসংখ্যানগুলিকে কিছু ধ্রুবক (0.001) দ্বারা গুণ করে শেষ করেছি, যার সেই হারে ডেটা স্যাম্পল করার চমৎকার ব্যাখ্যা রয়েছে। এই নিবন্ধটি এই পদ্ধতির সাথে একমত বলে মনে হচ্ছে। তারা বলল যে:

প্রায় 100 থেকে 2500 জনের মধ্যে নমগুলির সাথে চি স্কোয়ারটি সবচেয়ে নির্ভরযোগ্য

আমি এই সম্পর্কে আরও কিছু অনুমোদনমূলক মন্তব্য খুঁজছি। অথবা বড় ডেটা সেটগুলিতে পরিসংখ্যান পরীক্ষা চালানোর সময় ভুয়া পজিটিভ সম্পর্কিত কিছু বিকল্প সমাধান।

Comments

এটি একটি ভাল প্রশ্ন। তবে আপনার অ্যাডহক পদ্ধতির জন্য কোনও উদ্দেশ্যমূলক সমর্থনযোগ্য ভিত্তি নেই । এর অর্থ এই নয় যে এটি খারাপভাবে সঞ্চালন করবে - তবে এটি দৃ strongly়ভাবে প্রস্তাব দেয় যে আরও ভাল পদ্ধতি রয়েছে। তাদের সন্ধান করার জন্য, আপনি কতটা ত্রুটি সনাক্ত করতে চেষ্টা করছেন, সেগুলি কতটা বড় হতে পারে, তার মধ্যে কতগুলি ঘটতে পারে এবং এর পরিণতি (ক) ব্যর্থ হওয়ার ফলে কী তা বোঝাতে আপনি যদি এই প্রশ্নটি সম্পাদনা করতে পারেন তবে এটির সাহায্য করবে কিছু ত্রুটি চিহ্নিত করুন এবং (খ) সঠিক ডেটাটিকে ত্রুটি হিসাবে চিহ্নিত করা।

— শুক্র

গাণিতিক দৃষ্টিকোণ থেকে, খুব বড় দিয়ে একটি ধার্মিকতার সাথে ফিটনেস পরীক্ষা নিখুঁতভাবে ঠিক - এটি সম্পর্কিত নাল হাইপোথিসিস খুব আকর্ষণীয় নয়: আপনি যখন "হ্যাঁ / না" প্রশ্ন করতে চান কেন একটি "কত" উত্তর পেতে? আপনার ক্ষেত্রে, দৈনিক ভিত্তিতে, আপনি প্রতিটি বিভাগের অনুপাতের পরিবর্তনের অনুমান করতে পারবেন, প্রতিটিটির মধ্যে একটি আস্থা অন্তর অন্তর্ভুক্ত করুন এবং দেখুন যে তারা 0 এর আশেপাশে একটি পূর্বনির্ধারিত সহনশীলতা অঞ্চলে আঘাত না করে কিনা$n$

— মাইকেল এম

আপনার 'উল্লেখযোগ্য' এবং 'মিথ্যা পজিটিভ' এর মতো পদগুলির ব্যবহার এই শর্তগুলির পরিসংখ্যানগত অর্থের সাথে মতবিরোধ বলে মনে হচ্ছে, বিশেষত যদি আপনি পরীক্ষাটি ঠিকঠাক করছেন। প্রযুক্তিগত দিক থেকে আপনি কঠোরভাবে ব্যবহার না করাতে আমি আপনাকে এই পদগুলি এড়াতে পরামর্শ দিচ্ছি। আপনার প্রাথমিক সমস্যাটি এমন পরিস্থিতিতে হাইপোথিসিস পরীক্ষাগুলি ব্যবহার করা যেখানে এটি করার পক্ষে কিছুটা বুদ্ধিমান হতে পারে; সরল, অ-প্রযুক্তিগত, ইংরেজীতে আপনার আগ্রহের আসল প্রশ্নটি কী? * (বিশেষত পূর্ববর্তী দিনটিকে 'জনসংখ্যা' হিসাবে ব্যবহার করা ঠিক নয়, আপনি যদি তার পরিবর্তনশীলতা না রাখেন - সাধারণত এটি আজকের মতোই পরিবর্তনশীল)$\quad$

— Glen_b -Reinstate মনিকা

Answer 1

পরীক্ষাটি সঠিক ফলাফলটি ফিরিয়ে দিচ্ছে। বিতরণ দিন দিন একই হয় না। এটি অবশ্যই আপনার কোনও কাজে আসে না। আপনি যে সমস্যাটির মুখোমুখি হচ্ছেন তা দীর্ঘদিন ধরেই পরিচিত। দেখুন: স্ট্যাটিস্টিকাল টেস্টে কার্ল পিয়ারসন এবং আরএ ফিশার: প্রকৃতি থেকে একটি 1935 এক্সচেঞ্জ

পরিবর্তে আপনি পূর্ববর্তী ডেটা (আপনার নিজের বা অন্য কোথাও থেকে) ফিরে তাকান এবং প্রতিটি বিভাগের জন্য দিনের পরিবর্তনের পরিবর্তনগুলি পেতে পারেন। তারপরে আপনি পরীক্ষা করে দেখুন যে বিতরণটি দিয়ে বর্তমান পরিবর্তনটি সম্ভবত ঘটেছিল। ডেটা এবং ত্রুটির ধরণগুলি সম্পর্কে না জেনে আরও সুনির্দিষ্টভাবে উত্তর দেওয়া কঠিন, তবে এই পদ্ধতির আপনার সমস্যার পক্ষে আরও উপযুক্ত মনে হয় suited

Answer 2

আসুন এগিয়ে আসা এবং 5% পবিত্র গরু হত্যা।

আপনি (সঠিকভাবে) উল্লেখ করেছেন যে সমস্যাটি পরীক্ষার উত্সাহী শক্তি। আপনি এটি আরও প্রাসঙ্গিক শক্তির দিকে পুনরুদ্ধার করতে চাইতে পারেন, যেমন 80% এর বেশি traditionalতিহ্যগত মানটি বলতে:

1. আপনি যে প্রভাবের আকারটি সনাক্ত করতে চান তার বিষয়ে সিদ্ধান্ত নিন (উদাঃ, 0.2% শিফট)
2. আপনার পক্ষে যে শক্তির পক্ষে যথেষ্ট উপযুক্ত তা স্থির করুন যাতে এটি অতিরিক্ত বিদ্যুত না হয় (যেমন,$1-\beta=80\%)$
3. আপনার পরীক্ষাটি ব্যবহারিক করে তোলে এমন স্তরটি নির্ধারণ করতে পিয়ারসন পরীক্ষার বিদ্যমান তত্ত্ব থেকে ফিরে কাজ করুন ।

ধরুন আপনার সমান সম্ভাবনা সমেত 5 টি বিভাগ রয়েছে, , এবং আপনার বিকল্প । সুতরাং , । মধ্যে asymptotic বন্টন হয় অ কেন্দ্রীয় চি-বর্গক্ষেত্র সঙ্গে (# বিভাগ -1) = 4 df প্রয়োগ এবং অ কেন্দ্রীয়তা প্যারামিটার 40 এই সঙ্গে বড় মান , এটি কাছে যথেষ্ট । 80% -টিইটি সিডটপি + δ / $p_1=p_2=p_3=p_4=p_5=0.2$এন=106δ=(-2,+2,0,0,0)কে=λ= ∑ জে δ 2 জে +কে=44,σ2=2(কে+2λ)=168)$p+\delta/\sqrt{n}=(0.198,0.202,0.2,0.2,0.2)$$n=10^6$$\delta=(-2,+2,0,0,0)$$k=$

$$\lambda=\sum_j \delta_j^2/p_j = 4/0.2 + 4/0.2 = 40$$ $\lambda$$N(\mu=\lambda+k=44,\sigma^2=2(k+2\lambda)=168)$χ 2 4 পি $44+13\cdot\Phi^{-1}(0.8)=44+13\cdot0.84=54.91$। অত: পর পরীক্ষা আপনার কাঙ্ক্ষিত স্তর বিপরীত লেজ সিডিএফ হয় 54,91 থেকে: সুতরাং যে স্তর হবে তোমার উচিত আপনার ডেটাটি পরীক্ষা করার বিষয়টি বিবেচনা করুন যাতে এটি 0.2% পার্থক্য সনাক্ত করতে 80% এর শক্তি রাখে।$\chi^2_4$ $${\rm Prob}[\chi_4^2>54.91]=3.3\cdot10^{-11}$$

(দয়া করে আমার গণিতটি পরীক্ষা করুন, এটি একটি পরীক্ষার একটি হাস্যকর স্তর, তবে আপনি এটি কি আপনার বিগ ডেটা দিয়ে চেয়েছিলেন, তাই না? অন্যদিকে, আপনি যদি নিয়মিতভাবে একটি দম্পতির পরিসরে পিয়ারসনকে দেখেন তবে শত, এটি বিনোদনের জন্য সম্পূর্ণ অর্থবহ সমালোচনামূলক মান হতে পারে))$\chi^2$

যদিও মনে রাখবেন যে নাল এবং বিকল্প উভয়ের জন্য অনুমানগুলি, লেজগুলিতে খারাপ কাজ করতে পারে, এই আলোচনাটি দেখুন ।

Answer 3

এই ক্ষেত্রে, আমার প্রফেসর ক্রামার ভি এর গণনা করার পরামর্শ দিয়েছেন যা চি-স্কোয়ার স্ট্যাটিস্টিকের ভিত্তিতে সংস্থার একটি পরিমাপ। এটি আপনাকে শক্তি দেয় এবং পরীক্ষা হাইপারস্পেনসিটিভ কিনা তা আপনাকে সিদ্ধান্ত নিতে সহায়তা করা উচিত। তবে, আমি নিশ্চিত নই যে আপনি জি 2 পরীক্ষাগুলি যে ধরণের পরিসংখ্যান ফিরিয়ে দেয় আপনি সেই ভিটি ব্যবহার করতে পারবেন কিনা।

এটি ভি এর সূত্র হওয়া উচিত:

$$\phi_c=\sqrt{\frac{\chi^2}{n(k-1)}}$$

যেখানে গ্র্যান্ড মোট পর্যবেক্ষণ এবং হ'ল সারি বা কলামগুলির সংখ্যা যার মধ্যে কম। অথবা ফিট টেস্টের সদ্ব্যবহারের জন্য, স্পষ্টতইসারিট $n$$k$$k$

Answer 4

এর মধ্যে একটি উপায় হ'ল ধার্মিকতা-সংক্রান্ত ফিটনেস পরীক্ষাগুলি আরও ছোট ছোট ডেটাতে সম্পাদন করে আরও অর্থবহ করা যায়।

আপনি একটি নির্দিষ্ট দিন থেকে আপনার ডেটাগুলি উদাহরণস্বরূপ 1000 টি 1000 টি নমুনার 1000 ব্লকগুলিতে বিভক্ত করতে পারেন এবং পূর্ববর্তী দিন থেকে সম্পূর্ণ ডেটাসেট দ্বারা প্রদত্ত প্রত্যাশিত বিতরণ সহ প্রতিটি ব্লকের জন্য স্বতন্ত্রতা-যোগ্যতা পরীক্ষা চালাতে পারেন। আপনি যে স্তরের ব্যবহার করছেন প্রতিটি স্তরের পরীক্ষার জন্য তাত্পর্য স্তর রাখুন (যেমন eg )। তারপরে প্রত্যাশিত মিথ্যা ধনাত্মক সংখ্যার (মোট নীতি অনুমানের অধীনে যে বিতরণে কোনও পার্থক্য নেই, মোট ধনাত্মক পরীক্ষাগুলির সংখ্যা দ্বি-দ্বি দ্বারা বিতরণ করা হয়, প্যারামিটার ) মোট সংখ্যার ধনাত্মক পরীক্ষাগুলির উল্লেখযোগ্য প্রস্থানগুলি সন্ধান করুন ।$\alpha = 0.05$$\alpha$

আপনি বিতরণটি একই রকম ধরে নিতে পারেন এমন দুটি দিন থেকে ডেটাসেট নিয়ে আপনি ব্যবহার করার জন্য একটি ভাল ব্লকের আকারের সন্ধান করতে পারেন এবং কোন ব্লকের আকারটি ইতিবাচক পরীক্ষার একটি ফ্রিকোয়েন্সি দেয় যা প্রায় equal সমান (যেমন ব্লকের আকারটি থামায়) উত্সাহজনক পার্থক্য রিপোর্ট করা থেকে আপনার পরীক্ষা)।$\alpha$

Comments

আপনি কী অনুগ্রহ করে এই ধারণাটি "আরও অর্থবহ" হয়ে উঠতে পারেন?

— শুক্র

এটি পরিসংখ্যানগত তাত্পর্য বনাম বাস্তব-বিশ্বের তাত্পর্য। 10 ^ 6 নমুনার পরিবর্তে 10 ^ 3 ব্যবহার করে, একটি পরীক্ষার শক্তি ইচ্ছাকৃতভাবে হ্রাস করা হয়, সুতরাং নাল অনুমানের প্রত্যাখ্যানগুলি বড় অভাবের সাথে সামঞ্জস্য রাখে। এটি একটি একক পরীক্ষার ফলাফলকে আরও অর্থবহ করে তোলে কারণ ওপিকে "ছোটখাটো দৈনিক ওঠানামা" সম্পর্কে কোনও চিন্তা নেই। 10 ^ 6 নমুনার জন্য, পরীক্ষা সর্বদা সামান্য পার্থক্যের কারণে H0 প্রত্যাখ্যান করতে পারে, তাই কোনও পরীক্ষার ফলাফল অর্থবহ তথ্য উপস্থাপন করে কিনা তা পরিষ্কার নয়।

— সিজে স্টোনকিং

আপনাকে ধন্যবাদ: আপনার মন্তব্যটি আকর্ষণীয় এবং গুরুত্বপূর্ণ বিষয় উত্থাপন করেছে যা আমার মনে হয় যে আসল অন্তর্নিহিত প্রশ্নটি মনে করে; যথা, ত্রুটিগুলি সনাক্ত করতে কোনওটির মধ্যে কীভাবে তথ্যের মধ্যে পার্থক্য পরিমাপ করা উচিত এবং কতটা পার্থক্য উদ্বেগের বিষয় হতে পারে? যদিও আপনার উত্তরটি কিছু পরিস্থিতিতে উপযুক্ত হতে পারে, তবে এটি অসম্ভব বলে মনে হচ্ছে যে এটি কার্যকরভাবে ডেটাতে ঘটতে পারে এমন অনেক ধরণের ত্রুটি সনাক্ত করতে পারে এবং এটি কোনটির আকারের ব্লকগুলি ব্যবহার করা উচিত সে সম্পর্কে (প্রাকৃতিক) প্রশ্নও উন্মুক্ত করে।

— whuber

@ হু হু, সমস্যাটিকে কী এভাবে নতুনভাবে সংজ্ঞায়িত করা যেতে পারে যাতে নাল এবং এর বিচ্যুতিটি ডেটা আকারের আক্রমণাত্মক তবে কিছু গুণগত উপস্থাপনা চায়?

— ভাস