এর উদ্দেশ্যযুক্ত বিতরণের বিরুদ্ধে এলোমেলোভাবে উত্পন্ন ডেটা পরীক্ষা করা

Question

আমি একটি প্রোগ্রাম লিখেছি যা এলোমেলো ডেটা উত্পন্ন করে। যদি প্রোগ্রামটি সঠিকভাবে কাজ করে, তবে সেই ডেটাটির একটি নির্দিষ্ট, জ্ঞাত সম্ভাবনা বন্টন অনুসরণ করা উচিত। আমি প্রোগ্রামটি চালাতে চাই, ফলাফলটি সম্পর্কে কিছু গণনা করব এবং একটি পি-মান নিয়ে এসেছি।

অন্য কেউ এটির আগে বলার আগে: আমি বুঝতে পারি যে প্রোগ্রামটি সঠিকভাবে পরিচালনা করার সময় অনুমানের পরীক্ষাটি সনাক্ত করতে পারে না। এটি কেবলমাত্র যখন নির্দিষ্ট উপায়ে ভুলভাবে পরিচালিত হয় তা সনাক্ত করতে পারে । (এবং তারপরেও, পরীক্ষার "সময়ের X% ব্যর্থ হওয়া উচিত, আপনি কোন তাত্পর্য স্তরটি বেছে নেবেন তার উপর নির্ভর করে ...)

সুতরাং, আমি কী সরঞ্জামগুলি উপযুক্ত হতে পারে তা বোঝার চেষ্টা করছি। নির্দিষ্টভাবে:

• আমি যতটা চাই এলোমেলো ডেটা তৈরি করতে পারি। আমাকে যা করতে হবে তা হ'ল প্রোগ্রামটি যথেষ্ট দীর্ঘ চলমান। সুতরাং আমি কোনও নির্দিষ্ট নমুনার আকারের মধ্যে সীমাবদ্ধ নই।

• আমি এমন কৌশলগুলিতে আগ্রহী যা একটি পি-মান তৈরি করে। সুতরাং কোনও গ্রাফের দিকে দৃষ্টিপাত করা এবং "হ্যাঁ, এটাকে দৃষ্টিনন্দন রৈখিক দেখায়" বলা আকর্ষণীয় বিকল্প নয়। যদি না কোনও গ্রাফের "উইনকিনেস" এ একটি শক্ত নম্বর স্থাপনের উপায় থাকে না। ;-)

আমি এখন অবধি যা জানি:

• আমি তিনটি প্রধান ধরণের পরীক্ষার মুখোমুখি হয়েছি যা উল্লিখিত হয়েছে যেগুলির শব্দগুলি প্রযোজ্য হতে পারে: [পিয়ারসন] চি-স্কোয়ার্ড পরীক্ষা, কোলমোগোরভ-স্মারনভ পরীক্ষা এবং অ্যান্ডারসন-ডার্লিং পরীক্ষা।

• এটি প্রদর্শিত হয় যে চি চি-স্কোয়ার্ড পরীক্ষা পৃথক বিতরণের জন্য উপযুক্ত , অন্য দুটি ক্রমাগত বিতরণের জন্য আরও উপযুক্ত । (?)

• বিভিন্ন উত্স ইঙ্গিত দেয় যে এডি পরীক্ষাটি কেএস পরীক্ষার চেয়ে "ভাল", তবে আরও বিশদে যেতে ব্যর্থ।

শেষ পর্যন্ত, এই সমস্ত পরীক্ষাগুলি সম্ভবত নাল বিতরণ থেকে বিচ্যুত হওয়ার "বিভিন্ন উপায়" সনাক্ত করে। তবে আমি এখনও পার্থক্যগুলি কী তা এখনও জানি না ... সংক্ষেপে, আমি এক ধরণের সাধারণ বিবরণ খুঁজছি যেখানে প্রতিটি ধরণের পরীক্ষা সর্বাধিক প্রযোজ্য এবং কোন ধরণের সমস্যাগুলি এটি সবচেয়ে ভাল সনাক্ত করে।

Comments

যদি আপনি নিজের নিজের এটি লিখে থাকেন তবে আপনি নিজের জ্ঞানের সীমা অতিক্রম করার পরে এটি প্রায় 'ব্যর্থ' হতে বাধ্য (আপনি ডিজাইনের মধ্যে এমবেড করেছেন)। কটাক্ষপাত আছে random.org/analysis যা স্পষ্টত পরীক্ষণ পদ্ধতির কিছু, এবং তালিকা stackoverflow.com/q/2130621/717355 । দার্শনিকভাবে, প্রোগ্রামটি যদি নির্বিচারে হয় তবে তা এলোমেলোভাবে হতে পারে না ;-) এটি অবশ্যই অধ্যয়নের জন্য উপযুক্ত বিষয় (এবং পাসওয়ার্ড হ্যাকিং ক্রিপো আলোচনা ভুলে যাবেন না)।

— ফিলিপ ওকলে

Answer 1

3 টি পদ্ধতি কীভাবে কাজ করে তার একটি সাধারণ বিবরণ এখানে।

চি-স্কোয়ার্ড পদ্ধতিটি একটি বিনের পর্যবেক্ষণের সংখ্যাকে বিতরণের ভিত্তিতে বিনে প্রত্যাশিত সংখ্যার সাথে তুলনা করে কাজ করে। পৃথক বিতরণের জন্য বিনগুলি সাধারণত বিচ্ছিন্ন সম্ভাবনা বা সেগুলির সংমিশ্রণ হয়। অবিচ্ছিন্ন বিতরণের জন্য আপনি বিনগুলি তৈরি করতে কাট পয়েন্ট বেছে নিতে পারেন। এটি কার্যকর করে এমন অনেকগুলি ক্রিয়া স্বয়ংক্রিয়ভাবে বিনগুলি তৈরি করবে, তবে আপনি যদি নির্দিষ্ট ক্ষেত্রগুলির সাথে তুলনা করতে চান তবে আপনার নিজের বিনগুলি তৈরি করতে সক্ষম হওয়া উচিত। এই পদ্ধতির অসুবিধাটি হ'ল তাত্ত্বিক বিতরণ এবং অভিজ্ঞতা সংক্রান্ত তথ্যের মধ্যে পার্থক্য যা এখনও একই বিনের মধ্যে রাখে, একটি উদাহরণ গোলাকার হবে, যদি তাত্ত্বিকভাবে 2 এবং 3 এর মধ্যে সংখ্যার পরিসীমা ছড়িয়ে দেওয়া উচিত (আমরা 2.34296 এর মতো মান দেখতে আশা করি),

কেএস পরীক্ষার পরিসংখ্যান হ'ল তুলনামূলকভাবে 2 টি ক্রমবর্ধমান বিতরণ কার্যগুলির মধ্যে সর্বাধিক দূরত্ব (প্রায়শই একটি তাত্ত্বিক এবং একটি অভিজ্ঞতাগত)। যদি 2 সম্ভাব্যতা বিতরণগুলিতে কেবল 1 ছেদ বিন্দু থাকে তবে 1 বিয়োগ সর্বাধিক দূরত্ব হ'ল 2 সম্ভাব্যতা বিতরণের মধ্যে ওভারল্যাপের ক্ষেত্র (এটি কিছু লোককে কী পরিমাপ করা হচ্ছে তা ভিজ্যুয়ালাইজ করতে সহায়তা করে)। একই প্লটে প্লট করার কথা ভাবুন তাত্ত্বিক বিতরণ ফাংশন এবং EDF তারপরে 2 "বক্ররেখা" এর মধ্যে দূরত্ব পরিমাপ করুন, সবচেয়ে বড় পার্থক্য হচ্ছে পরীক্ষার পরিসংখ্যান এবং নলের সত্যতার পরে এটি মূল্যগুলির বন্টনের বিরুদ্ধে তুলনা করা হয়। এটি পার্থক্যগুলি হ'ল বিতরণের আকার বা 1 টি বিতরণ অন্যটির তুলনায় স্থানান্তরিত বা প্রসারিত।$\frac1n$

অ্যান্ডারসন-ডার্লিং টেস্টে সিএসএফ কার্ভগুলির মধ্যে কেএস পরীক্ষার মতো পার্থক্যও ব্যবহার করে, তবে এটি 2 টি বক্ররেখার মধ্যে মোট ক্ষেত্রের একটি ফাংশন ব্যবহার করে সর্বাধিক পার্থক্য ব্যবহার না করে (এটি আসলে পার্থক্যগুলিকে স্কোয়ার করে, ওজন করে তাই লেজগুলি থাকে আরও প্রভাব, তারপরে বিতরণের ডোমেনের সাথে একীভূত হয়)। এটি কেএস এর চেয়ে বেশি বিদেশীদের আরও ওজন দেয় এবং বেশ কয়েকটি ছোট পার্থক্য থাকলে (কেএস জোর দেয় এমন 1 টি বড় পার্থক্যের তুলনায়) আরও ওজন দেয়। আপনি গুরুত্বহীন (হালকা বৃত্তাকার ইত্যাদি) বিবেচনা করবেন এমন পার্থক্যগুলি খুঁজে পাওয়ার জন্য এটি পরীক্ষার উপর চাপ প্রয়োগ করতে পারে। কেএস পরীক্ষার মতো এটিও ধরে নেয় যে আপনি ডেটা থেকে পরামিতিগুলি অনুমান করেননি।

শেষ 2 এর সাধারণ ধারণাগুলি দেখানোর জন্য এখানে একটি গ্রাফ দেওয়া হয়েছে:

এই আর কোডের উপর ভিত্তি করে:

set.seed(1)
tmp <- rnorm(25)
edf <- approxfun( sort(tmp), (0:24)/25, method='constant', 
    yleft=0, yright=1, f=1 )

par(mfrow=c(3,1), mar=c(4,4,0,0)+.1)
curve( edf, from=-3, to=3, n=1000, col='green' )
curve( pnorm, from=-3, to=3, col='blue', add=TRUE)

tmp.x <- seq(-3, 3, length=1000)
ediff <- function(x) pnorm(x) - edf(x)
m.x <- tmp.x[ which.max( abs( ediff(tmp.x) ) ) ]
ediff( m.x )  # KS stat
segments( m.x, edf(m.x), m.x, pnorm(m.x), col='red' )  # KS stat

curve( ediff, from=-3, to=3, n=1000 )
abline(h=0, col='lightgrey')    

ediff2 <- function(x) (pnorm(x) - edf(x))^2/( pnorm(x)*(1-pnorm(x)) )*dnorm(x)
curve( ediff2, from=-3, to=3, n=1000 )
abline(h=0)

শীর্ষ গ্রাফটি স্ট্যান্ডার্ড কেস স্ট্যাট দেখায় এমন একটি লাইনের সাথে স্ট্যান্ডার্ড সাধারণ সিডিএফের তুলনায় স্ট্যান্ডার্ড সাধারণ থেকে একটি নমুনার একটি ইডিএফ দেখায়। মাঝের গ্রাফটি 2 টি বক্ররেখার মধ্যে পার্থক্য দেখায় (আপনি দেখতে পারেন কেএস স্ট্যাটটি কোথায় ঘটে)। নীচেটি তখন বর্গক্ষেত্র, ওজনযুক্ত পার্থক্য, এডি পরীক্ষার এই বক্ররেখার অধীনে অঞ্চল ভিত্তিক হয় (ধরে নিলাম আমি সবকিছু ঠিকঠাক পেয়েছি)।

অন্যান্য পরীক্ষাগুলি একটি QQplot মধ্যে পারস্পরিক সম্পর্কের দিকে তাকান, QQplot মধ্যে opeাল তাকান, মুহুর্তের উপর ভিত্তি করে গড়, বর্ণ এবং অন্যান্য পরিসংখ্যানগুলির তুলনা করুন।

Comments

+1, এটি আসল প্রশ্নের উত্তম উত্তর (আমার বিপরীতে ...)। অনুচ্ছেদের 3 অনুচ্ছেদের মাঝখানে যে বর্ণনাটি চলছে তা কেবল একটি চিত্রণমূলক চিত্রের জন্য প্রার্থনা করে, আপনি যদি কোনও বানাতে ঝোঁক হন।

— গুং - মনিকা পুনরায়

এটি একটি দুর্দান্ত উত্তর। কেবলমাত্র আমি পুরোপুরি বুঝতে পেরেছি তা নিশ্চিত করার জন্য: কেএস পরীক্ষা সিডিএফ এবং ইডিএফের মধ্যে বৃহত্তম বিচ্যুতি ফিরিয়ে দেয়, যখন এডি দুটি বক্ররেখার মধ্যে মোট [ওজনিত] ক্ষেত্রটি ফেরত দেয়?

— গাণিতিক

@ গণিতের অর্কিড, বেশিরভাগই সঠিক, এডি দূরত্বকে বর্গাকার করে, তারপর ওজন করে, তারপর সংহত করে, তাই এটি অঞ্চল থেকে কিছুটা আলাদা (যদিও বোঝার জন্য, অঞ্চল হিসাবে এটি সম্পর্কে চিন্তা করা সম্ভবত ঠিক আছে এবং অনেক সহজ)।

— গ্রেগ স্নো

আমি প্রত্যাশা করি যে যদি আপনার তাত্ত্বিক বিতরণে একটি বিন্দু ভর থাকে (একটি নির্দিষ্ট বিন্দুতে সিডিএফের উল্লম্ব লাফ) এবং আপনার ডেটার প্রকৃত বিতরণে প্রায় একই জায়গায় একটি পয়েন্ট ভর থাকে তবে একই জায়গায় না হয় তবে কেএস পরীক্ষাটি সর্বোত্তম হতে পারে এডি পরীক্ষায়। তবে সে ক্ষেত্রে সম্ভবত কিছুটা দ্বন্দ্ব রয়েছে। কেএস পরীক্ষাটি 1 টি পার্শ্বযুক্ত পরীক্ষার অনুমতি দেয় যেখানে AD সবসময় 2-তরফা থাকে, যাতে এটি অন্য পার্থক্য (কেবল সাধারণ নয়)।

— গ্রেগ স্নো

আমি @ ম্যাথমেটিক্যালআরচিড বৈশিষ্ট্যটি পছন্দ করি না যে কেএস পরিসংখ্যান কেবল "একটি চরম পয়েন্ট" এর উপর নির্ভর করে। সিডিএফ-তে সেই "এক পয়েন্ট" (প্রায়শই বিতরণের মাঝামাঝি) অবস্থানটি সেটের অন্যান্য পয়েন্টগুলির মানগুলির উপর নির্ভর করে এবং সেই ভাষা বিদগ্ধ শ্রোতাদের কাছে পরামর্শ দেওয়ার মতো বিচ্ছিন্ন বা নির্জন নয়।

— ডিউইন

Answer 2

একটি স্পষ্ট এবং বিস্তারিত প্রশ্ন লেখার জন্য +1। আমি আশা করি আমার উত্তরটি খুব হতাশার নয়। আমি বিশ্বাস করি যে অনুমানের পরীক্ষা আপনার ক্ষেত্রে উপযুক্ত পদ্ধতি নয়। উত্তর হ্যাঁ বা না হতে পারে যখন নাল অনুমানের তাত্পর্য পরীক্ষা করা একটি যুক্তিসঙ্গত জিনিস , তবে আপনি জানেন না যে কোনটি । (দুর্ভাগ্যক্রমে, এটি আসলে আপনাকে কোনটি বলে না, তবে এটি একটি আলাদা সমস্যা)) আপনার ক্ষেত্রে, আমি জড়ো হয়েছি, আপনি জানতে চান যে আপনার অ্যালগোরিদম ভাল কিনা। তবে এটি (নিশ্চিতভাবে) জানা গেছে যে কোনও কম্পিউটার প্রোগ্রাম কোনও সম্ভাব্যতা বিতরণ থেকে সত্যিকারের র্যান্ডম ডেটা তৈরি করতে পারে না। এটি প্রথমত সত্য, কারণ সমস্ত কম্পিউটার সীমাবদ্ধ রাষ্ট্রীয় মেশিন , এবং সুতরাং এটি কেবলমাত্র সিউডোরান্ডম সংখ্যা তৈরি করতে পারে। তদ্ব্যতীত (সত্য এলোমেলোতার অভাবকে আলাদা করে রেখে), উত্পন্ন মানগুলি যে কোনও ধ্রুবক বিতরণকে পুরোপুরি অনুসরণ করে তা সম্ভব নয়। এটি বোঝার বেশ কয়েকটি উপায় রয়েছে তবে সম্ভবত সবচেয়ে সহজটি হ'ল সংখ্যা লাইনে 'ফাঁক' থাকবে যা কোনও ক্রমাগত র্যান্ডম ভেরিয়েবলের ক্ষেত্রে সত্য নয়। তদুপরি, এই ফাঁকগুলি পুরোপুরি সমানভাবে প্রশস্ত বা পুরোপুরি সমান দূরত্ব নয়। কম্পিউটার বিজ্ঞানী যারা সিউডোরেন্ডম সংখ্যা উত্পন্নকরণে কাজ করেন তাদের মধ্যে গেমের নামটি হল আলগোরিদিমগুলি উন্নত করা যাতে ফাঁকগুলি আরও কম হয়, আরও দীর্ঘ সময়সীমার সাথে (এবং এটি আরও মান আরও দ্রুত তৈরি করতে পারে)। যে কোনও হারে, এই সত্যগুলি প্রমাণ করে যে আপনার অ্যালগরিদম সঠিকভাবে "একটি নির্দিষ্ট, জ্ঞাত সম্ভাবনা বন্টন" অনুসরণ করছে কিনা তা নির্ধারণের জন্য অনুমানের পরীক্ষাটিই ভুল পদ্ধতির, কারণ তা নয়। (দুঃখিত।)

পরিবর্তে, তাত্ত্বিক বিতরণের জন্য আপনার ডেটা কতটা কাছাকাছি তা নির্ধারণ করা আরও উপযুক্ত কাঠামো । এর জন্য, আমি প্লটগুলি, বিশেষত কিউকি-প্লট এবং পিপি-প্লটগুলি পুনর্বিবেচনার পরামর্শ দেব$1-\beta$$r=1$

অন্য একটি নোটে, আপনার অ্যালগোরিদমের গুণাগুণটি মূল্যায়নের ক্ষেত্রে আপনি অন্যান্য মানক পিআরএনজির সাথে তুলনামূলকভাবে সময় দিতে চাইতে পারেন।

আশাকরি এটা সাহায্য করবে.

Comments

আমি যা চেয়েছিলাম তা স্পষ্টভাবে নয়, তবে অন্তর্দৃষ্টিপূর্ণ কোনওটিই কম নয়। আমি মনে করি "অবিচ্ছিন্ন নয়" আপনি মূলত এই বিষয়টি উল্লেখ করছেন যে কম্পিউটারগুলি অসীম-নির্ভুল গাণিতিক প্রয়োগ করে না?

— গাণিতিক

এটি এর একটি বড় অংশ, তবে পুরো বিষয়টি নয়। এটি এমন একটি বিষয় যা অত্যন্ত জটিল।

— গুং - মনিকা পুনরায়

@ Gung প্রথম অনুচ্ছেদের ধারনা কিছু ফাংশনে প্রয়োগ করা হয় SnowsPenultimateNormalityTestমধ্যে TeachingDemosপ্যাকেজের জন্য আর আমি ঘনিষ্ঠতা একটি পরিমাপ এ বদলে খুঁজছেন একটি পি-মান উপর মনোযোগ নিবদ্ধ করে @ gung এর ধারণা সঙ্গে একমত। এর জন্য কিউকিউ প্লটের সাথে সম্পর্কিতটি ব্যবহার করার ক্ষেত্রে একটি সমস্যা হ'ল যদি আপনার ডেটাটির সঠিক আকার থাকে তবে ভিন্ন ভিন্ন গড়, বৈকল্পিক ইত্যাদি আপনি এখনও সত্যই উচ্চতর সম্পর্ক স্থাপন করতে পারেন। একটি বিকল্প হ'ল কেএস স্ট্যাটিস্টিক বা এডি পরিসংখ্যানকে তাত্ত্বিক থেকে পৃথক করার ব্যবস্থা হিসাবে ব্যবহার করা।

— গ্রেগ স্নো

@ গুং, উত্তরের জন্য আপনাকে ধন্যবাদ আপনি কীভাবে "আপনার ডেটা প্লট করার জন্য যথাযথ রূপান্তর করেছেন এবং প্রশ্নে তাত্ত্বিক বিতরণ থেকে সংশ্লিষ্ট মানগুলি গণনা করে আপনি সেগুলি সংযুক্ত করতে পারেন" তার উপর আরও কিছুটা বিস্তারিত বর্ণনা করতে পারেন? পিপি- বা কিউকিউ-প্লটিংয়ের জন্য ডেটা গণনা করেছেন, আপনি উল্লিখিত আর-স্কোর পেতে পরবর্তী পদক্ষেপটি কী হবে? এটি কি কিছু সুপরিচিত পরীক্ষা? আপনি দয়া করে একটি রেফারেন্স দিতে পারেন? ধন্যবাদ!

— ইভান

Answer 3

আমি সমস্ত উত্তর সম্পূর্ণরূপে পড়িনি তবে আমি দেখতে পাচ্ছি যে তারা বেশ নিখুঁত এবং নির্ভুল। আমি দীর্ঘ উত্তরগুলিতে সমাহিত কিছু পুনরাবৃত্তি করছি এমন ঝুঁকিটি চালানো আমি কেবলই বলতে চাই যে v = চি চি স্কোয়ার পরীক্ষা অবিচ্ছিন্ন ডেটার জন্য ব্যবহার করা যেতে পারে। এটি সেরা পরীক্ষা নাও হতে পারে এবং অনেক পরীক্ষার মতো এটি অ্যাসিপোটোটিক তত্ত্বের উপর নির্ভর করে এবং তাই বিরল কোষগুলির সাথে ছোট নমুনাগুলিতে সঠিক হতে পারে না (এটি আপনি কীভাবে বিনিং করেন তার উপরও নির্ভর করে)। অ্যান্ডারসন-ডার্লিং কেএস পরীক্ষার চেয়ে স্বাভাবিকতা পরীক্ষা করার জন্য আরও শক্তিশালী তবে অন্য ধারাবাহিক বিতরণের জন্য কেএস আরও ভাল হতে পারে। Lillefors একটি পরীক্ষা যা ঘৃণ্য বিতরণ জন্য ডিজাইন করা হয়েছে।