বিগ ডেটা সহ হাইপোথিসিস টেস্টিং


12

আপনি কীভাবে বড় ডেটা দিয়ে অনুমানের পরীক্ষা করেন? আমি আমার বিভ্রান্তির উপর জোর দেওয়ার জন্য নিম্নলিখিত ম্যাটল্যাব স্ক্রিপ্টটি লিখেছি। এটি সবই দুটি এলোমেলো সিরিজ উত্পন্ন করে, এবং অন্যটিতে একটি ভেরিয়েবলের একটি সাধারণ লিনিয়ার রিগ্রেশন চালায়। এটি বিভিন্ন এলোমেলো মান এবং প্রতিবেদন গড় ব্যবহার করে বেশ কয়েকবার এই প্রতিরোধ সম্পাদন করে। ঘটনার প্রবণতা হ'ল আমি নমুনার আকার বাড়িয়ে দিচ্ছি, পি-মানগুলি খুব কম হয়ে যায় get

আমি জানি যে কারণ একটি পরীক্ষার শক্তি নমুনা আকারের সাথে বৃদ্ধি পায়, যথেষ্ট পরিমাণে নমুনা দেওয়া হয়, পি-মানগুলি যেকোন হাইপোথিসিস পরীক্ষাকে প্রত্যাখ্যান করার জন্য, এমনকি এলোমেলো ডেটা সহ যথেষ্ট ছোট হয়ে যাবে। আমি আশেপাশে জিজ্ঞাসা করেছি এবং কিছু লোক বলেছিল যে 'বিগ ডেটা' দিয়ে এফেক্ট আকারের দিকে তাকাতে আরও বেশি গুরুত্বপূর্ণ, যেমন important পরীক্ষাটি তাৎপর্যপূর্ণ কিনা এবং আমাদের যত্ন নেওয়ার পক্ষে যথেষ্ট পরিমাণে তার প্রভাব রয়েছে কিনা। এটি কারণ এখানে বড় আকারের নমুনা আকারে পি-মানগুলি খুব ছোট পার্থক্য গ্রহণ করবে, যেমন এটি এখানে ব্যাখ্যা করা হয়েছে

তবে, প্রভাবের আকারটি ডেটা স্কেলিং দ্বারা নির্ধারণ করা যেতে পারে। আমি ব্যাখ্যামূলক পরিবর্তনশীলকে একটি ছোট যথেষ্ট পরিমাণের স্কেল এর নীচে দেয় যা একটি বিশাল যথেষ্ট নমুনার আকার দেয়, এটি নির্ভরশীল ভেরিয়েবলের উপর বৃহত উল্লেখযোগ্য প্রভাব ফেলে।

তাই আমি ভাবছি, এই সমস্যাগুলি উপস্থিত থাকলে আমরা কীভাবে বিগ ডেটা থেকে কোনও অন্তর্দৃষ্টি অর্জন করব?

%make average
%decide from how many values to make average
obs_inside_average = 100;

%make average counter
average_count = 1;

for average_i = 1:obs_inside_average,






%do regression loop
%number of observations
n = 1000;

%first independent variable (constant term)
x(1:10,1) = 1; 

%create dependent variable and the one regressor
for i = 1:10,

    y(i,1) = 100 + 100*rand();

    x(i,2) = 0.1*rand();

end





%calculate coefficients
beta = (x'*x)\x'*y;

%calculate residuals
u = y - x*beta;

%calcuatate sum of squares residuals
s_2 = (n-2)\u'*u;

%calculate t-statistics
design = s_2*inv(x'*x);

%calculate standard errors
stn_err = [sqrt(design(1,1));sqrt(design(2,2))];

%calculate t-statistics
t_stat(1,1) = sqrt(design(1,1))\(beta(1,1) - 0);
t_stat(2,1) = sqrt(design(2,2))\(beta(2,1) - 0);

%calculate p-statistics
p_val(1,1) = 2*(1 - tcdf(abs(t_stat(1,1)), n-2));
p_val(2,1) = 2*(1 - tcdf(abs(t_stat(2,1)), n-2));






%save first beta to data column 1
data(average_i,1) = beta(1,1);

%save second beta to data column 2
data(average_i,2) = beta(2,1);

%save first s.e. to data column 3
data(average_i,3) = stn_err(1,1);

%save second s.e. to data column 4
data(average_i,4) = stn_err(2,1);

%save first t-stat to data column 5
data(average_i,5) = t_stat(1,1);

%save second t-stat to data column 6
data(average_i,6) = t_stat(2,1);

%save first p-val to data column 7
data(average_i,7) = p_val(1,1);

%save second p-val to data column 8
data(average_i,8) = p_val(2,1);

end

%calculate first and second beta average
b1_average = mean(data(:,1));
b2_average = mean(data(:,2));

beta = [b1_average;b2_average];

%calculate first and second s.e. average
se1_average = mean(data(:,3));
se2_average = mean(data(:,4));

stn_err = [se1_average;se2_average];

%calculate first and second t-stat average
t1_average = mean(data(:,5));
t2_average = mean(data(:,6));

t_stat = [t1_average;t2_average];

%calculate first and second p-val average
p1_average = mean(data(:,7));
p2_average = mean(data(:,8));

p_val = [p1_average;p2_average];

beta
stn_err
t_stat
p_val

হাইপোথিসিস পরীক্ষা নাল মডেলগুলি প্রত্যাখ্যান সম্পর্কে। আরও ডেটা দিয়ে আপনি "বড় নাল মডেল" প্রত্যাখ্যান করতে পারেন, উদাহরণস্বরূপ আরও কোভারিয়েট থাকা বা একাধিক অনুমান পরীক্ষা করে ses
মোমারা


2
ঘরের হাতিটি "বড় ডেটা" এর উপস্থাপনা। ইন্টারনেটে সংগৃহীত অনেক বিশাল ডেটাসেট সুবিধার নমুনা (সর্বোত্তম); নমুনা থেকে বৃহত্তর জনগোষ্ঠী বা চলমান প্রক্রিয়াতে সাধারণীকরণের প্রয়াসে লুকানো তবে সুপরিচিত বিপদগুলি রয়েছে।
হোবার

1
"কিছু লোক বলেছিলেন যে 'বিগ ডেটা' দিয়ে এফেক্টের আকারটি দেখা আরও গুরুত্বপূর্ণ" " 'স্মল ডেটা' দিয়ে এফেক্ট সাইজের দিকেও লক্ষ্য করা জরুরী।
এরি বি ফ্রেডম্যান

উত্তর:


11

পিটারের পরামর্শ অনুসারে, আমি মনে করি "বিগ ডেটা" এর যুগে একটি গুরুত্বপূর্ণ বিষয় হ'ল পি-ভ্যালুগুলিতে আরও কম জোর দেওয়া, এবং আরও বেশি প্রভাবের পরিমাণের অনুমানের উপর জোর দেওয়া।

আমার নিজের কিছু কাজ এটির সাথে বিগ ডেটার চেয়েও বেশি কৃপণ বলে মনে করে with স্টোকাস্টিক গণনা মডেলগুলির জন্য, আপনার শক্তি সম্পূর্ণরূপে ধৈর্য এবং কম্পিউটিং সংস্থার একটি কার্য function এটি একটি কৃত্রিম নির্মাণ।

সুতরাং প্রভাব অনুমান ফিরে। এমনকি এর তাৎপর্যপূর্ণ হলেও, বাস্তব বিশ্বে কোনও বিষয়ে 0.0001% বৃদ্ধি পায়?

আমি অধ্যয়ন শক্তি রিপোর্ট করার পিছনে কিছু ধারণার বিপরীত নিয়েও খেলছিলাম। আপনার অধ্যয়নটি পর্যবেক্ষিত প্রভাবটি সনাক্ত করার জন্য শক্তিটি প্রতিবেদন করার পরিবর্তে অধ্যয়নটি সন্ধান করার জন্য সর্বনিম্ন প্রভাবের আকারের প্রতিবেদন করা ছিল। তাত্পর্যপূর্ণভাবে গ্যারান্টিযুক্ত ছিল কিনা তা পাঠক জানতে পারবেন।


7

আপনি যে অন্তর্দৃষ্টি চান তা আত্মবিশ্বাসের অন্তর থেকে আসবে, পি-মানগুলি থেকে তেমন নয়। খুব বড় আকারের নমুনা আকারের সাথে আপনি খুব সঠিক আত্মবিশ্বাসের অন্তর পেতে চলেছেন, তবে আপনার পরিসংখ্যানগত অনুমানগুলি সঠিক হয় provided


ধন্যবাদ মাইক আপনি কি এই পরিস্থিতিতে বলছেন, আত্মবিশ্বাসের অন্তরগুলির পরীক্ষা করলে দেখা যাবে যে এগুলি এত বেশি প্রশস্ত যে আমাদের সত্যিকারের প্রাক্কলনগুলির যথাযথ মানকে আমাদের বিশ্বাস করা উচিত নয়?
জোড্যাঞ্জার

মজার বিষয়টি হ'ল কতটা স্বজ্ঞাতভাবে, প্রশ্নটি বৃহত ডেটার সমস্যা হিসাবে চিহ্নিত করা হয়েছিল (যেখানে অনুমানের পরীক্ষাগুলি আমাদের জানায় যে কিছু 0 হওয়ার সম্ভাবনা কতটা অসম্পূর্ণ) বরং ছোট ডেটার জন্য সমস্যা হিসাবে নয় (যেখানে প্যারামিটারের অনুমানগুলি খুব সঠিক নয় এবং প্রায়শই, সবাই বলতে পারে যে প্যারামিটারটি 0 0 হওয়া কতটা অসম্ভব।
জোনা

6

ডেটা বড় বা ছোট কিনা নির্বিশেষে এফেক্ট আকারের দিকে তাকাতে গুরুত্বপূর্ণ।

নিখুঁতভাবে এলোমেলো ডেটা সহ, আপনার সময়ের 5% একটি উল্লেখযোগ্য ফলাফল পাওয়া উচিত। পি-মান বলতে যা বোঝায় তাই। নমুনা আকার নির্বিশেষে এটিও সত্য। নমুনা আকারের সাথে যা তফাত হয় তা হ'ল এফেক্টের আকারটি কতটা গুরুত্বপূর্ণ তা খুঁজে পেতে হবে; তবে, বিশুদ্ধ শব্দের বৃহত নমুনাগুলি সহ, কেবলমাত্র ছোট পার্থক্যই সম্ভবত; ছোট নমুনা সহ, বড় পার্থক্য প্রায়শই ঘটে। 10 বার মুদ্রা উল্টানোর কথা ভাবেন: 8, 9 বা 10 টি মাথা পাওয়াও অবাস্তব নয়। যাইহোক, আপনি যদি 1000 বার কোনও মুদ্রা টস করেন তবে 800 টি মাথা পাওয়া সত্যিই অদ্ভুত হবে, 900 বা 1000 কম হবে (সঠিক সংখ্যা গণনা করা যায়, তবে এটি বিন্দু নয়। তবে 1000 টসস এমনকি একটি ছোট বিচ্যুতিও রয়েছে) 500 থেকে উল্লেখযোগ্য হবে।

যেমন এলোমেলো ডেটা সহ একটি টি-পরীক্ষা, দৈর্ঘ্যের 10 ভেক্টর

set.seed(102811)
samp.size <- 10
t10 <- vector("numeric", 100)
for (i in 1:100){
x <- rnorm(samp.size)
y <- rnorm(samp.size)
t <- t.test(x,y)
t10[i] <- t$p.value
sum(t10 < .05)/100

আমি 0.07 পেয়েছি

1000 আকারের দুটি ভেক্টর সহ

set.seed(10291)
samp.size <- 1000
t1000 <- vector("numeric", 100)
for (i in 1:100){
  x <- rnorm(samp.size)
  y <- rnorm(samp.size)
  t <- t.test(x,y)
  t1000[i] <- t$p.value
}  
sum(t1000 < 0.05)/100

আমি 0.05 পেয়েছি।


1
উদ্ভাসিত, আমি এটি ভাল খসড়াটি খুঁজে পেয়েছি, এমন কোনও একাডেমিক কাগজপত্র / পরিসংখ্যান পাঠ্যপুস্তক রয়েছে যা একটি অনুরূপ বিষয়টিকে উল্লেখ করতে পারে?
সাফেক্স

1
কোন নির্দিষ্ট পয়েন্ট? প্রভাব আকারের সম্পর্কে খুঁজছেন? বা এলোমেলো কি সম্পর্কে?
পিটার ফ্লুম - মনিকা পুনরায়

"নমুনার আকারের সাথে যা পরিবর্তিত হয় তা হ'ল এফেক্টের আকারটি কী পরিমাণ তাৎপর্যপূর্ণভাবে খুঁজে পেতে হবে", এটি পাঠ্য থেকে খুব স্বজ্ঞাত, তবে এমন একাডেমিক কাজ রয়েছে যা এই বিষয়টিকে প্রমাণ করে
SAFEX

1
আমি এমন কোনও বই সম্পর্কে জানি না যা স্পষ্টভাবে এটি প্রমাণ করে - আপনি যদি একরকম গাণিতিক পরিসংখ্যানের বইটি চান তবে আমি জিজ্ঞাসা করা ব্যক্তি নই। আমি নিশ্চিত যে এখানের কেউ জানতে পারবে তবে তারা এই মন্তব্য থ্রেডটি নাও দেখতে পাবে। সম্ভবত "পৃথক প্রমাণ যা পরিবর্তিত হয় তার মতো পৃথক প্রশ্ন জিজ্ঞাসা করুন ...."
পিটার ফ্লুম - মনিকা পুনরায়

1
স্বজ্ঞাত বর্ণনার জন্য কাজ করেছেন এবং আবার ধন্যবাদ ( stats.stackexchange.com/questions/412643/... )
SAFEX

2

ইতিমধ্যে উল্লিখিত ছিল, অনুমানের পরীক্ষায় আপনি আসলে নাল অনুমানটি তদন্ত করছেন, সাধারণত এই আশায় যে আপনি এটি প্রত্যাখ্যান করতে পারেন। অন্যান্য উত্তরগুলি ছাড়াও আমি কিছুটা ভিন্ন পদ্ধতির প্রস্তাব দিতে চাই।

সাধারণভাবে বলতে গেলে, আপনার ডেটাতে কী চলছে সে সম্পর্কে যদি আপনার কাছে কিছু তত্ত্ব থাকে তবে আপনি একটি নিশ্চিতকরণ বিশ্লেষণ করতে পারেন ( যেমন একটি উদাহরণ হিসাবে নিশ্চিতকরণমূলক ফ্যাক্টর বিশ্লেষণ )। এটি করার জন্য আপনার একটি মডেল প্রয়োজন। তারপরে আপনি দেখতে পাচ্ছেন যে আপনার মডেলটি ডেটা ফিট করে। এই পদ্ধতির একে অপরের বিরুদ্ধে বিভিন্ন মডেল পরীক্ষা করার অনুমতি দেয়। বিগ ডেটার সাথে দুর্দান্ত জিনিসটি হ'ল এটি আপনাকে এই মডেল পরীক্ষাগুলি করতে দেয়। বিপরীতে, মনোবিজ্ঞানের ক্ষেত্রে যেমন প্রায়শই এটি করা সম্ভব হয় না, কারণ এই ধরণের পদ্ধতির জন্য নমুনার আকারগুলি খুব ছোট থাকে।

আমি বুঝতে পারি যে সাধারণত বিগ ডেটার সাথে একটি অনুসন্ধানী পদ্ধতির ব্যবহার হয়, কারণ এখনও কোনও তত্ত্ব নেই। এছাড়াও, যেহেতু আমি ঠিক কীভাবে আপনার আগ্রহী তা আমি জানি না, এটি সম্ভবত কোনও বিকল্প হতে পারে না।

আমাদের সাইট ব্যবহার করে, আপনি স্বীকার করেছেন যে আপনি আমাদের কুকি নীতি এবং গোপনীয়তা নীতিটি পড়েছেন এবং বুঝতে পেরেছেন ।
Licensed under cc by-sa 3.0 with attribution required.