আপনি কীভাবে বড় ডেটা দিয়ে অনুমানের পরীক্ষা করেন? আমি আমার বিভ্রান্তির উপর জোর দেওয়ার জন্য নিম্নলিখিত ম্যাটল্যাব স্ক্রিপ্টটি লিখেছি। এটি সবই দুটি এলোমেলো সিরিজ উত্পন্ন করে, এবং অন্যটিতে একটি ভেরিয়েবলের একটি সাধারণ লিনিয়ার রিগ্রেশন চালায়। এটি বিভিন্ন এলোমেলো মান এবং প্রতিবেদন গড় ব্যবহার করে বেশ কয়েকবার এই প্রতিরোধ সম্পাদন করে। ঘটনার প্রবণতা হ'ল আমি নমুনার আকার বাড়িয়ে দিচ্ছি, পি-মানগুলি খুব কম হয়ে যায় get
আমি জানি যে কারণ একটি পরীক্ষার শক্তি নমুনা আকারের সাথে বৃদ্ধি পায়, যথেষ্ট পরিমাণে নমুনা দেওয়া হয়, পি-মানগুলি যেকোন হাইপোথিসিস পরীক্ষাকে প্রত্যাখ্যান করার জন্য, এমনকি এলোমেলো ডেটা সহ যথেষ্ট ছোট হয়ে যাবে। আমি আশেপাশে জিজ্ঞাসা করেছি এবং কিছু লোক বলেছিল যে 'বিগ ডেটা' দিয়ে এফেক্ট আকারের দিকে তাকাতে আরও বেশি গুরুত্বপূর্ণ, যেমন important পরীক্ষাটি তাৎপর্যপূর্ণ কিনা এবং আমাদের যত্ন নেওয়ার পক্ষে যথেষ্ট পরিমাণে তার প্রভাব রয়েছে কিনা। এটি কারণ এখানে বড় আকারের নমুনা আকারে পি-মানগুলি খুব ছোট পার্থক্য গ্রহণ করবে, যেমন এটি এখানে ব্যাখ্যা করা হয়েছে ।
তবে, প্রভাবের আকারটি ডেটা স্কেলিং দ্বারা নির্ধারণ করা যেতে পারে। আমি ব্যাখ্যামূলক পরিবর্তনশীলকে একটি ছোট যথেষ্ট পরিমাণের স্কেল এর নীচে দেয় যা একটি বিশাল যথেষ্ট নমুনার আকার দেয়, এটি নির্ভরশীল ভেরিয়েবলের উপর বৃহত উল্লেখযোগ্য প্রভাব ফেলে।
তাই আমি ভাবছি, এই সমস্যাগুলি উপস্থিত থাকলে আমরা কীভাবে বিগ ডেটা থেকে কোনও অন্তর্দৃষ্টি অর্জন করব?
%make average
%decide from how many values to make average
obs_inside_average = 100;
%make average counter
average_count = 1;
for average_i = 1:obs_inside_average,
%do regression loop
%number of observations
n = 1000;
%first independent variable (constant term)
x(1:10,1) = 1;
%create dependent variable and the one regressor
for i = 1:10,
y(i,1) = 100 + 100*rand();
x(i,2) = 0.1*rand();
end
%calculate coefficients
beta = (x'*x)\x'*y;
%calculate residuals
u = y - x*beta;
%calcuatate sum of squares residuals
s_2 = (n-2)\u'*u;
%calculate t-statistics
design = s_2*inv(x'*x);
%calculate standard errors
stn_err = [sqrt(design(1,1));sqrt(design(2,2))];
%calculate t-statistics
t_stat(1,1) = sqrt(design(1,1))\(beta(1,1) - 0);
t_stat(2,1) = sqrt(design(2,2))\(beta(2,1) - 0);
%calculate p-statistics
p_val(1,1) = 2*(1 - tcdf(abs(t_stat(1,1)), n-2));
p_val(2,1) = 2*(1 - tcdf(abs(t_stat(2,1)), n-2));
%save first beta to data column 1
data(average_i,1) = beta(1,1);
%save second beta to data column 2
data(average_i,2) = beta(2,1);
%save first s.e. to data column 3
data(average_i,3) = stn_err(1,1);
%save second s.e. to data column 4
data(average_i,4) = stn_err(2,1);
%save first t-stat to data column 5
data(average_i,5) = t_stat(1,1);
%save second t-stat to data column 6
data(average_i,6) = t_stat(2,1);
%save first p-val to data column 7
data(average_i,7) = p_val(1,1);
%save second p-val to data column 8
data(average_i,8) = p_val(2,1);
end
%calculate first and second beta average
b1_average = mean(data(:,1));
b2_average = mean(data(:,2));
beta = [b1_average;b2_average];
%calculate first and second s.e. average
se1_average = mean(data(:,3));
se2_average = mean(data(:,4));
stn_err = [se1_average;se2_average];
%calculate first and second t-stat average
t1_average = mean(data(:,5));
t2_average = mean(data(:,6));
t_stat = [t1_average;t2_average];
%calculate first and second p-val average
p1_average = mean(data(:,7));
p2_average = mean(data(:,8));
p_val = [p1_average;p2_average];
beta
stn_err
t_stat
p_val