Dplyr হাইব্রিডাইজড বিকল্পগুলি বেস আর সাবসেট পুনরায় নিয়োগের তুলনায় এখন প্রায় 30% দ্রুত। 100M ডেটাপয়েন্টে ডেটাফ্রেমটি mutate_all(~replace(., is.na(.), 0))বেস আর d[is.na(d)] <- 0বিকল্পের চেয়ে আধ সেকেন্ড দ্রুত গতিতে চলে । বিশেষত যা এড়াতে চায় তা হ'ল একটি ifelse()বা একটি ব্যবহার করা if_else()। (সম্পূর্ণ 600 ট্রায়াল বিশ্লেষণটি এই পদ্ধতির অন্তর্ভুক্তের কারণে প্রায় 4.5 ঘন্টারও বেশি সময় ধরে চলেছিল)) সম্পূর্ণ ফলাফলের জন্য নীচে বেঞ্চমার্ক বিশ্লেষণ দেখুন।
আপনি যদি বিশাল ডেটাফ্রেমগুলির সাথে লড়াই করে যাচ্ছেন data.tableতবে সবার দ্রুত বিকল্পটি হ'ল স্ট্যান্ডার্ড বেস আর পদ্ধতির চেয়ে 40% দ্রুত । এটি স্থানে থাকা ডেটা পরিবর্তন করে, কার্যকরভাবে আপনাকে একবারে প্রায় দ্বিগুণ ডেটা দিয়ে কাজ করার সুযোগ দেয়।
অন্যান্য সহায়ক পরিশ্রমী প্রতিস্থাপন পদ্ধতির একটি ক্লাস্টারিং
Locationally:
- সূচক
mutate_at(c(5:10), ~replace(., is.na(.), 0))
- সরাসরি রেফারেন্স
mutate_at(vars(var5:var10), ~replace(., is.na(.), 0))
- স্থির ম্যাচ
mutate_at(vars(contains("1")), ~replace(., is.na(.), 0))
- বা এর জায়গায়
contains(), চেষ্টা করুন ends_with(),starts_with()
- প্যাটার্ন ম্যাচ
mutate_at(vars(matches("\\d{2}")), ~replace(., is.na(.), 0))
শর্তসাপেক্ষে:
(কেবলমাত্র একক প্রকার পরিবর্তন করুন এবং অন্যান্য প্রকারকে একা ছেড়ে যান))
- পূর্ণসংখ্যার
mutate_if(is.integer, ~replace(., is.na(.), 0))
- সংখ্যার
mutate_if(is.numeric, ~replace(., is.na(.), 0))
- স্ট্রিং
mutate_if(is.character, ~replace(., is.na(.), 0))
সম্পূর্ণ বিশ্লেষণ -
Dplyr 0.8.0 এর জন্য আপডেট হয়েছে: ফাংশনগুলি purrr ফর্ম্যাট ~প্রতীক ব্যবহার করে : অবচিত funs()আর্গুমেন্টগুলি প্রতিস্থাপন করে।
পদ্ধতির পরীক্ষিত:
# Base R:
baseR.sbst.rssgn <- function(x) { x[is.na(x)] <- 0; x }
baseR.replace <- function(x) { replace(x, is.na(x), 0) }
baseR.for <- function(x) { for(j in 1:ncol(x))
x[[j]][is.na(x[[j]])] = 0 }
# tidyverse
## dplyr
dplyr_if_else <- function(x) { mutate_all(x, ~if_else(is.na(.), 0, .)) }
dplyr_coalesce <- function(x) { mutate_all(x, ~coalesce(., 0)) }
## tidyr
tidyr_replace_na <- function(x) { replace_na(x, as.list(setNames(rep(0, 10), as.list(c(paste0("var", 1:10)))))) }
## hybrid
hybrd.ifelse <- function(x) { mutate_all(x, ~ifelse(is.na(.), 0, .)) }
hybrd.replace_na <- function(x) { mutate_all(x, ~replace_na(., 0)) }
hybrd.replace <- function(x) { mutate_all(x, ~replace(., is.na(.), 0)) }
hybrd.rplc_at.idx<- function(x) { mutate_at(x, c(1:10), ~replace(., is.na(.), 0)) }
hybrd.rplc_at.nse<- function(x) { mutate_at(x, vars(var1:var10), ~replace(., is.na(.), 0)) }
hybrd.rplc_at.stw<- function(x) { mutate_at(x, vars(starts_with("var")), ~replace(., is.na(.), 0)) }
hybrd.rplc_at.ctn<- function(x) { mutate_at(x, vars(contains("var")), ~replace(., is.na(.), 0)) }
hybrd.rplc_at.mtc<- function(x) { mutate_at(x, vars(matches("\\d+")), ~replace(., is.na(.), 0)) }
hybrd.rplc_if <- function(x) { mutate_if(x, is.numeric, ~replace(., is.na(.), 0)) }
# data.table
library(data.table)
DT.for.set.nms <- function(x) { for (j in names(x))
set(x,which(is.na(x[[j]])),j,0) }
DT.for.set.sqln <- function(x) { for (j in seq_len(ncol(x)))
set(x,which(is.na(x[[j]])),j,0) }
DT.nafill <- function(x) { nafill(df, fill=0)}
DT.setnafill <- function(x) { setnafill(df, fill=0)}
এই বিশ্লেষণের জন্য কোড:
library(microbenchmark)
# 20% NA filled dataframe of 10 Million rows and 10 columns
set.seed(42) # to recreate the exact dataframe
dfN <- as.data.frame(matrix(sample(c(NA, as.numeric(1:4)), 1e7*10, replace = TRUE),
dimnames = list(NULL, paste0("var", 1:10)),
ncol = 10))
# Running 600 trials with each replacement method
# (the functions are excecuted locally - so that the original dataframe remains unmodified in all cases)
perf_results <- microbenchmark(
hybrid.ifelse = hybrid.ifelse(copy(dfN)),
dplyr_if_else = dplyr_if_else(copy(dfN)),
hybrd.replace_na = hybrd.replace_na(copy(dfN)),
baseR.sbst.rssgn = baseR.sbst.rssgn(copy(dfN)),
baseR.replace = baseR.replace(copy(dfN)),
dplyr_coalesce = dplyr_coalesce(copy(dfN)),
tidyr_replace_na = tidyr_replace_na(copy(dfN)),
hybrd.replace = hybrd.replace(copy(dfN)),
hybrd.rplc_at.ctn= hybrd.rplc_at.ctn(copy(dfN)),
hybrd.rplc_at.nse= hybrd.rplc_at.nse(copy(dfN)),
baseR.for = baseR.for(copy(dfN)),
hybrd.rplc_at.idx= hybrd.rplc_at.idx(copy(dfN)),
DT.for.set.nms = DT.for.set.nms(copy(dfN)),
DT.for.set.sqln = DT.for.set.sqln(copy(dfN)),
times = 600L
)
ফলাফল সংক্ষিপ্তসার
> print(perf_results)
Unit: milliseconds
expr min lq mean median uq max neval
hybrd.ifelse 6171.0439 6339.7046 6425.221 6407.397 6496.992 7052.851 600
dplyr_if_else 3737.4954 3877.0983 3953.857 3946.024 4023.301 4539.428 600
hybrd.replace_na 1497.8653 1706.1119 1748.464 1745.282 1789.804 2127.166 600
baseR.sbst.rssgn 1480.5098 1686.1581 1730.006 1728.477 1772.951 2010.215 600
baseR.replace 1457.4016 1681.5583 1725.481 1722.069 1766.916 2089.627 600
dplyr_coalesce 1227.6150 1483.3520 1524.245 1519.454 1561.488 1996.859 600
tidyr_replace_na 1248.3292 1473.1707 1521.889 1520.108 1570.382 1995.768 600
hybrd.replace 913.1865 1197.3133 1233.336 1238.747 1276.141 1438.646 600
hybrd.rplc_at.ctn 916.9339 1192.9885 1224.733 1227.628 1268.644 1466.085 600
hybrd.rplc_at.nse 919.0270 1191.0541 1228.749 1228.635 1275.103 2882.040 600
baseR.for 869.3169 1180.8311 1216.958 1224.407 1264.737 1459.726 600
hybrd.rplc_at.idx 839.8915 1189.7465 1223.326 1228.329 1266.375 1565.794 600
DT.for.set.nms 761.6086 915.8166 1015.457 1001.772 1106.315 1363.044 600
DT.for.set.sqln 787.3535 918.8733 1017.812 1002.042 1122.474 1321.860 600
ফলাফলের বক্সপ্লট lot
ggplot(perf_results, aes(x=expr, y=time/10^9)) +
geom_boxplot() +
xlab('Expression') +
ylab('Elapsed Time (Seconds)') +
scale_y_continuous(breaks = seq(0,7,1)) +
coord_flip()
ট্রায়ালের রঙ-কোডিং স্কেটারপ্ল্লট (লগ স্কেলে y- অক্ষ সহ)
qplot(y=time/10^9, data=perf_results, colour=expr) +
labs(y = "log10 Scaled Elapsed Time per Trial (secs)", x = "Trial Number") +
coord_cartesian(ylim = c(0.75, 7.5)) +
scale_y_log10(breaks=c(0.75, 0.875, 1, 1.25, 1.5, 1.75, seq(2, 7.5)))
অন্যান্য উচ্চ অভিনেতা সম্পর্কে একটি নোট
যখন ডেটাসেটগুলি বড় হয়, টিডির s তিহাসিকভাবেreplace_na সামনে টেনে নিয়ে যায়। চলার জন্য 100M ডেটা পয়েন্টের বর্তমান সংগ্রহের সাথে, এটি লুপের জন্য প্রায় বেইস আর পাশাপাশি কার্য সম্পাদন করে । বিভিন্ন আকারের ডেটাফ্রেমগুলির জন্য কী ঘটে তা আমি জানতে আগ্রহী।
mutateএবং summarize _atএবং _allফাংশন বৈকল্পিকগুলির জন্য অতিরিক্ত উদাহরণগুলি এখানে পাওয়া যাবে: https://rdrr.io/cran/dplyr/man/summarise_all.html
অতিরিক্তভাবে, আমি এখানে সহায়ক বিক্ষোভ এবং উদাহরণগুলির সংগ্রহগুলি এখানে পেয়েছি : https: //blog.explotory। IO / dplyr-0-5-is-সন্ত্রস্ত-হেরস নামে-কেন-be095fd4eb8a
গুণাবলী এবং প্রশংসা
বিশেষ ধন্যবাদ সাথে:
- মাইক্রোব্যাঙ্কমার্ক প্রদর্শনের জন্য টাইলার রিঙ্কার এবং আকরুন।
- এ্যালেক্সিস_লাজ আমাকে ব্যবহার সম্পর্কে বুঝতে সাহায্য করার জন্য কাজ করার জন্য
local(), এবং (ফ্র্যাঙ্কের রোগীর সাহায্যেও) এই ধরণের অনেক পদ্ধতির গতি বাড়ানোর ক্ষেত্রে নীরব জবরদস্তির ভূমিকা পালন করে।
- আর্থারওয়াইপ পোকার জন্য নতুন
coalesce()ফাংশন যুক্ত করতে এবং বিশ্লেষণ আপডেট করতে।
data.tableশেষ পর্যন্ত লাইনআপে তাদের অন্তর্ভুক্ত করার জন্য ফাংশনগুলি ভালভাবে খুঁজে বের করার জন্য গ্রেগর ।- লুপের জন্য বেস আর : অ্যালেক্সিস_লাজ
- লুপগুলির জন্য ডেটা.ট্যাবল : ম্যাট_ডভল
is.numeric()আসলে পরীক্ষা করে বোঝানোর জন্য রোমান ।
(অবশ্যই, আপনি যদি এই পদ্ধতিগুলিকে দরকারী মনে করেন তবে দয়া করে পৌঁছে যান এবং সেগুলি উপস্থাপন করুন))
আমার সংখ্যাগুলির ব্যবহার সম্পর্কে দ্রষ্টব্য: আপনার যদি খাঁটি পূর্ণসংখ্যার ডেটাসেট থাকে তবে আপনার সমস্ত ফাংশন দ্রুত চলে। আরও তথ্যের জন্যদয়া করে অলেক্সিজ_লাজের কাজ দেখুন। আইআরএল, আমি 10-15% এর বেশি পূর্ণসংখ্যার সমন্বিত কোনও ডেটা সেটটির মুখোমুখি হতে পারি না, তাই আমি এই পরীক্ষাগুলি সম্পূর্ণরূপে সংখ্যাসূচক ডেটাফ্রেমে চালাচ্ছি।
24 জিবি র্যাম সহ হার্ডওয়্যার ব্যবহৃত 3.9 গিগাহার্টজ সিপিইউ