আমি আজ লক্ষ লক্ষ পর্যবেক্ষণ এবং 35 টি কলাম সহ একটি ডেটা.ফ্রেমের (সত্যই একটি ডেটা টেবিল) জন্য কাজ করছি। আমার লক্ষ্যটি ছিল প্রতিটি একক সারিতে ডেটা.ফ্রেমস (ডেটা টেবিল) এর তালিকা ফিরিয়ে দেওয়া। এটি হ'ল, আমি প্রতিটি সারি পৃথক ডেটা.ফ্রেমে বিভক্ত করতে চেয়েছিলাম এবং এগুলিকে একটি তালিকাতে সঞ্চয় করতে চাই।
আমি এখানে দুটি পদ্ধতি নিয়ে এসেছি split(dat, seq_len(nrow(dat)))
যেগুলি ডেটা সেটের চেয়ে প্রায় 3 গুণ বেশি দ্রুত ছিল । নীচে, আমি 7500 সারি, পাঁচটি কলাম ডেটা সেট ( আইরিস 50 বার পুনরাবৃত্তি করা) এ তিনটি পদ্ধতি বেনমার্ক করি ।
library(data.table)
library(microbenchmark)
microbenchmark(
split={dat1 <- split(dat, seq_len(nrow(dat)))},
setDF={dat2 <- lapply(seq_len(nrow(dat)),
function(i) setDF(lapply(dat, "[", i)))},
attrDT={dat3 <- lapply(seq_len(nrow(dat)),
function(i) {
tmp <- lapply(dat, "[", i)
attr(tmp, "class") <- c("data.table", "data.frame")
setDF(tmp)
})},
datList = {datL <- lapply(seq_len(nrow(dat)),
function(i) lapply(dat, "[", i))},
times=20
)
এই ফিরে আসে
Unit: milliseconds
expr min lq mean median uq max neval
split 861.8126 889.1849 973.5294 943.2288 1041.7206 1250.6150 20
setDF 459.0577 466.3432 511.2656 482.1943 500.6958 750.6635 20
attrDT 399.1999 409.6316 461.6454 422.5436 490.5620 717.6355 20
datList 192.1175 201.9896 241.4726 208.4535 246.4299 411.2097 20
পার্থক্যগুলি আমার আগের পরীক্ষার মতো বৃহত্তর না হলেও, setDF
সর্বোচ্চ (সেটডিএফ) <মিনিট (বিভক্ত) দিয়ে রান বিতরণের সমস্ত স্তরে সরল পদ্ধতি উল্লেখযোগ্যভাবে দ্রুত এবং attr
পদ্ধতিটি সাধারণত দ্বিগুণের চেয়ে দ্রুততর হয়।
চতুর্থ পদ্ধতিটি চূড়ান্ত চ্যাম্পিয়ন, যা সাধারণ নেস্টেড lapply
, নেস্টেড তালিকা ফিরিয়ে দেয়। এই পদ্ধতিটি তালিকা থেকে ডেটা.ফ্রেম নির্মাণের ব্যয়ের উদাহরণ দেয়। তদুপরি, আমি data.frame
ফাংশনটি দিয়ে চেষ্টা করেছি সমস্ত পদ্ধতিগুলি data.table
কৌশলগুলির চেয়ে ধীরে ধীরে মাত্রার ক্রম ছিল ।
উপাত্ত
dat <- vector("list", 50)
for(i in 1:50) dat[[i]] <- iris
dat <- setDF(rbindlist(dat))
split
প্রতিটি উপাদান ব্যবহারেরdata.frame with 1 rows and N columns
পরিবর্তে টাইপ করুনlist of length N