কোনও 0..*:0..1কার্ডিনালিটির সাথে বাম জোড়ার ক্ষেত্রে বা কার্ডিনালিটির সাথে ডান 0..1:0..*সংযুক্তির ক্ষেত্রে জোড় ( 0..1টেবিল) থেকে সরাসরি জোয়েনির ( 0..*টেবিল) উপর একতরফা কলাম স্থাপন করা সম্ভব এবং এর ফলে এড়াতে এড়ানো সম্ভব possible সম্পূর্ণ ডেটা টেবিল। এটির জন্য জয়েন্ট থেকে মূল কলামগুলিকে জোড়ের সাথে মেলাতে এবং ইনডেক্সিং করা উচিত + নিয়োগের জন্য সংযোক্তার সারিগুলি সেই অনুযায়ী অর্ডার করা।
কীটি যদি একটি একক কলাম হয়, তবে আমরা মিলটি করতে একটি একক কল ব্যবহার match()করতে পারি। এই উত্তরটি আমি এই বিষয়টি কভার করব।
এখানে অপের উপর ভিত্তি করে একটি উদাহরণ দেওয়া আছে, আমি df2যুক্তকারীটির সাথে মিলে না যাওয়া কীটির ক্ষেত্রে পরীক্ষা করতে of এর আইডি দিয়ে অতিরিক্ত সারি যুক্ত করেছি except এটি কার্যকরভাবে df1যোগদান বাম df2:
df1 <- data.frame(CustomerId=1:6,Product=c(rep('Toaster',3L),rep('Radio',3L)));
df2 <- data.frame(CustomerId=c(2L,4L,6L,7L),State=c(rep('Alabama',2L),'Ohio','Texas'));
df1[names(df2)[-1L]] <- df2[match(df1[,1L],df2[,1L]),-1L];
df1;
## CustomerId Product State
## 1 1 Toaster <NA>
## 2 2 Toaster Alabama
## 3 3 Toaster <NA>
## 4 4 Radio Alabama
## 5 5 Radio <NA>
## 6 6 Radio Ohio
উপরের দিকে আমি কঠোর কোডে একটি অনুমান করেছি যে কী কলামটি উভয় ইনপুট টেবিলের প্রথম কলাম। আমি যুক্তি দিয়ে বলব যে, সাধারণভাবে, এটি একটি অযৌক্তিক ধারণা নয়, যেহেতু, যদি আপনার কাছে একটি মূল কলামযুক্ত একটি ডেটা ফ্রেম থাকে, তবে এটি আশ্চর্যজনক হবে যদি এটি ডেটার প্রথম কলাম হিসাবে সেটআপ না করে থাকে from ফ্রেম থেকে সূচনা এবং আপনি এটির জন্য কলামগুলি সর্বদা পুনঃক্রম করতে পারেন। এই অনুমানের একটি সুবিধাজনক পরিণতি হ'ল মূল কলামটির নামটি কঠোর কোড করা উচিত নয়, যদিও আমি মনে করি এটি কেবল একটি অনুমিতিকে অন্যটির সাথে প্রতিস্থাপন করছে। সংক্ষিপ্তকরণ গতি পাশাপাশি পূর্ণসংখ্যার সূচকগুলির আরও একটি সুবিধা। নীচের মানদণ্ডগুলিতে আমি প্রতিযোগিতামূলক বাস্তবায়নের সাথে মেলে স্ট্রিং নেম ইন্ডেক্সিং ব্যবহার করতে প্রয়োগটি পরিবর্তন করব।
আমি মনে করি এটি একটি বিশেষভাবে উপযুক্ত সমাধান যদি আপনার একাধিক টেবিল থাকে যা আপনি কোনও একক বৃহত টেবিলের বিপরীতে যোগ দিতে চান। প্রতিটি সংযুক্তির জন্য বার বার পুরো টেবিলটি পুনর্নির্মাণ করা অপ্রয়োজনীয় এবং অকার্যকর হবে।
অন্যদিকে, যদি যাই হোক না কেন আপনার প্রয়োজনে এই অপারেশনটির মাধ্যমে অবিচ্ছিন্ন থাকার জন্য যদি জাইনির প্রয়োজন হয়, তবে এই সমাধানটি ব্যবহার করা যাবে না, যেহেতু এটি সরাসরি যোগাইনকে সংশোধন করে। যদিও সেক্ষেত্রে আপনি কেবল অনুলিপি তৈরি করতে এবং অনুলিপিতে স্থান-নির্ধারিত কার্য (গুলি) সম্পাদন করতে পারেন।
পার্শ্ব নোট হিসাবে, আমি সংক্ষিপ্তভাবে মাল্টিকোলোম কীগুলির জন্য সম্ভাব্য মিলে যাওয়া সমাধানগুলি সন্ধান করেছি। দুর্ভাগ্যক্রমে, আমি খুঁজে পাওয়া একমাত্র সমাধান মিলেছিল:
- অকার্যকর বক্তব্য। যেমন
match(interaction(df1$a,df1$b),interaction(df2$a,df2$b)), বা একই ধারণা paste()।
- অদক্ষ কার্টিজিয়ান conjunctions, যেমন
outer(df1$a,df2$a,`==`) & outer(df1$b,df2$b,`==`)।
- বেস আর
merge()এবং সমতুল্য প্যাকেজ-ভিত্তিক একত্রীকরণ ফাংশন, যা মার্জ হওয়া ফলাফলটি ফেরত দিতে সর্বদা একটি নতুন টেবিল বরাদ্দ করে এবং এইভাবে ইনস-প্লেস অ্যাসাইনমেন্ট-ভিত্তিক সমাধানের জন্য উপযুক্ত নয়।
উদাহরণস্বরূপ, দেখুন বিভিন্ন তথ্য ফ্রেম উপর একাধিক কলাম সমন্বয় এবং ফলাফল হিসাবে অন্যান্য কলাম পেয়ে , অপর দুই কলাম সহ দুই কলাম মেলে , একাধিক কলাম উপর মেলা , এবং এই প্রশ্ন আমি কোথায় মূলত ইন-জায়গা সমাধান সঙ্গে এসেছিলেন আপ এর প্রতারিত, একত্রিত করুন আরে বিভিন্ন সংখ্যক সারি সহ দুটি ডাটা ফ্রেম ।
স্থির করা মাপকাঠি
এই প্রশ্নে প্রস্তাবিত অন্যান্য সমাধানগুলির সাথে কীভাবে স্থান স্থান নির্ধারণের পদ্ধতির তুলনা করা যায় তা দেখার জন্য আমি আমার নিজস্ব বেঞ্চমার্কিং করার সিদ্ধান্ত নিয়েছি।
পরীক্ষার কোড:
library(microbenchmark);
library(data.table);
library(sqldf);
library(plyr);
library(dplyr);
solSpecs <- list(
merge=list(testFuncs=list(
inner=function(df1,df2,key) merge(df1,df2,key),
left =function(df1,df2,key) merge(df1,df2,key,all.x=T),
right=function(df1,df2,key) merge(df1,df2,key,all.y=T),
full =function(df1,df2,key) merge(df1,df2,key,all=T)
)),
data.table.unkeyed=list(argSpec='data.table.unkeyed',testFuncs=list(
inner=function(dt1,dt2,key) dt1[dt2,on=key,nomatch=0L,allow.cartesian=T],
left =function(dt1,dt2,key) dt2[dt1,on=key,allow.cartesian=T],
right=function(dt1,dt2,key) dt1[dt2,on=key,allow.cartesian=T],
full =function(dt1,dt2,key) merge(dt1,dt2,key,all=T,allow.cartesian=T) ## calls merge.data.table()
)),
data.table.keyed=list(argSpec='data.table.keyed',testFuncs=list(
inner=function(dt1,dt2) dt1[dt2,nomatch=0L,allow.cartesian=T],
left =function(dt1,dt2) dt2[dt1,allow.cartesian=T],
right=function(dt1,dt2) dt1[dt2,allow.cartesian=T],
full =function(dt1,dt2) merge(dt1,dt2,all=T,allow.cartesian=T) ## calls merge.data.table()
)),
sqldf.unindexed=list(testFuncs=list( ## note: must pass connection=NULL to avoid running against the live DB connection, which would result in collisions with the residual tables from the last query upload
inner=function(df1,df2,key) sqldf(paste0('select * from df1 inner join df2 using(',paste(collapse=',',key),')'),connection=NULL),
left =function(df1,df2,key) sqldf(paste0('select * from df1 left join df2 using(',paste(collapse=',',key),')'),connection=NULL),
right=function(df1,df2,key) sqldf(paste0('select * from df2 left join df1 using(',paste(collapse=',',key),')'),connection=NULL) ## can't do right join proper, not yet supported; inverted left join is equivalent
##full =function(df1,df2,key) sqldf(paste0('select * from df1 full join df2 using(',paste(collapse=',',key),')'),connection=NULL) ## can't do full join proper, not yet supported; possible to hack it with a union of left joins, but too unreasonable to include in testing
)),
sqldf.indexed=list(testFuncs=list( ## important: requires an active DB connection with preindexed main.df1 and main.df2 ready to go; arguments are actually ignored
inner=function(df1,df2,key) sqldf(paste0('select * from main.df1 inner join main.df2 using(',paste(collapse=',',key),')')),
left =function(df1,df2,key) sqldf(paste0('select * from main.df1 left join main.df2 using(',paste(collapse=',',key),')')),
right=function(df1,df2,key) sqldf(paste0('select * from main.df2 left join main.df1 using(',paste(collapse=',',key),')')) ## can't do right join proper, not yet supported; inverted left join is equivalent
##full =function(df1,df2,key) sqldf(paste0('select * from main.df1 full join main.df2 using(',paste(collapse=',',key),')')) ## can't do full join proper, not yet supported; possible to hack it with a union of left joins, but too unreasonable to include in testing
)),
plyr=list(testFuncs=list(
inner=function(df1,df2,key) join(df1,df2,key,'inner'),
left =function(df1,df2,key) join(df1,df2,key,'left'),
right=function(df1,df2,key) join(df1,df2,key,'right'),
full =function(df1,df2,key) join(df1,df2,key,'full')
)),
dplyr=list(testFuncs=list(
inner=function(df1,df2,key) inner_join(df1,df2,key),
left =function(df1,df2,key) left_join(df1,df2,key),
right=function(df1,df2,key) right_join(df1,df2,key),
full =function(df1,df2,key) full_join(df1,df2,key)
)),
in.place=list(testFuncs=list(
left =function(df1,df2,key) { cns <- setdiff(names(df2),key); df1[cns] <- df2[match(df1[,key],df2[,key]),cns]; df1; },
right=function(df1,df2,key) { cns <- setdiff(names(df1),key); df2[cns] <- df1[match(df2[,key],df1[,key]),cns]; df2; }
))
);
getSolTypes <- function() names(solSpecs);
getJoinTypes <- function() unique(unlist(lapply(solSpecs,function(x) names(x$testFuncs))));
getArgSpec <- function(argSpecs,key=NULL) if (is.null(key)) argSpecs$default else argSpecs[[key]];
initSqldf <- function() {
sqldf(); ## creates sqlite connection on first run, cleans up and closes existing connection otherwise
if (exists('sqldfInitFlag',envir=globalenv(),inherits=F) && sqldfInitFlag) { ## false only on first run
sqldf(); ## creates a new connection
} else {
assign('sqldfInitFlag',T,envir=globalenv()); ## set to true for the one and only time
}; ## end if
invisible();
}; ## end initSqldf()
setUpBenchmarkCall <- function(argSpecs,joinType,solTypes=getSolTypes(),env=parent.frame()) {
## builds and returns a list of expressions suitable for passing to the list argument of microbenchmark(), and assigns variables to resolve symbol references in those expressions
callExpressions <- list();
nms <- character();
for (solType in solTypes) {
testFunc <- solSpecs[[solType]]$testFuncs[[joinType]];
if (is.null(testFunc)) next; ## this join type is not defined for this solution type
testFuncName <- paste0('tf.',solType);
assign(testFuncName,testFunc,envir=env);
argSpecKey <- solSpecs[[solType]]$argSpec;
argSpec <- getArgSpec(argSpecs,argSpecKey);
argList <- setNames(nm=names(argSpec$args),vector('list',length(argSpec$args)));
for (i in seq_along(argSpec$args)) {
argName <- paste0('tfa.',argSpecKey,i);
assign(argName,argSpec$args[[i]],envir=env);
argList[[i]] <- if (i%in%argSpec$copySpec) call('copy',as.symbol(argName)) else as.symbol(argName);
}; ## end for
callExpressions[[length(callExpressions)+1L]] <- do.call(call,c(list(testFuncName),argList),quote=T);
nms[length(nms)+1L] <- solType;
}; ## end for
names(callExpressions) <- nms;
callExpressions;
}; ## end setUpBenchmarkCall()
harmonize <- function(res) {
res <- as.data.frame(res); ## coerce to data.frame
for (ci in which(sapply(res,is.factor))) res[[ci]] <- as.character(res[[ci]]); ## coerce factor columns to character
for (ci in which(sapply(res,is.logical))) res[[ci]] <- as.integer(res[[ci]]); ## coerce logical columns to integer (works around sqldf quirk of munging logicals to integers)
##for (ci in which(sapply(res,inherits,'POSIXct'))) res[[ci]] <- as.double(res[[ci]]); ## coerce POSIXct columns to double (works around sqldf quirk of losing POSIXct class) ----- POSIXct doesn't work at all in sqldf.indexed
res <- res[order(names(res))]; ## order columns
res <- res[do.call(order,res),]; ## order rows
res;
}; ## end harmonize()
checkIdentical <- function(argSpecs,solTypes=getSolTypes()) {
for (joinType in getJoinTypes()) {
callExpressions <- setUpBenchmarkCall(argSpecs,joinType,solTypes);
if (length(callExpressions)<2L) next;
ex <- harmonize(eval(callExpressions[[1L]]));
for (i in seq(2L,len=length(callExpressions)-1L)) {
y <- harmonize(eval(callExpressions[[i]]));
if (!isTRUE(all.equal(ex,y,check.attributes=F))) {
ex <<- ex;
y <<- y;
solType <- names(callExpressions)[i];
stop(paste0('non-identical: ',solType,' ',joinType,'.'));
}; ## end if
}; ## end for
}; ## end for
invisible();
}; ## end checkIdentical()
testJoinType <- function(argSpecs,joinType,solTypes=getSolTypes(),metric=NULL,times=100L) {
callExpressions <- setUpBenchmarkCall(argSpecs,joinType,solTypes);
bm <- microbenchmark(list=callExpressions,times=times);
if (is.null(metric)) return(bm);
bm <- summary(bm);
res <- setNames(nm=names(callExpressions),bm[[metric]]);
attr(res,'unit') <- attr(bm,'unit');
res;
}; ## end testJoinType()
testAllJoinTypes <- function(argSpecs,solTypes=getSolTypes(),metric=NULL,times=100L) {
joinTypes <- getJoinTypes();
resList <- setNames(nm=joinTypes,lapply(joinTypes,function(joinType) testJoinType(argSpecs,joinType,solTypes,metric,times)));
if (is.null(metric)) return(resList);
units <- unname(unlist(lapply(resList,attr,'unit')));
res <- do.call(data.frame,c(list(join=joinTypes),setNames(nm=solTypes,rep(list(rep(NA_real_,length(joinTypes))),length(solTypes))),list(unit=units,stringsAsFactors=F)));
for (i in seq_along(resList)) res[i,match(names(resList[[i]]),names(res))] <- resList[[i]];
res;
}; ## end testAllJoinTypes()
testGrid <- function(makeArgSpecsFunc,sizes,overlaps,solTypes=getSolTypes(),joinTypes=getJoinTypes(),metric='median',times=100L) {
res <- expand.grid(size=sizes,overlap=overlaps,joinType=joinTypes,stringsAsFactors=F);
res[solTypes] <- NA_real_;
res$unit <- NA_character_;
for (ri in seq_len(nrow(res))) {
size <- res$size[ri];
overlap <- res$overlap[ri];
joinType <- res$joinType[ri];
argSpecs <- makeArgSpecsFunc(size,overlap);
checkIdentical(argSpecs,solTypes);
cur <- testJoinType(argSpecs,joinType,solTypes,metric,times);
res[ri,match(names(cur),names(res))] <- cur;
res$unit[ri] <- attr(cur,'unit');
}; ## end for
res;
}; ## end testGrid()
এখানে আমি আগে যে ওপি প্রদর্শিত হয়েছিল তার উপর ভিত্তি করে উদাহরণের একটি মানদণ্ড এখানে রেখেছি:
## OP's example, supplemented with a non-matching row in df2
argSpecs <- list(
default=list(copySpec=1:2,args=list(
df1 <- data.frame(CustomerId=1:6,Product=c(rep('Toaster',3L),rep('Radio',3L))),
df2 <- data.frame(CustomerId=c(2L,4L,6L,7L),State=c(rep('Alabama',2L),'Ohio','Texas')),
'CustomerId'
)),
data.table.unkeyed=list(copySpec=1:2,args=list(
as.data.table(df1),
as.data.table(df2),
'CustomerId'
)),
data.table.keyed=list(copySpec=1:2,args=list(
setkey(as.data.table(df1),CustomerId),
setkey(as.data.table(df2),CustomerId)
))
);
## prepare sqldf
initSqldf();
sqldf('create index df1_key on df1(CustomerId);'); ## upload and create an sqlite index on df1
sqldf('create index df2_key on df2(CustomerId);'); ## upload and create an sqlite index on df2
checkIdentical(argSpecs);
testAllJoinTypes(argSpecs,metric='median');
## join merge data.table.unkeyed data.table.keyed sqldf.unindexed sqldf.indexed plyr dplyr in.place unit
## 1 inner 644.259 861.9345 923.516 9157.752 1580.390 959.2250 270.9190 NA microseconds
## 2 left 713.539 888.0205 910.045 8820.334 1529.714 968.4195 270.9185 224.3045 microseconds
## 3 right 1221.804 909.1900 923.944 8930.668 1533.135 1063.7860 269.8495 218.1035 microseconds
## 4 full 1302.203 3107.5380 3184.729 NA NA 1593.6475 270.7055 NA microseconds
এখানে আমি দুটি ইনপুট টেবিলের মধ্যে বিভিন্ন স্কেল এবং কী ওভারল্যাপের বিভিন্ন নিদর্শনগুলি চেষ্টা করে র্যান্ডম ইনপুট ডেটাতে বেঞ্চমার্ক করছি। এই বেঞ্চমার্কটি এখনও একটি একক-কলাম পূর্ণসংখ্য কী এর ক্ষেত্রে সীমাবদ্ধ। পাশাপাশি, স্থির সমাধানটি একই টেবিলের বাম এবং ডান উভয় অংশের জন্য কাজ করবে তা নিশ্চিত করার জন্য, সমস্ত এলোমেলো পরীক্ষার ডেটা 0..1:0..1কার্ডিনালিটি ব্যবহার করে । এটি দ্বিতীয় ডেটা.ফ্রেমের কী কলামটি তৈরি করার সময় প্রথম ডেটাফ্রেমের কী কলামটি প্রতিস্থাপন ছাড়াই নমুনা প্রয়োগ করে প্রয়োগ করা হয়।
makeArgSpecs.singleIntegerKey.optionalOneToOne <- function(size,overlap) {
com <- as.integer(size*overlap);
argSpecs <- list(
default=list(copySpec=1:2,args=list(
df1 <- data.frame(id=sample(size),y1=rnorm(size),y2=rnorm(size)),
df2 <- data.frame(id=sample(c(if (com>0L) sample(df1$id,com) else integer(),seq(size+1L,len=size-com))),y3=rnorm(size),y4=rnorm(size)),
'id'
)),
data.table.unkeyed=list(copySpec=1:2,args=list(
as.data.table(df1),
as.data.table(df2),
'id'
)),
data.table.keyed=list(copySpec=1:2,args=list(
setkey(as.data.table(df1),id),
setkey(as.data.table(df2),id)
))
);
## prepare sqldf
initSqldf();
sqldf('create index df1_key on df1(id);'); ## upload and create an sqlite index on df1
sqldf('create index df2_key on df2(id);'); ## upload and create an sqlite index on df2
argSpecs;
}; ## end makeArgSpecs.singleIntegerKey.optionalOneToOne()
## cross of various input sizes and key overlaps
sizes <- c(1e1L,1e3L,1e6L);
overlaps <- c(0.99,0.5,0.01);
system.time({ res <- testGrid(makeArgSpecs.singleIntegerKey.optionalOneToOne,sizes,overlaps); });
## user system elapsed
## 22024.65 12308.63 34493.19
আমি উপরের ফলাফলগুলির লগ-লগ প্লট তৈরি করতে কিছু কোড লিখেছি। আমি প্রতিটি ওভারল্যাপ শতাংশের জন্য পৃথক প্লট তৈরি করেছি। এটি কিছুটা বিশৃঙ্খলাযুক্ত, তবে আমি সমাধানের সমস্ত ধরণের এবং একই প্লটে প্রতিনিধিত্বকারী প্রকারগুলিতে যোগদান করতে পছন্দ করি।
আমি পৃথক pch চিহ্নের সাথে আঁকা প্রতিটি সমাধানের / যোগ করার ধরণের সংমিশ্রণের জন্য একটি মসৃণ বক্রতা দেখানোর জন্য স্প্লাইন ইন্টারপোলেশন ব্যবহার করি। জোয়ার প্রকারটি pch প্রতীক দ্বারা ক্যাপচার করা হয়েছে, বাম এবং ডানদিকে অভ্যন্তরীণ, বাম এবং ডান কোণ কোণ বন্ধনী এবং সম্পূর্ণর জন্য একটি হীরা ব্যবহার করে captured দ্রাঘিমাংশের ধরণটি কিংবদন্তিটিতে বর্ণিত হিসাবে রঙের দ্বারা ক্যাপচার করা হয়।
plotRes <- function(res,titleFunc,useFloor=F) {
solTypes <- setdiff(names(res),c('size','overlap','joinType','unit')); ## derive from res
normMult <- c(microseconds=1e-3,milliseconds=1); ## normalize to milliseconds
joinTypes <- getJoinTypes();
cols <- c(merge='purple',data.table.unkeyed='blue',data.table.keyed='#00DDDD',sqldf.unindexed='brown',sqldf.indexed='orange',plyr='red',dplyr='#00BB00',in.place='magenta');
pchs <- list(inner=20L,left='<',right='>',full=23L);
cexs <- c(inner=0.7,left=1,right=1,full=0.7);
NP <- 60L;
ord <- order(decreasing=T,colMeans(res[res$size==max(res$size),solTypes],na.rm=T));
ymajors <- data.frame(y=c(1,1e3),label=c('1ms','1s'),stringsAsFactors=F);
for (overlap in unique(res$overlap)) {
x1 <- res[res$overlap==overlap,];
x1[solTypes] <- x1[solTypes]*normMult[x1$unit]; x1$unit <- NULL;
xlim <- c(1e1,max(x1$size));
xticks <- 10^seq(log10(xlim[1L]),log10(xlim[2L]));
ylim <- c(1e-1,10^((if (useFloor) floor else ceiling)(log10(max(x1[solTypes],na.rm=T))))); ## use floor() to zoom in a little more, only sqldf.unindexed will break above, but xpd=NA will keep it visible
yticks <- 10^seq(log10(ylim[1L]),log10(ylim[2L]));
yticks.minor <- rep(yticks[-length(yticks)],each=9L)*1:9;
plot(NA,xlim=xlim,ylim=ylim,xaxs='i',yaxs='i',axes=F,xlab='size (rows)',ylab='time (ms)',log='xy');
abline(v=xticks,col='lightgrey');
abline(h=yticks.minor,col='lightgrey',lty=3L);
abline(h=yticks,col='lightgrey');
axis(1L,xticks,parse(text=sprintf('10^%d',as.integer(log10(xticks)))));
axis(2L,yticks,parse(text=sprintf('10^%d',as.integer(log10(yticks)))),las=1L);
axis(4L,ymajors$y,ymajors$label,las=1L,tick=F,cex.axis=0.7,hadj=0.5);
for (joinType in rev(joinTypes)) { ## reverse to draw full first, since it's larger and would be more obtrusive if drawn last
x2 <- x1[x1$joinType==joinType,];
for (solType in solTypes) {
if (any(!is.na(x2[[solType]]))) {
xy <- spline(x2$size,x2[[solType]],xout=10^(seq(log10(x2$size[1L]),log10(x2$size[nrow(x2)]),len=NP)));
points(xy$x,xy$y,pch=pchs[[joinType]],col=cols[solType],cex=cexs[joinType],xpd=NA);
}; ## end if
}; ## end for
}; ## end for
## custom legend
## due to logarithmic skew, must do all distance calcs in inches, and convert to user coords afterward
## the bottom-left corner of the legend will be defined in normalized figure coords, although we can convert to inches immediately
leg.cex <- 0.7;
leg.x.in <- grconvertX(0.275,'nfc','in');
leg.y.in <- grconvertY(0.6,'nfc','in');
leg.x.user <- grconvertX(leg.x.in,'in');
leg.y.user <- grconvertY(leg.y.in,'in');
leg.outpad.w.in <- 0.1;
leg.outpad.h.in <- 0.1;
leg.midpad.w.in <- 0.1;
leg.midpad.h.in <- 0.1;
leg.sol.w.in <- max(strwidth(solTypes,'in',leg.cex));
leg.sol.h.in <- max(strheight(solTypes,'in',leg.cex))*1.5; ## multiplication factor for greater line height
leg.join.w.in <- max(strheight(joinTypes,'in',leg.cex))*1.5; ## ditto
leg.join.h.in <- max(strwidth(joinTypes,'in',leg.cex));
leg.main.w.in <- leg.join.w.in*length(joinTypes);
leg.main.h.in <- leg.sol.h.in*length(solTypes);
leg.x2.user <- grconvertX(leg.x.in+leg.outpad.w.in*2+leg.main.w.in+leg.midpad.w.in+leg.sol.w.in,'in');
leg.y2.user <- grconvertY(leg.y.in+leg.outpad.h.in*2+leg.main.h.in+leg.midpad.h.in+leg.join.h.in,'in');
leg.cols.x.user <- grconvertX(leg.x.in+leg.outpad.w.in+leg.join.w.in*(0.5+seq(0L,length(joinTypes)-1L)),'in');
leg.lines.y.user <- grconvertY(leg.y.in+leg.outpad.h.in+leg.main.h.in-leg.sol.h.in*(0.5+seq(0L,length(solTypes)-1L)),'in');
leg.sol.x.user <- grconvertX(leg.x.in+leg.outpad.w.in+leg.main.w.in+leg.midpad.w.in,'in');
leg.join.y.user <- grconvertY(leg.y.in+leg.outpad.h.in+leg.main.h.in+leg.midpad.h.in,'in');
rect(leg.x.user,leg.y.user,leg.x2.user,leg.y2.user,col='white');
text(leg.sol.x.user,leg.lines.y.user,solTypes[ord],cex=leg.cex,pos=4L,offset=0);
text(leg.cols.x.user,leg.join.y.user,joinTypes,cex=leg.cex,pos=4L,offset=0,srt=90); ## srt rotation applies *after* pos/offset positioning
for (i in seq_along(joinTypes)) {
joinType <- joinTypes[i];
points(rep(leg.cols.x.user[i],length(solTypes)),ifelse(colSums(!is.na(x1[x1$joinType==joinType,solTypes[ord]]))==0L,NA,leg.lines.y.user),pch=pchs[[joinType]],col=cols[solTypes[ord]]);
}; ## end for
title(titleFunc(overlap));
readline(sprintf('overlap %.02f',overlap));
}; ## end for
}; ## end plotRes()
titleFunc <- function(overlap) sprintf('R merge solutions: single-column integer key, 0..1:0..1 cardinality, %d%% overlap',as.integer(overlap*100));
plotRes(res,titleFunc,T);
মূল স্তম্ভের সংখ্যা এবং প্রকারের পাশাপাশি কার্ডিনালিটির সাথে সম্মতিযুক্ত এখানে একটি বৃহত-স্কেল বেঞ্চমার্ক যা আরও বেশি ভারী দায়িত্ব। এই মানদণ্ডের জন্য আমি তিনটি মূল কলাম ব্যবহার করি: একটি চরিত্র, একটি পূর্ণসংখ্যা এবং একটি যৌক্তিক, যার মধ্যে কার্ডিনালিটির কোনও প্রতিবন্ধকতা নেই (তা হ'ল 0..*:0..*)। (সাধারণভাবে ফ্লোটিং-পয়েন্ট তুলনা জটিলতার কারণে ডাবল বা জটিল মানগুলির সাথে মূল কলামগুলি সংজ্ঞায়িত করার পরামর্শ দেওয়া হয় না এবং মূলত কেউ কখনও কাঁচা টাইপ ব্যবহার করে না, মূল কলামগুলির জন্য খুব কম ব্যবহার করে না তাই আমি এই ধরণের কীগুলিকে কীটিতে অন্তর্ভুক্ত করি নি কলামগুলিও তথ্যের জন্য, আমি প্রথমে একটি পসিক্সেক্ট কী কলামটি অন্তর্ভুক্ত করে চারটি মূল কলাম ব্যবহার করার চেষ্টা করেছি, তবে পসিক্স্যাক্ট টাইপ sqldf.indexedকোনও কারণে সমাধানের সাথে ভাল খেলেনি , সম্ভবত ভাসমান-পয়েন্ট তুলনা বিচ্ছিন্নতার কারণে, তাই আমি এটি সরানো।)
makeArgSpecs.assortedKey.optionalManyToMany <- function(size,overlap,uniquePct=75) {
## number of unique keys in df1
u1Size <- as.integer(size*uniquePct/100);
## (roughly) divide u1Size into bases, so we can use expand.grid() to produce the required number of unique key values with repetitions within individual key columns
## use ceiling() to ensure we cover u1Size; will truncate afterward
u1SizePerKeyColumn <- as.integer(ceiling(u1Size^(1/3)));
## generate the unique key values for df1
keys1 <- expand.grid(stringsAsFactors=F,
idCharacter=replicate(u1SizePerKeyColumn,paste(collapse='',sample(letters,sample(4:12,1L),T))),
idInteger=sample(u1SizePerKeyColumn),
idLogical=sample(c(F,T),u1SizePerKeyColumn,T)
##idPOSIXct=as.POSIXct('2016-01-01 00:00:00','UTC')+sample(u1SizePerKeyColumn)
)[seq_len(u1Size),];
## rbind some repetitions of the unique keys; this will prepare one side of the many-to-many relationship
## also scramble the order afterward
keys1 <- rbind(keys1,keys1[sample(nrow(keys1),size-u1Size,T),])[sample(size),];
## common and unilateral key counts
com <- as.integer(size*overlap);
uni <- size-com;
## generate some unilateral keys for df2 by synthesizing outside of the idInteger range of df1
keys2 <- data.frame(stringsAsFactors=F,
idCharacter=replicate(uni,paste(collapse='',sample(letters,sample(4:12,1L),T))),
idInteger=u1SizePerKeyColumn+sample(uni),
idLogical=sample(c(F,T),uni,T)
##idPOSIXct=as.POSIXct('2016-01-01 00:00:00','UTC')+u1SizePerKeyColumn+sample(uni)
);
## rbind random keys from df1; this will complete the many-to-many relationship
## also scramble the order afterward
keys2 <- rbind(keys2,keys1[sample(nrow(keys1),com,T),])[sample(size),];
##keyNames <- c('idCharacter','idInteger','idLogical','idPOSIXct');
keyNames <- c('idCharacter','idInteger','idLogical');
## note: was going to use raw and complex type for two of the non-key columns, but data.table doesn't seem to fully support them
argSpecs <- list(
default=list(copySpec=1:2,args=list(
df1 <- cbind(stringsAsFactors=F,keys1,y1=sample(c(F,T),size,T),y2=sample(size),y3=rnorm(size),y4=replicate(size,paste(collapse='',sample(letters,sample(4:12,1L),T)))),
df2 <- cbind(stringsAsFactors=F,keys2,y5=sample(c(F,T),size,T),y6=sample(size),y7=rnorm(size),y8=replicate(size,paste(collapse='',sample(letters,sample(4:12,1L),T)))),
keyNames
)),
data.table.unkeyed=list(copySpec=1:2,args=list(
as.data.table(df1),
as.data.table(df2),
keyNames
)),
data.table.keyed=list(copySpec=1:2,args=list(
setkeyv(as.data.table(df1),keyNames),
setkeyv(as.data.table(df2),keyNames)
))
);
## prepare sqldf
initSqldf();
sqldf(paste0('create index df1_key on df1(',paste(collapse=',',keyNames),');')); ## upload and create an sqlite index on df1
sqldf(paste0('create index df2_key on df2(',paste(collapse=',',keyNames),');')); ## upload and create an sqlite index on df2
argSpecs;
}; ## end makeArgSpecs.assortedKey.optionalManyToMany()
sizes <- c(1e1L,1e3L,1e5L); ## 1e5L instead of 1e6L to respect more heavy-duty inputs
overlaps <- c(0.99,0.5,0.01);
solTypes <- setdiff(getSolTypes(),'in.place');
system.time({ res <- testGrid(makeArgSpecs.assortedKey.optionalManyToMany,sizes,overlaps,solTypes); });
## user system elapsed
## 38895.50 784.19 39745.53
উপরে বর্ণিত একই প্লটিং কোড ব্যবহার করে ফলাফলের প্লটগুলি:
titleFunc <- function(overlap) sprintf('R merge solutions: character/integer/logical key, 0..*:0..* cardinality, %d%% overlap',as.integer(overlap*100));
plotRes(res,titleFunc,F);
