목록에서 data.frames를보다 빠른 방법으로 처리하고 결합하는 방법

Question

마지막으로, 매우 느린 데이터 처리와 복수 행 data.frames을 추가하는 문제가 있습니다. 데이터 처리를 위해 lapply과 dplyr 조합을 사용합니다. OTH,이 프로세스는 각 데이터 프레임에 20000 개의 행과 100 개의 파일을 곱한만큼 매우 느려집니다.

현재 이것은 lapply 프로세스가 완료된 후에도 나를위한 거대한 병목입니다. bind_rows 프로세스에 충분한 메모리가 없습니다. 여기

는

먼저 I라는 오류를 얻고있다

library(tidyr) 
    library(dplyr) 

data<- lapply(files,function(x){ 
    tmp <- read.table(file=x, sep=',', header = T,fill=F,skip=0, stringsAsFactors = F,row.names=NULL)%>% 

     select(A,B, C)%>% 
     unite(BC,BC,sep='_')%>% 

     mutate(D=C*A)%>% 
     group_by(BC)%>% 
     mutate(KK=median(C,na.rm=TRUE))%>% 
     select(BC,KK,D) 
    }) 

data <- bind_rows(data) 

files <- list.files("file_directory",pattern = "w.*.csv",recursive=T,full.names = TRUE) 

다음 파일 목록을 처리 할 파일의 목록을 확인

내 데이터 처리 방법

“Error: cannot allocate vector of size ... Mb” ... depends on how much left in my ram. I have 8 Gb ram but seems still struggling;(

나는 또한 do.call을 시도했지만 아무 것도 바뀌지 않았습니다! 이 문제에 대한 내 친근한 기능이나 접근 방식은 누구입니까? R 버전 3.4.2와 dplyr 0.7.4를 사용합니다.

Answer 1

더 재현 데이터가 없기 때문에 나는이 대답을 테스트 할 수 없습니다하지만 난 data.table 사용하여, 그것은 다음과 같은 것을 할 수있을 것 같아요 다음 plyr 패키지에서 ldply를 사용

library(data.table) 

data <- setNames(lapply(files, function(x) { 
    fread(x, select = c("A", "B", "C")) 
}), basename(files)) 

data <- rbindlist(data, use.names = TRUE, fill = TRUE, id = "file_id") 
data[, BC := paste(B, C, sep = "_")] 
data[, D := C * A] 
data[, KK := median(C, na.rm = TRUE), by = .(BC, file_id)] 
data[, setdiff(names(data), c("BC", "KK", "D")) := NULL] 

Answer 2

은 할 필요가 없습니다 것입니다 data.frame을 출력 할 때 처리 후 목록을 바인딩하십시오.

library(tidyr) 
library(dplyr) 
library(plyr) 

files <- list.files("file_directory", pattern = "w.*.csv", recursive = TRUE, full.names = TRUE) 

data<- ldply(files, function(x){ 
    read.table(file=x, sep=',', header = TRUE, fill = FALSE, skip = 0, stringsAsFactors = FALSE, row.names = NULL) %>% 
    select(A, B, C) %>% 
    unite(BC, BC, sep='_') %>% 
    mutate(D = C * A) %>% 
    group_by(BC) %>% 
    mutate(KK = median(C, na.rm = TRUE)) %>% 
    select(BC, KK, D) 
})