파일을 병렬로 읽고 읽는 중 R

Question

복잡한 작업을 적용 할 대용량 데이터 세트를 처리하기 위해 R에서 parallel 라이브러리를 사용하고 있습니다. 재현 가능한 코드를 제공을 위해서

, 당신은 간단한 예를 아래에서 찾을 수 있습니다

#data generation 
dir <- "C:/Users/things_to_process/" 

setwd(dir) 
for(i in 1:800) 
{ 
    my.matrix <- matrix(runif(100),ncol=10,nrow=10) 

    saveRDS(my.matrix,file=paste0(dir,"/matrix",i)) 
} 

#worker function 
worker.function <- function(files) 
{ 
    files.length <- length(files) 
    partial.results <- vector('list',files.length) 

    for(i in 1:files.length) 
    { 
     matrix <- readRDS(files[i]) 
     partial.results[[i]] <- sum(diag(matrix)) 
    } 

    Reduce('+',partial.results) 
} 


#master part 
cl <- makeCluster(detectCores(), type = "PSOCK") 

file_list <- list.files(path=dir,recursive=FALSE,full.names=TRUE) 

part <- clusterSplit(cl,seq_along(file_list)) 
files.partitioned <- lapply(part,function(p) file_list[p]) 

results <- clusterApply(cl,files.partitioned,worker.function) 

result <- Reduce('+',results) 

을 본질적으로, 대신 인터리브 방식으로 수행 될 병렬 파일을 읽으려고하면 궁금하고있다. 결과적으로 이러한 병목 현상으로 인해 병렬로 실행되는 작업의 예상 성능이 저하 될 수 있습니다.

목록에서 모든 행렬을 한 번에 읽은 다음이 목록의 청크를 처리하기 위해 각 코어에 보내면 더 좋을까요? 이 행렬이 훨씬 커지면 모든 목록을 한꺼번에로드 할 수 있습니까?

Answer 1

각각의 matrix을 별도의 RDS 파일에 저장하는 대신 N 개의 행렬을 각각의 파일에 저장하려고 시도 했습니까? N은 단일 작업자가 처리 할 번호입니까? 당신은 lapply와 for을 대체하여도 계산에 어쩌면 I/O에 시간을 절약해야하고

worker.function <- function(file) { 
    matrix_list <- readRDS(file) 
    partial_results <- lapply(matrix_list, function(mat) sum(diag(mat))) 
    Reduce('+',partial.results) 
} 

: 같은

그런 다음 worker.function 보인다.