3 차원 배열의 중첩 for-loop 병렬 처리 R

Question

Windows 컴퓨터에서 R을 사용하여 현재 d1과 d2를 순환하는 3D 배열 (720x360x1368)에서 중첩 루프를 실행하여 d3 이상의 함수를 적용하고 유사한 차원의 새로운 배열로 출력합니다.

다음 재현 가능한 예에서는 실행 속도를 높이기 위해 계수를 10으로 줄였습니다. SPI()는 길이 1368의 $fitted 새로운 배열 cunstruct 각 루프 증분에서 사용되는 특정한리스트의리스트의리스트를 복귀를 SpeI 패키지의 함수이다

library(SPEI) 

old.array = array(abs(rnorm(50)), dim=c(72,36,136)) 

new.array = array(dim=c(72,36,136)) 

for (i in 1:72) { 
    for (j in 1:36) { 
    new.listoflists <- spi(ts(old.array[i,j,], freq=12, start=c(1901,1)), 1, na.rm = T) 
    new.array[i,j,] = new.listoflists$fitted 
    } 
} 

.

이 루프는 완벽하게 작동하지만 계산하는 데 오랜 시간이 걸립니다. 나는 foreach을 사용하여 루프를 for으로 병렬 처리 할 수 ​​있음을 읽었다.

그러나 이전 배열과 새로운 배열의 희미한 이름이 일관되도록 새 배열의 중첩 및 조합을 어떻게 구현할 수 있는지 이해할 수 없습니다.

는 (결국, 나는 as.data.frame.table()를 사용하여 "플랫"긴 패널 데이터 프레임에 이전 및 새 배열을 모두 변환과 세 가지 차원에서 병합하는 것입니다 수있을 무엇을 할 수 있습니다.)

병렬 컴퓨팅을 사용하여 원하는 출력을 얻을 수있는 방법에 대한 도움을 주시면 매우 감사하겠습니다.

건배
CubicTom

Answer 1

여기에 내가 가지고 올 것입니다 재현 예를 더 잘했을 것이다 :

먼저 그럼 당신은 만들

cl <- makeCluster(6, type = "SOCK") 
registerDoSNOW(cl) 

를 사용하도록 클러스터를 생성 루프를 닫고 클러스터를 닫습니다 :

zz <- foreach(i = 1:720, .combine = c) %:% 
foreach(j = 1:360, .combine = c) %dopar% { 
new.listoflists <- FUN(old.array[i,j,]) 
new.array[i,j,] <- new.listoflists$list 
} 
stopCluster(cl) 

이 new.array의 모든 반복을 포함하는 목록 ZZ를 만듭니다 [난, j는,], 당신은 함께 그들을 바인딩 할 수 있습니다 :

new.obj <- plyr::ldply(zz, data.frame) 

희망이 당신을 도와줍니다!

Answer 2

동작이 올바른지 확인하기 위해 질문의 크기만큼 사용하지 않았습니다. 그래서 여기에 여러 인자를 갖는 mapply를 사용합니다. 결과는 결과 목록입니다. 그런 다음 matrix()로 래핑하여 원하는 차원을 얻습니다. 내가 각를 사용하여 반복 시간 및 J를 사용하여 반복되고 있습니다. 행렬에 도달 할 때 matrix()가 먼저 행을 기준으로 항목을 놓은 다음 다음 열로 넘어가는 것이 중요합니다.

new.array = array(1:(5*10*4), dim=c(5,10,4)) 

# FUN: function which returns lists of 
FUN <- function(x){ 
    list(lapply(x, rep, times=3)) 
} 

# result of the computation 
result <- matrix(
    mapply(
     function(i,j,...){ 

      FUN(new.array[i,j,]) 
     } 
     ,i = rep(1:nrow(new.array),times=ncol(new.array)) 
     ,j = rep(1:ncol(new.array),each=nrow(new.array)) 
     ,new.array=new.array 
    ) 
    ,nrow=nrow(new.array) 
    ,ncol=ncol(new.array) 
)