다중 처리로 3D 배열 채우기

Question

다중 처리를 사용하여 다음 스크립트에서 data1 배열을 채 웁니다. 지금은 스크립트가 제대로 실행되지만 배열이 채워지지 않습니다. this을 구현하려고했지만 두 개의 iterables를 사용하기 때문에 작동하지 못했습니다. 도움말 감사; 감사! 그건 그렇고, 나는 최신 MacOS에서 jupyter 노트북을 사용합니다.

import numpy as np 
import multiprocessing as mp 
from itertools import product 

#Generate random data: 
data = np.random.randn(12,20,20) 

#Create empty array to store the result 
data1 = np.zeros((data.shape), dtype=np.float) 

#Define the function 
def fn(parameters): 
    i = parameters[0] 
    j = parameters[1] 
    data1[:,i,j] = data[:,i,j] 

#Generate processes equal to the number of cores 
pool = mp.Pool(processes=4) 

# Generate values for each parameter: i.e. i and j 
i = range(data.shape[1]) 
j = range(data.shape[2]) 

#generate a list of all combinations of the parameters 
paramlist = list(product(i,j)) 

#call the function and multiprocessing 
np.array(pool.map(fn,paramlist)) 
pool.close() 

Answer 1

Pool.map은 작업자 프로세스를 사용하여 주어진 데이터에 기능을 적용합니다. 그런 다음 함수에서 반환 데이터를 수집하여이를 부모에게 전송합니다.

함수가 아무 것도 반환하지 않으므로 결과가 없습니다.

각 작업자의 로컬 복사본이 data1 인 경우 변경됩니다. :-)

수정할 데이터가 많으면 작업자 프로세스와 부모간에 데이터를 이동하는 오버 헤드로 인해 multiprocessing이 좋은 해결책이되지 못하는 경우가 많습니다.

먼저 단일 프로세스를 사용해보십시오.