파이썬 다중 처리에서 전역 변수 .Pool 클래스

Question

비교적 간단하게 병렬화 할 수있는 문제가 있는데, 이로 인해 효과적으로 구현하기에는 너무 많은 문제가 발생합니다. 내 프로그램의 핵심에는 두 개의 행렬과 두 개의 벡터, 즉 수행하려는 두 가지 계산 각각에 대한 행렬과 벡터가 있습니다.

나는 각 벡터의 매우 큰 목록을 가지고 :

는 코드에서 그게 내가 내가 원하는 무엇

import numpy as np 
matrices = dict([("type1", np.random.rand(10,10)), ("type2", np.random.rand(10,10))]) 
vectors = dict([("type1", np.random.rand(10)), ("type2", np.random.rand(10))]) 

이 (정말 아니지만, 단순화 된 경우)이 의미 유형 :

input_vectors = [np.random.rand(10) for i in range(1000)] 

내가 A 행렬과 b 각 유형의 벡터이다 A*v+b을 계산합니다.

내가 필요한 것을 수행하는 단일 스레드 코드는 그러나, 나는이 병렬로이 작업을 수행 할 수 있으므로

def f(input_vector, matricx, vector): 
    return np.dot(matrix, input_vector) + vector 

results = {} 
for type in ['type1', 'type2']: 
    results[type] = [] 
    for input_vector in input_vectors: 
     results.append(f(input_vector, matrices[type], vectors[type])) 

입니다. 그러나 벡터의 목록을 통해 매핑하고자하는 함수가 단순히 벡터가 아닌 그 입력으로 가져 오는 문제를 해결하는 방법을 모르겠습니다.

나는 람다 함수를 절인 할 수 없기 때문에 작동하지 않습니다 그러나

from multiprocessing import Pool 
p = Pool(4) 
for type in types: 
    p.map(lambda x: f(x, matrices[type], vectors[type] , input_vectors)) 

같은 것을 쓰고 싶습니다. 작동하는 한 가지 방법은 각 벡터에 곱하기를 원하는 행렬을 추가하는 것입니다. 물론 메모리를 사용하는 것은 불가능합니다.

내 수수께끼를 우아하게 해결하는 방법에 대한 의견이 있으십니까? 내가 좋아하는 것이 무엇

---

행렬과 함께 번성하는 벡터의 사본을 가지고있는 풀의 각 요소에 대해,하지만 난 multiprocessing에서이 작업을 수행하는 방법을 모르겠어요. 당신이 Pool를 시작할 때마다 아이에게 전체 matrices 및 vectors 목록을 통과하려는 경우

def f(matrix, vector, input_vector): 
    return np.dot(matrix, input_vector) + vector 

results = {} 
for type_ in types: 
    func = partial(f, matrices[type_], vectors[type_]) 
    results[type_] = p.map(func, input_vectors) 

하고 당신이 호출 할 때 type을 통과 :

Answer 1

사용 functools.partial는 map에 여러 인수를 전달합니다 map도 가능합니다./initargs 인수를 multiprocessing.Pool으로 사용하여 목록을 전달한 다음 initializer 함수 내에서 전역으로 만듭니다. 그러면 각 하위 프로세스 내에서 글로벌하게됩니다.

matrices = vectors = None 

def init(_matrices, _vectors): 
    global matrices, vectors 
    matrices = _matrices 
    vectors = _vectors 


def f(type_, input_vector): 
    return np.dot(matrices[type_], input_vector) + vectors[type_] 

def main(): 
    # <declare matrices, vectors, input_vectors here> 
    p = multiprocessing.Pool(initializer=init, 
          initargs=(matrices, vectors)) 
    results = {} 
    for type_ in ['type1', 'type2']: 
     func = partial(f, type_) 
     results[type_] = p.map(func, input_vectors) 

if __name__ == "__main__": 
    main()