개체 수정을위한 메서드 호출 병렬 처리

Question

클래스의 인스턴스가 여러 개 있으며 메서드를 호출하여 각 인스턴스를 수정하고 싶습니다. 그러나이 메서드는 반환하는 데 시간이 걸리는 시스템 명령을 호출하므로 몇 가지를 병렬로 수행하고 싶습니다. 나는 이것이 매우 간단한 일이 될 것이라고 생각했지만 나는 곤란을 겪었다.

import os 

class SquareMe(): 
    def __init__(self, x): 
     self.val = x 
    def square(self): 
     os.system('sleep 10') # I'll call a slow program 
     self.val = self.val **2 

if __name__ == '__main__': 
    objs = [SquareMe(x) for x in range(4)] 
    for obj in objs: 
     obj.square() # this is where I want to parallelize it 
    print([obj.val for obj in objs]) 

이 코드는 작동합니다 (인쇄 [0, 1, 4, 9),하지만 그것을 실행하는 데 40 초 소요 : 여기에 내가 달성하고 싶은 유사 예이다. 나는 그것을 대략 10 초까지 내려고 노력하고있다.

저는 서브 프로세스와 멀티 프로세싱 모듈을 살펴 봤지만, 이해할 수 있도록 square()를 평가하기 전에 객체를 pickle합니다. 즉, 각 객체의 복사본이 수정되고 원본은 그대로 유지됩니다. 나는 해결책이 자기를 돌려주고 원문을 덮어 씌울 것이라고 생각했다. 그러나 그것이 가능하다면 그것은 그다지 간단하지 않다. 나는 스레딩을 들여다 보면서 나는 거기에서 같은 문제를 겪을 것이라는 인상을 받았다.

나는 또한 async (나는 파이썬 3.5를 사용하고있다)를 사용하는 방법을 살펴 보았다. 내가 말할 수있는 것부터, 시스템 호출 ('sleep 10'포함)이 블로킹 중이므로 비동기가 속도를 높이지 못한다.

이렇게 간단하고 우아하고 파이썬 적 방법이 있습니까?

Answer 1

올바른 코드를 찾으면 멀티 프로세싱과 '자기 복귀'를 사용하는 것이 매우 간단합니다.

import os 
import multiprocessing 

class SquareMe(): 
    def __init__(self, x): 
     self.val = x 
    def square(self): 
     os.system('sleep 10') # I'll call another program, which take a while 
     self.val = self.val **2 
     return self 

if __name__ == '__main__': 
    objs = [SquareMe(x) for x in range(4)] 
    pool = multiprocessing.Pool(4) 
    objs = pool.map(SquareMe.square, objs) 
    pool.close() 
    pool.join() 
    print([obj.val for obj in objs])