멀티 프로세싱 동결 컴퓨터

Question

멀티 프로세싱을 사용하여 실행 시간을 향상 시켰지만 PC의 동작이 올바른지 여부를 알지 못했지만 모든 프로세스가 완료 될 때까지 시스템이 정지되었습니다. Windows 7과 Python 2.7을 사용하고 있습니다.

은 아마 내가 여기, 실수를하고있는 중이 야 것은 내가 무슨 짓을 : 여기

def do_big_calculation(sub_list, b, c): 
    # do some calculations here with the sub_list 

if __name__ == '__main__': 
    list = [[1,2,3,4], [5,6,7,8], [9,10,11,12]] 
    jobs = [] 
    for sub_l in list : 
     j = multiprocessing.Process(target=do_big_calculation, args=(sub_l, b, c)) 
     jobs.append(j) 
    for j in jobs: 
     j.start() 

Answer 1

, 당신은 작업 당 1 Process을 만들 수 있습니다. 이것은 모든 작업을 병렬로 실행하지만 스케줄러가 많은 프로세스를 관리해야하므로 컴퓨터에 많은 부담을줍니다. 프로그램에 너무 많은 자원이 사용되면 시스템이 정지 될 수 있습니다. 당신은 타사 라이브러리를 사용할 준비가되면

import multiprocessing as mp 

def do_big_calculation(args): 
    sub_list, b, c = args 
    return 1 

if __name__ == '__main__': 
    b, c = 1, 1 
    ll = [([1, 2, 3, 4], b, c), 
      ([5, 6, 7, 8], b, c), 
      ([9, 10, 11, 12], b, c)] 
    pool = mp.Pool(4) 
    result = pool.map(do_big_calculation, ll) 
    pool.terminate() 
    print(result) 

, 당신은 또한 concurrent.futures을 살펴 수 :

해결책은 여기 동시에 몇 가지 작업을 수행하는 프로세스의 주어진 수를 실행하는 multiprocessing.Pool을 사용할 수 (당신은 python2.7에 설치해야하지만 python3.4의 + 존재) (PIP 사용 가능) 또는 joblib :

from joblib import Parallel, delayed 

def do_big_calculation(sub_list, b, c): 
    return 1 

if __name__ == '__main__': 
    b, c = 1, 1 
    ll = [([1, 2, 3, 4], b, c), 
      ([5, 6, 7, 8], b, c), 
      ([9, 10, 11, 12], b, c)] 
    result = Parallel(n_jobs=-1)(
     delayed(do_big_calculation)(l, b, c) for l in ll) 
    print(result) 

같은 라이브러리의 주요 장점은 0,123,590,194 반면 개발하고 있다는 것입니다 Python2.7에서이 고정되었습니다. 따라서 버그 수정 및 개선이 상대적으로 빈번합니다.
또한 계산을위한 오버 헤드를 줄이기 위해 영리한 도구를 구현합니다. 예를 들어, 큰 수의 배열에 대해 메모리 매핑을 사용합니다 (모든 작업 시작의 메모리 사용 공간을 줄입니다).