파이썬 멀티 프로세싱 편집 거리 계산

Question

저는 약 1 년 동안 프로그래밍을 해왔으므로 기본 지식을 잘 알고 있습니다.하지만 파이썬 다중 처리 문서를 고민하기 위해 고심하고 있습니다. 누군가가 문제의 올바른 방향을 지적 해 줄 수 있다면 좋을 것입니다.

저는 파이썬 -Levenshtein c- 모듈을 사용하여 많은 수의 DNA 시퀀스 (~ 5000-2000) 사이의 쌍 거리를 계산하고 있으며 다중 처리를 사용하여 작업 속도를 높이고 싶습니다. 내 문제의 기본 버전에 대한 의사 코드는 다음과 같습니다 : 이것을 완전히 구현

def edit_distance(seqA, seqB): 
    ... 
    return distance 

sequence_list = [seq1, seq2, ... seq10000] 
results_dict = {}  

centroid = sequence_list[0] 
results_dict[centroid] = {} 
for target in sequence_list[1:]: 
    results_dict[centroid][target] = edit_distance(centroid, target) 

은 중심으로 각각의 서열을 사용하여 수행됩니다. sequence_list [1 :]에서 모든 대상에 대한 거리 계산을 다중 처리하는 것이 가장 좋은 방법을 지적 할 수 있다면 좋을 것입니다. 감사. edit_distance() 기능 GIL를 출시

from functools import partial 
from multiprocessing import Pool 

def dist_mp(centroid, target): 
    return target, edit_distance(centroid, target) 

def main(): 
    # ... 
    pool = Pool() # use all CPUs 
    for target, d in pool.imap_unordered(partial(dist_mp, centroid), 
             sequence_list[1:]): 
     results_dict[centroid][target] = d 
    pool.close() 
    pool.join() 

if __name__ == "__main__": 
    main() 

경우에 당신이 스레드 대신 프로세스를 사용할 수 있습니다 :

Answer 1

코드의 버전을 멀티 프로세싱 얻을 간단

from multiprocessing.dummy import Pool # use threads 

참고 : 당신은 더 나은 시간을 얻을 수 있습니다 ("완전히 구현 된 경우"O(n**2) 번 함수를 edit_distance() 번 호출하지 말고) multiproce를 사용하여 상수 요소를 개선하는 대신 싱.