파이썬에서 한 줄씩 파일에 인쇄하는 속도를 올리는 방법은 무엇입니까?

Question

내가 파일에 두 개의 배열에서 인쇄 번호를 해요 말 :

from numpy import random 
number_of_points = 10000 
a = random.rand(number_of_points) 
b = random.rand(number_of_points) 
fh = open('file.txt', 'w') 
for i in range(number_of_points): 
    for j in range(number_of_points): 
     print('%f %f' % (a[i], b[j]), file=fh) 

나는이 빠른 것이 정보를 포함하는 하나의 호출을 보내는 반면, 인쇄 할 수있는 시스템 호출을 많이하고있다 생각합니다. 이 올바른지? 그렇다면 어떻게해야합니까? 이것을 구현하는 더 빠른 방법이 있습니까?

Answer 1

print에는 사용하지 않는 벨소리가 많이 있습니다. 직접 반복 대신 색인을 생성하는 C 스타일 루핑을 사용하고 있습니다. 둘 다 불필요한 오버 헤드가 발생합니다. 파이썬 레벨 작업을 제한하여 C 레이어로 밀어 넣으면 속도를 조금 높일 수 있습니다.

예를 들어,이 경우에, 당신이 가지고있는 전체의 이중 중첩 루프 구조를 대체 할 수 있습니다 : 만들 직접 당신의 중첩 된 루프의 결과와 색인을 생성 product를 사용

import itertools 

# You could use '%f %f\n'.__mod__ as the map function if you like, I just 
# find the modern format strings a little nicer 
fh.writelines(itertools.starmap('{} {}\n'.format, itertools.product(a, b))) 

, starmap + str.format을 회선 및 fh.writelines은 starmap으로 생성 된 생성기를 소모하고 print에 대한 100,000,000 회 호출 대신 모든 출력을 단일 함수 호출로 파일에 직접 작성합니다.

발전기를 생성하고 최종 생성기를 fh.writelines으로 전달하는 고정 비용 (반복 항목 수와는 무관 함) 이외에도 실제 반복, 형식 지정 및 I/O 작업은 전체 C 계층에서 수행됩니다. CPython 참조 인터프리터이므로 매우 빠르게 실행해야합니다.