Python은 두 개의 큰 파일을 한 줄씩 동시에 분석합니다.

Question

두 개의 ± 6GB 파일을 분석하려고합니다. 동시에 두 줄 (각 ​​파일에서 하나씩)이 필요하기 때문에 동시에 분석해야합니다.

with open(fileOne, "r") as First_file: 
    for index, line in enumerate(First_file): 

     # Do some stuff here 

    with open(fileTwo, "r") as Second_file: 
     for index, line in enumerate(Second_file): 

      # Do stuff here aswell 

문제는 루프 "개방과 함께"두 번째에있는 파일의 시작 부분에서 시작한다는 것입니다 :이 같은 뭔가를 시도했다. 따라서 분석을 수행하는 데 걸리는 시간은 오래 걸릴 것입니다. 나는 또한 이것을 시도 :

with open(fileOne, "r") as f1, open(fileTwo, "r") as f2: 
    for index, (line_R1, line_R2) in enumerate(zip(f1, f2)): 

두 파일이 메모리에 직접로드되는 문제입니다. 각 파일에서 같은 줄이 필요합니다. 올바른 행은 다음과 같습니다.

number_line%4 == 1 

이렇게하면 2, 5, 9, 13 행이됩니다. 두 파일의 줄이 필요합니다.

더 빠른 방법과 더 메모리 효율적인 방법이 있나요?

파이썬 2에서

Answer 1

, 파일을 방지하기 위해 itertools.izip()를 사용하여 메모리에로드되는 :

from itertools import izip 

with open(fileOne, "r") as f1, open(fileTwo, "r") as f2: 
    for index, (line_R1, line_R2) in enumerate(izip(f1, f2)): 

내장 zip() 기능이 실제로 자신의 전체 메모리에 모두 파일 객체를 읽어, izip()는에 라인 하나를 검색 시각.