두 개의 반복 가능을 반복하는 zip() 대안

Question

두 개의 큰 (~ 100 GB) 텍스트 파일이 동시에 반복되어야합니다.

우편 번호는 작은 파일 잘 작동하지만 실제로 내 두 파일에서 라인의 목록을 만들고 있다는 것을 발견했다. 이것은 모든 라인이 메모리에 저장된다는 것을 의미합니다. 줄을 여러 번 쓸 필요가 없습니다.

handle1 = open('filea', 'r'); handle2 = open('fileb', 'r') 

for i, j in zip(handle1, handle2): 
    do something with i and j. 
    write to an output file. 
    no need to do anything with i and j after this. 

나 램의> 사용하지 않고이 두 파일을 통해 2백기가바이트을 반복 할 수는 발전기 역할을 우편()에 대한 대안이 있는가?

Answer 1

itertools은 파일 크기가 다른 경우에는 작은 파일에서 중지됩니다 izip로, izip_longest 사용할 수 있습니다

from itertools import izip 
for i, j in izip(handle1, handle2): 
    ... 

것을 수행하는 기능 izip 있습니다.

Answer 2

이와 비슷한? 글쎄,하지만 네가 요구하는 것 같아.

단순한 우편 기능보다 필요한 것보다 종종 두 파일 사이의 키에 맞게 적절한 병합 같은 일을 조정할 수 있습니다. 또한, 이것은 SQL OUTER JOIN 알고리즘이 수행하는 것인데, zip이하는 것과 다른 전형적인 파일 들과는 다른, 자르지 않습니다. 당신이 짧은 파일을 자르려면

with open("file1","r") as file1: 
    with open("file2", "r" as file2: 
     for line1, line2 in parallel(file1, file2): 
      process lines 

def parallel(file1, file2): 
    if1_more, if2_more = True, True 
    while if1_more or if2_more: 
     line1, line2 = None, None # Assume simplistic zip-style matching 
     # If you're going to compare keys, then you'd do that before 
     # deciding what to read. 
     if if1_more: 
      try: 
       line1= file1.next() 
      except StopIteration: 
       if1_more= False 
     if if2_more: 
      try: 
       line2= file2.next() 
      except StopIteration: 
       if2_more= False 
     yield line1, line2 

Answer 3

: 그렇지

handle1 = open('filea', 'r') 
handle2 = open('fileb', 'r') 

try: 
    while 1: 
     i = handle1.next() 
     j = handle2.next() 

     do something with i and j. 
     write to an output file. 

except StopIteration: 
    pass 

finally: 
    handle1.close() 
    handle2.close() 

handle1 = open('filea', 'r') 
handle2 = open('fileb', 'r') 

i_ended = False 
j_ended = False 
while 1: 
    try: 
     i = handle1.next() 
    except StopIteration: 
     i_ended = True 
    try: 
     j = handle2.next() 
    except StopIteration: 
     j_ended = True 

     do something with i and j. 
     write to an output file. 
    if i_ended and j_ended: 
     break 

handle1.close() 
handle2.close() 

또는

는

handle1 = open('filea', 'r') 
handle2 = open('fileb', 'r') 

while 1: 
    i = handle1.readline() 
    j = handle2.readline() 

    do something with i and j. 
    write to an output file. 

    if not i and not j: 
     break 
handle1.close() 
handle2.close() 

Answer 4

당신은 패드에이 같은 izip_longest을 사용할 수 있습니다짧은 파이썬 2.6

from itertools import izip_longest 
with handle1 as open('filea', 'r'): 
    with handle2 as open('fileb', 'r'): 
     for i, j in izip_longest(handle1, handle2, fillvalue=""): 
      ... 

에 빈 줄

와 파일이나 python3.1 python3를 들어

from itertools import izip_longest 
with handle1 as open('filea', 'r'), handle2 as open('fileb', 'r'): 
    for i, j in izip_longest(handle1, handle2, fillvalue=""): 
     ... 

Answer 5

으로는, izip_longest 실제로 zip_longest입니다.

from itertools import zip_longest 

for i, j in izip(handle1, handle2): 
    ...