Python readline() 및 Counter가 매우 긴 행의 MemoryError를 발생시킵니다.

Question

메모리 오류 문제가 있습니다.

pifile = 'pibillion.txt' 
with open(pifile, "r+") as a: 
    data = str(a.readline()) 
    c = Counter(data) 

내 코드는 pi의 숫자 중 하나의 매우 큰 행을 읽습니다. txt 파일은 953MB에 불과합니다. 8GB RAM이 있습니다. 나는 그것이 문자열 크기 제한으로 실행된다는 오류를 추측하고 있지만 확실하지 않습니다. 나머지 코드는 줄 바꿈을 2 씩 증가시킵니다. 어떤 도움이라도이 작업을 계속하는 방법에 대해 크게 감사 할 것입니다.

내가지고있어 정확한 오류

은 이것이다 :

data = str(a.readline()) 
    MemoryError 

Answer 1

파이썬 그래서 문자열을 읽는 것은 메모리에 모든 것을 넣어 것, (하스켈 같은) 본질적으로 게으른 없습니다. 일부 문자열 변환을 추가하면 메모리가 부족합니다. 대신 다음과 같이 반복적으로 수행하십시오.

파일은 대개 연속적으로 저장되므로 삽입하는 데 많은 비용이 소요되므로 새 파일을 사용했습니다.

with open('pibillion.txt', 'r') as old_file, open('pibillion_.txt', 'w') as new_file: 
    while True: 
     c = old_file.read(2) 
     if not c: 
      break 
     new_file.write(c + '\n')