거대한 CSV 파일의 데이터를 효율적으로 읽음

Question

거대한 CSV 파일 (20G 이상)을 처리하려고했지만 전체 CSV 파일을 메모리로 읽을 때 프로세스가 중단되었습니다. 이 문제를 피하기 위해 두 번째 줄을 한 줄씩 읽으려고합니다.

예를 들어

, 2 열이 포함

1. XXX 같은 데이터는 컴퓨터 알고리즘을 내 코드는 전체 열을 위해 일하고

   import collections 
   
   wordcount = collections.Counter() 
   
   with open('desc.csv', 'rb') as infile: 
       for line in infile: 
        wordcount.update(line.split()) 
   

를 구축,

XXX 좋다 CSV 리더를 사용하지 않고 두 번째 열만 읽는 방법은 무엇입니까?

Answer 1

내가 아는 한, csv.reader(infile)을 호출하면 전체 파일이 열리고 ... 어디서 문제가 발생합니까?

당신은 단지 한 줄 한 줄을 읽고 수동 구문 분석 할 수 주어진 시간 (한 줄)에서 메모리에있는 파일의 작은 덩어리를 유지합니다

X=[] 

with open('desc.csv', 'r') as infile:  
    for line in infile: 
     # Split on comma first 
     cols = [x.strip() for x in line.split(',')] 

     # Grab 2nd "column" 
     col2 = cols[1] 

     # Split on spaces 
     words = [x.strip() for x in col2.split(' ')] 
     for word in words:  
     if word not in X: 
      X.append(word) 

for w in X: 
    print w 

. 그러나 변수 X이 상당히 큰 크기로 증가하여 메모리 제한으로 인해 프로그램이 오류가 발생할 수있는 문제가 발생할 수 있습니다.

Answer 2

질문에있는 코드는 20G 파일을 읽고 각 줄을 공백으로 구분 한 다음 개의 숫자를 유지하는 카운터를 만드는 것입니다.은 모두 고유합니다. 토큰. 나는 그것이 당신의 기억이 가고있는 곳이라고 말하고 싶습니다. 수동 csv.reader 가입일

반복자

csvfile 소정의 라인을 반복하는 리더 목적이다. csvfile 반복자 프로토콜을 지원하고 는 다음() 메소드가

그래서 csv.reader를 사용하여 큰 파일을 반복 할 괜찮

를 호출 할 때마다 문자열을 반환하는 모든 객체가 될 수 있습니다.

import collections 

wordcount = collections.Counter() 

with open('desc.csv', 'rb') as infile: 
    for row in csv.reader(infile): 
     # count words in strings from second column 
     wordcount.update(row[1].split())