Python : 대형 .csv 파일을 읽는 가장 좋은 방법은 무엇입니까?

Question

큰 .csv 약 20MB의 읽어야합니다. 이러한 파일은 8 열과 5198 행으로 구성된 테이블입니다. 특정 열 I에 대한 일부 통계를 수행해야합니다.

나는 내가하는 일 n 다른 파일이 있습니다

이

stat = np.arange(n) 
    I = 0 
    for k in stat: 
     df = pd.read_csv(pathS+'run_TestRandom_%d.csv'%k, sep=' ') 
     I+=df['I'] 
    I = I/k ## Average 

이 프로세스는 0.65s 소요하고 가장 빠른 방법이 있는지 궁금.

Answer 1

편집 : 분명히이 방법을 사용하는 것이 좋습니다. 내가 한 일을하지 마라./

나는 지금 같은 크기의 데이터 세트로 유사한 문제에 대해 작업하고있다. 내가 사용하는 방법은 내 시스템에서의 .1sec 약이 배 NumPy와의 genfromtxt

import numpy as np 

ary2d = np.genfromtxt('yourfile.csv', delimiter=',', skip_header=1, 
    skip_footer=0, names=['col1', 'col2', 'col3', 'col4', 'col5', 'col6', 'col7', 'col8']) 

입니다

총

이 가진 하나의 문제는 숫자가 아닌 값이 단순히 nan로 대체한다는 것입니다 어떤 것이 좋지 않을 수도 있습니다.