파이썬 데이터 프레임으로 여러 csv 가져 오기 프로세스 속도 향상

Question

대상 디렉토리의 여러 Python Pandas DataFrame으로 여러 개의 CSV 파일 (수백 개의 파일, 수백 개의 줄이 있지만 각기 동일한 수의 열이 있음)을 읽고 싶습니다.

아래 코드는 작동하지만 너무 느립니다. 30 개 파일을 실행하는 데 몇 분이 걸립니다 (내 파일을 모두로드하면 얼마나 오래 기다려야하는지). 더 빨리 작동하도록 변경하려면 어떻게해야합니까?

게다가, 나는 "_"(보통의 utf-8)에 "_" ? 파일에 프랑스어 악센트가 있기 때문에 coding=latin-1을 사용합니다.

#coding=latin-1 

import pandas as pd 
import glob 

pd.set_option('expand_frame_repr', False) 

path = r'D:\Python27\mypfe\data_test' 
allFiles = glob.glob(path + "/*.csv") 
frame = pd.DataFrame() 
list_ = [] 
for file_ in allFiles: 
    df = pd.read_csv(file_, index_col = None, header = 0, sep = ';', dayfirst = True, 
        parse_dates=['HeurePrevue','HeureDebutTrajet','HeureArriveeSurSite','HeureEffective']) 
    df.drop(labels=['aPaye','MethodePaiement','ArgentPercu'],axis=1,inplace=True) 
    df['Sens'].replace("\n", "-", inplace=True,regex=True) 
    list_.append(df) 

    print "fichier lu:",file_ 

frame = pd.concat(list_) 

print frame 

Answer 1

당신이 시도 할 수있는 다음 - 만 정말 필요한 열, 사용 목록 이해를 읽고 꽤 느린이기 때문에, 한 번 pd.concat([ ... ], ignore_index=True) 전화 : 당신이하기에 충분한 메모리가있는 경우이 작동합니다

# there is no sense to read columns that you don't need 
# specify the column list (EXCLUDING: 'aPaye','MethodePaiement','ArgentPercu') 
cols = ['col1', 'col2', 'etc.'] 
date_cols = ['HeurePrevue','HeureDebutTrajet','HeureArriveeSurSite','HeureEffective'] 

df = pd.concat(
     [pd.read_csv(f, sep = ';', dayfirst = True, usecols=cols, 
        parse_dates=date_cols) 
     for f in allFiles 
     ], 
     ignore_index=True 
    ) 

두 개의 결과 DF ...