데이터 토큰 화 중 오류가 발생했습니다. C 오류 : 메모리 부족 pandas python, 대용량 파일 csv

Question

3.5의 대용량 csv 파일이 있는데 팬더를 사용하여 읽고 싶습니다.

pandas/parser.pyx in pandas.parser.TextReader.read (pandas/parser.c:8771)() 

pandas/parser.pyx in pandas.parser.TextReader._read_rows (pandas/parser.c:9731)() 

pandas/parser.pyx in pandas.parser.TextReader._tokenize_rows (pandas/parser.c:9602)() 

pandas/parser.pyx in pandas.parser.raise_parser_error (pandas/parser.c:23325)() 

CParserError: Error tokenizing data. C error: out of 

내 RAM의 용량은 8 이동입니다 :이 오류가

import pandas as pd 
tp = pd.read_csv('train_2011_2012_2013.csv', sep=';', iterator=True, chunksize=20000000, low_memory = False) 
df = pd.concat(tp, ignore_index=True) 

:

이

내 코드입니다.

Answer 1

이 형제 시도 :

mylist = [] 

for chunk in pd.read_csv('train_2011_2012_2013.csv', sep=';', chunksize=20000): 
    mylist.append(chunk) 

big_data = pd.concat(mylist, axis= 0) 
del mylist 

Answer 2

당신은 error_bad_lines을 설정하려고 할 수 있습니다 =

import pandas as pd 
df = pd.read_csv('my_big_file.csv', error_bad_lines = False)