csv 파일의 일부를 읽는 중

Question

저는 10 기가 바이트 정도의 매우 큰 csv 파일을 가지고 있습니다. 언제 내가 iPython 노트북을 사용하여 읽어 보려고

data = pd.read_csv("data.csv") 

내 노트북이 막혔다. 10,000 줄 또는 500MB의 csv 파일을 읽을 수 있습니까?

Answer 1

가능합니다. chunksize을 read_csv으로 전달하여 iterator=True을 iterator=True으로 전달하여 DataFrame으로 한 번에 특정 크기의 CSV 덩어리를 생성하는 반복기를 만들 수 있습니다.

df_iter = pd.read_csv('data.csv', chunksize=10000, iterator=True) 

for iter_num, chunk in enumerate(df_iter, 1): 
    print(f'Processing iteration {iter_num}') 
    # do things with chunk 

또는 더 짧게 또는 당신이, 당신이 읽을 이후 특정 라인에서 시작하는 skiprows 및 nrows 옵션을 사용할 수 있습니다 읽고 싶은 CSV의 단지 특정 부분이 있다면

for chunk in pd.read_csv('data.csv', chunksize=10000): 
    # do things with chunk 

n 개의 행으로 구성됩니다.

Answer 2

메모리 문제 일 수 있습니다. read_csv에서 chunkksize (행 수를 지정할 수 있음)를 설정할 수 있습니다.

또는 모든 열이 필요하지 않은 경우 read_csv에서 usecols를 변경하여 필요한 열만 가져올 수 있습니다.