팬더 데이터 프레임 청크 : 데이터 프레임 생성기 개체 작성 to_csv

Question

df 생성기 개체를 생성하는 pd.read_sql (... chunksize = 10000)을 통해 데이터베이스에서 많은 양의 데이터를 읽습니다.

나는 아직도 일부 기능은 df.to_cs (...)

은 무엇으로, 더 이상 사용할 수 (... DF2, DF) pd.merge로 병합하지에 그 dataframe 작업 할 수 있지만 그걸 처리하는 가장 좋은 방법은? 이러한 데이터 프레임을 CSV에 기록하려면 어떻게해야합니까? 수동으로 반복해야합니까?

Answer 1

각 청크를 개별적으로 처리하거나 예를 들어 pd.concat은 모든 청크 전체에서 작동합니다. 개별적으로

, 당신은 참과 같이 덩어리를 반복 것 :

for chunk in pd.read_sql(...chunksize=10000): 
    # process chunk 

가 결합하려면, 당신은 list comprehension를 사용할 수 있습니다

df = pd.concat([chunk for chunk in pd.read_sql(...chunksize=10000)]) 
#process df