큰 데이터 세트를 데이터 프레임 팬더로 연결하는 방법

Question

그래서 나는 몇백 메가 바이트를 가진 상당한 CSV 데이터 세트로 작업하고 있습니다. 나는 청크 (~ 100 개의 행)의 데이터를 읽을 수 있었다. 어떻게 그 덩어리를 우아하게 데이터 프레임으로 변환하고 describe 함수를 적용 할 수 있습니까? 당신이 read_csv의 출력 무엇 TextFileReader 개체의 concat해야 할 것 같다 당신

Answer 1

감사의 경우 describe와 매개 변수 chunksize :

너무 아름다운

df = pd.concat([x for x in pd.read_csv('filename', chunksize=1000)], ignore_index=True) 
df = df.describe() 
print (df)