Python pandas 시리즈에 재 할당 : 가비지 콜렉션

Question

for 루프를 사용하여 각각 약 1GB의 tsv 파일을 팬더 시리즈에로드합니다. 그들은 항상 같은 변수에 할당 된 다음 Series.add()를 사용하여 시리즈의 총 숫자가 포함 된 시리즈에 추가합니다.

업데이트 : 모든 tsv는 더 많거나 적은 동일한 색인을 가지고 있으므로 전체 시리즈의 길이는 실제로 합산 된 값만 변경하지 않습니다.

"오래된"시리즈가 가끔 해제되어 메모리 사용량이 제한 범위 내에 머물러 있기를 기대합니다. 그러나 메모리 사용량은 컴퓨터의 62GB 메모리가 모두 소모 될 때까지 증가합니다.

누구든지 아이디어를 어떻게 해결할 수 있습니까? 루프 내에서 명시 적으로 변수를 삭제하려고 시도하고 루프에서 gc.collect()를 호출하려고했습니다. 둘 다 도움이되지 못했습니다. 파이썬 2.73을 사용하고 있습니다.

더 상세 다음 TSV에

처음 두 열 인덱스 (염색체 위치)와 제 3 컬럼 된 파일은 정수이다.

코드는 다음과 같습니다

total = pd.read_csv(coverage_file1,sep='\t',index_col=[0,1],header=None,names= ['depth'],squeeze=True) 

for file in coverage_files: 
    series = pd.read_csv(file,sep='\t',index_col=[0,1],header=None,names=['depth'],squeeze=True) 
    total = total.add(series,fill_value=0).astype(int) 
    del series # I tried with and without this and the next line 
    gc.collect() 


total.to_csv(args.out,sep='\t',header=None) 

Answer 1

그러나 당신은 여전히 ​​total 데이터를 축적, series되는 쓰레기 수집있다. 어쩌면 알고리즘을 최적화할까요? 그것은 나에게 당신이 단지 같은 형식의 파일에 합류하기를 원한다고 생각하기 때문에 판다를 사용할 필요가 없다.