python 사전에서 파일로 쓰기

Question

현재 줄에서 한 줄씩 사전에서 csv 파일에 쓰고 있습니다. 이처럼 : 내 사전에 큰 얻는다 (예를 들어 20 ~ MB) 그리고 나는 내 리눅스 머신에 힙 공간의 제약을 오전 :

writer = csv.writer(open(filename, 'a')) 
    for key, value in mydict.items(): 
     writer.writerow([key, value]) 

내 문제는 이것이다. 따라서 필자는 쓰기 전에 사전에 모든 데이터를 누적하는 대신 사전에 데이터를 사용할 수있게되면 즉각 csv 파일에 데이터를 쓰는 방법을 사용했습니다.

지금, 또 다른 문제가 있습니다. 많은 수의 IO 작업 (수천 줄의 디스크에 기록됨)으로 인해 프로그램이 매우 느리게 실행됩니다.

나는 중견을 찾아야합니다. 아마도, 5000 (k, v) 데이터를 사전에 쌓아서 디스크에 쓰고 내 사전을 비우고 다음 5000 (k, v) 쌍을 기다리십시오 ...이 과정을 계속하십시오. 다른 아이디어가 있습니까?

간단히 말해 파일에 일괄 적으로 쓰는 것이 좋습니까?

감사합니다,

Answer 1

가장 좋은 방법은 DictReader/DictWriter을 사용하는 것입니다 PD /. dictrows는 CSV에서 DictReader 제조 사전 발전기이다 fieldName에

for row in dictrows: 
    out_f.write("%s%s" %(delimiter.join([row[name] for name in fieldnames]), 
       lineterminator)) 

는 필드의리스트이다.