Python : 200,000 개의 파일을 추가하는 큰 작업을 최적화하십시오.

Question

저는 python에서 200,000 개의 파일을 함께 추가합니다 (예상되는 볼륨은 13GB). 내 노트북에서 이걸 달리고있어. 아주 천천히 진행되므로 (나는 5 개의 파일을 1 초라고 말하고 싶습니다), 최적화되어 있는지 확인하고 싶습니다. 이 작업을 성능 향상시킬 수있는 방법이 있습니까?

from __future__ import print_function 
from xml.dom import minidom 
import os 

f=open('C:\\temp\\temp.xml','w') 
f.write("") 
f.close(); 

counter = 0 
for root, dirs, files in os.walk("C:\Users\username\Desktop\mydata"): 
    for file in files: 
     if file.endswith(".xml"): 

      xmldoc = minidom.parse(os.path.join(root, file)) 
      article = xmldoc.getElementsByTagName('article').item(0) 
      with open("C:\\temp\\temp.xml", "a") as myfile: 
       myfile.write(article.toxml('utf-8')) 
      counter+=1 
      print(counter) 

Answer 1

내 코드의 거대한 병목 현상은 minidom 도서관이었다. 나는 lxml으로 전환했고 코드는 (심각하게) 100 배 빨랐다.