Python : 여러 파일을 한 번에 쓸 수있는 스크립트 실행

Question

프로그래밍 처음 소개. 필자는 디렉토리에서 XML 파일을 읽고 요소의 텍스트를 복사하여 출력 디렉토리에 써 넣기 위해 BeautifulSoup를 사용하는 Python 코드 (stackoverflow의 도움을 받아)를 작성했습니다.

from bs4 import BeautifulSoup 
import os, sys 

source_folder='/Python27/source_xml' 

for article in os.listdir(source_folder): 
    soup=BeautifulSoup(open(source_folder+'/'+article)) 

    #I think this strips any tags that are nested in the sample_tag 
    clean_text=soup.sample_tag.get_text(" ",strip=True) 

    #This grabs an ID which I used as the output file name 
    article_id=soup.article_id.get_text(" ",strip=True) 

    with open(article_id,"wb") as f: 
     f.write(clean_text.encode("UTF-8")) 

문제는 내가 10 만 개 XML 파일을 실행하려면이 필요하다 : 여기 내 코드입니다. 나는 지난 밤에 프로그램을 시작했고, 나의 견적에 달리는 데 15 시간이 걸렸습니다. 한 번에 하나씩 읽고 쓰는 대신 한 번에 100 또는 1000을 읽거나 쓸 수있는 방법이 있습니까?

Answer 1

다중 처리 모듈은 친구입니다. 다음과 같이 과 같이 모든 CPU에서 코드를 자동으로 확장 할 수 있습니다.

from bs4 import BeautifulSoup 
import os, sys 
from multiprocessing import Pool 


source_folder='/Python27/source_xml' 

def extract_text(article): 
    soup=BeautifulSoup(open(source_folder+'/'+article)) 

    #I think this strips any tags that are nested in the sample_tag 
    clean_text=soup.sample_tag.get_text(" ",strip=True) 

    #This grabs an ID which I used as the output file name 
    article_id=soup.article_id.get_text(" ",strip=True) 

    with open(article_id,"wb") as f: 
      f.write(clean_text.encode("UTF-8")) 

def main(): 
    pool = Pool() 
    pool.map(extract_text, os.listdir(source_folder)) 

if __name__ == '__main__': 
    main() 

Answer 2

많은 생각을 싫어할 때 스레드를 사용할 수 있습니다. 파이썬의 GIL은 입출력 작업에서 해제되므로 스레드 풀을 실행하고 작업을 소비 할 수 있습니다.