디렉토리의 모든 파일을 하나의 파일로 결합하는 python 스크립트

Question

다음 스크립트를 작성하여 디렉토리의 모든 파일을 하나의 단일 파일로 결합했습니다.

import time, glob 

outfilename = 'all_' + str((int(time.time()))) + ".txt" 

filenames = glob.glob('*.txt') 

with open(outfilename, 'wb') as outfile: 
    for fname in filenames: 
     with open(fname, 'r') as readfile: 
      infile = readfile.read() 
      for line in infile: 
       outfile.write(line) 
      outfile.write("\n\n") 

Answer 1

사용 shutil.copyfileobj : 메모리에 전체를 읽지 않고 직접 파일 객체의 아이 네스,

import shutil 

with open(outfilename, 'wb') as outfile: 
    for filename in glob.glob('*.txt'): 
     if filename == outfilename: 
      # don't want to copy the output into the output 
      continue 
     with open(filename, 'rb') as readfile: 
      shutil.copyfileobj(readfile, outfile) 

shutil가 outfile에 FileObject로 작성, 덩어리의 readfile 개체에서 읽기 직접. 줄 끝을 찾는 오버 헤드가 필요 없으므로 readline() 또는 반복 버퍼를 사용하지 마십시오.

읽기 및 쓰기 모두 동일한 모드를 사용하십시오. 이것은 Python 3을 사용할 때 특히 중요합니다. 두 가지 모두에 바이너리 모드를 사용했습니다.

Answer 2

당신은 반복 할 수 있습니다

이이

1. 관용적 인 파이썬의 측면에서 최적화 할 수

2. 여기에 시간

은 조각이다 내가 데이터를 복사 할

with open(fname, 'r') as readfile: 
    for line in readfile: 
     outfile.write(line) 

Answer 3

많은 변수를 사용할 필요가 없습니다.

with open(outfilename, 'w') as outfile: 
    for fname in filenames: 
     with open(fname, 'r') as readfile: 
      outfile.write(readfile.read() + "\n\n") 

Answer 4

fileinput 모듈은 여러 개의 파일

을 반복하는 자연적인 방법을 제공

for line in fileinput.input(glob.glob("*.txt")): 
    outfile.write(line) 

Answer 5

파이썬 2.7을 사용하여, 내가 그랬어

shutil.copyfileobj(readfile, outfile) 

대

outfile.write(infile.read()) 

의 일부 "벤치 마크"테스트

63MB에서 313MB 크기의 20 개 .txt 파일을 반복 파일 크기 (~ 2.6GB)로 반복했습니다. 두 가지 방법 모두 정상 읽기 모드가 바이너리 읽기 모드보다 더 잘 수행되고 shutil.copyfileobj는 일반적으로 outfile.write보다 빠릅니다.

최고의 조합 최악의 조합 (outfile.write, 바이너리 모드) (shutil.copyfileobj, 정상 읽기 모드)을 비교할 때 차이가 매우 유의 한

:

outfile.write, binary mode: 43 seconds, on average. 

shutil.copyfileobj, normal mode: 27 seconds, on average. 

이 OUTFILE는 최종 크기를했다 2620MB의 일반 읽기 모드와 2578MB의 이진 읽기 모드.