파이썬 for 루프를 다른 스크립트로 반복 한 파이프 출력

Question

for 루프의 각 인스턴스는 추가 처리를 위해 다른 스크립트에서 캡처해야하는 하나의 바이너리 파일의 내용을 출력합니다. 예를 들어 :

script1.py

filename = glob.glob('*.txt') 
for i in range(len(filename)): 
    with open(filename[i], 'rb') as g: 
     sys.stdout.write(g.read()) 

는 script2.py

from subprocess import call 
script = "cat > test.fil" 
call(script,shell=True) 

는 명령 :이 명령을 실행하면

python script1.py | python script2.py 

, 그것은 대기 모든 반복을 완료하려면 출력을 script2.py에 파이프하기 전에. 나는 이것을 일괄 적으로하고 싶다. 예를 들어, 한 바이너리 파일의 데이터가 stdout으로 푸시되면, script2.py를 실행하십시오.

script2.py는 script1.py에서 호출 할 수 없습니다. 두 스크립트는 서로 다른 도커 컨테이너에서 실행해야합니다. 도커 컨테이너 안에 도커 설치를 피하는 것이 좋습니다.

Answer 1

sys.stdout이 파이프에 연결되어 있으면 기본적으로 버퍼링됩니다. 당신은 출력을 플러시 sys.stdout.flush()를 호출해야합니다 :

sys.stdout.write(g.read()) 
sys.stdout.flush() 

두 번째 스크립트는 또한 그것을 읽고, 고양이를 연상하는 대신 쉘을 불러 일으키는의, 표준 입력을 직접 읽을 수 있습니다. 당신이 작성한 방식으로 3 개의 프로세스 (파이썬, 쉘, 캣)를 실행하고 있습니다. 당신은 단지 색인 list에 번호를 사용하려고 할 때 관련이없는 노트에서

import shutil 
import sys 
with open('test.fil', 'w') as f: 
    shutil.copyfileobj(sys.stdin, f) 

, 당신은 숫자 range에 for 루프를 사용하지 필요성을 . for 루프는 list 요소에 직접적으로 반복 할 수

filenames = glob.glob('*.txt') 
for filename in filenames: 
    with open(filename, 'rb') as g: 
     ...