파이썬은 라인 단위로 서브 프로세스에서 stdout을 캡쳐합니다.

Question

많은 질문을 읽었으며 많은 것을 배웠습니다.하지만 여전히 문제를 해결할 수 없었습니다. C++ 실행 파일을 실행하고 실행 파일에서 stdout을 실시간으로 표시하는 wxPython 앱을 빌드하고 있습니다. 이 작품을 만들려고 몇 가지 이상한 결과가 나타났습니다. 나는 서브 프로세스를 완료하는 데 시간이 오래 걸리는 위의 코드를 실행하면이 할 수있는 모든 데이터와 출구를 쓰는 경우에도

//test.cc (compiled as test.out with gcc 4.5.2) 
#include <stdio.h> 
int main() 
{ 
    FILE* fh = fopen("output.txt", "w"); 
    for (int i = 0; i < 10000; i++) 
    { 
     printf("Outputting: %d\n", i); 
     fprintf(fh, "Outputting: %d\n", i); 
    } 
    fclose(fh); 
    return 0; 
} 

#wxPythonScript.py (running on 2.7 interpreter) 
def run(self): 
    self.externalBinary = subprocess.Popen(['./test.out'], shell=False, stdout=subprocess.PIPE) 
    while not self.wantAbort: 
     line = self.externalBinary.stdout.readline() 
     wx.PostEvent(self.notifyWindow, Result_Event(line, Result_Event.EVT_STDOUT_ID)) 
    print('Subprocess still running') 
    print('Subprocess aborted smoothly') 

: 여기 내 현재 설정/문제입니다. 그러나 내가 실행하는 경우 매우 빠르게 완료된 다음 나는 PIPE에 서브 프로세스에서 표준 출력 리디렉션 때마다 다운/정지 속도가 느려 그래서 기본적으로

#wxPythonScript.py (running on 2.7 interpreter) 
def run(self): 
    outFile = open('output.txt', 'r+') 
    self.externalBinary = subprocess.Popen(['./test.out'], shell=False, stdout=outFile) 
    while not self.wantAbort: 
     #line = self.externalBinary.stdout.readline() 
     #wx.PostEvent(self.notifyWindow, Result_Event(line, Result_Event.EVT_STDOUT_ID)) 
    print('Subprocess still running') 
    print('Subprocess aborted smoothly') 

을,하지만 난 파일에 기록하거나 리디렉션하지 않는 경우 그때는 괜찮습니다. 왜 그런가요?

Answer 1

I는 Windows에서이 테스트를하지만 2.6.6에서 작동, 2.7.2 및 3.2.1 :

from __future__ import print_function 
from subprocess import PIPE, Popen 
from threading import Thread 
import sys 

try: 
    from Queue import Queue, Empty 
except ImportError: 
    from queue import Queue, Empty # python 3.x 

ON_POSIX = 'posix' in sys.builtin_module_names 

def enqueue_output(out, queue): 
    for line in iter(out.readline, b''): 
     line = line.decode(sys.stdout.encoding) 
     queue.put(line) 
    out.close() 

def main(): 
    p = Popen(['c/main.exe'], stdout=PIPE, bufsize=1, close_fds=ON_POSIX) 
    q = Queue() 
    t = Thread(target=enqueue_output, args=(p.stdout, q)) 
    t.daemon = True # thread dies with the program 
    t.start() 

    #initially the queue is empty and stdout is open 
    #stdout is closed when enqueue_output finishes 
    #then continue printing until the queue is empty 

    while not p.stdout.closed or not q.empty(): 
     try: 
      line = q.get_nowait() 
     except Empty: 
      continue 
     else: 
      print(line, end='') 
    return 0 

if __name__ == '__main__': 
    sys.exit(main()) 

출력 :

Outputting: 0 
Outputting: 1 
Outputting: 2 
... 
Outputting: 9997 
Outputting: 9998 
Outputting: 9999 

편집 :

readline()은 프로그램의 stdout 버퍼가 플러시 될 때까지 차단 될 것이며, 데이터 스트림이 간헐적 일 경우 오랜 시간이 걸릴 수 있습니다. 소스를 편집 할 수있는 경우 fflush (stdout)를 수동으로 호출하거나 프로그램 시작시 setvbuf를 사용하여 버퍼링을 비활성화 할 수 있습니다. 예를 들어

#include <stdio.h> 

int main() { 

    setvbuf(stdout, NULL, _IONBF, 0); 

    FILE* fh = fopen("output.txt", "w"); 
    int i; 

    for (i = 0; i < 10; i++) { 
     printf("Outputting: %d\n", i); 
     fprintf(fh, "Outputting: %d\n", i); 
     sleep(1); 
    } 

    fclose(fh); 
    return 0; 
} 

또한 기존의 프로그램의 출력 스트림을 수정하거나 unbufferstdbuf를 사용하여 조사.