파이썬 subprocess.Popen & communicate()의 멀티 스레드 사용이 개선 되었습니까?

Question

저는 여러 명령을 실행 중입니다.이 명령은 Python 2.6을 실행하는 Linux 컴퓨터에서 병렬로 시간이 걸릴 수 있습니다.

따라서 여러 개의 명령 그룹을 병렬 처리하고 실행 후 즉시 출력을 캡처하려면 subprocess.Popen 클래스와 process.communicate() 메서드를 사용했습니다.

def run_commands(commands, print_lock): 
    # this part runs in parallel. 
    outputs = [] 
    for command in commands: 
     proc = subprocess.Popen(shlex.split(command), stdout=subprocess.PIPE, stderr=subprocess.STDOUT, close_fds=True) 
     output, unused_err = proc.communicate() # buffers the output 
     retcode = proc.poll()     # ensures subprocess termination 
     outputs.append(output) 
    with print_lock: # print them at once (synchronized) 
     for output in outputs: 
      for line in output.splitlines(): 
       print(line) 

은 다른 곳에서 다음과 같이라고 :

processes = [] 
print_lock = Lock() 
for ...: 
    commands = ... # a group of commands is generated, which takes some time. 
    processes.append(Thread(target=run_commands, args=(commands, print_lock))) 
    processes[-1].start() 
for p in processes: p.join() 
print('done.') 

예상되는 결과는 명령 그룹의 각 출력은 한 번에 실행이 병렬로 수행하는 동안 표시되는 것입니다.

그러나 두 번째 출력 그룹 (물론 두 번째 스레드는 예약 비결정성으로 인해 변경됩니다)에서 줄 바꿈없이 각 줄에 인쇄 된 문자 수만큼 공간을 추가하기 시작합니다. 입력 에코가 꺼져 있습니다 - 터미널 상태가 "왜곡"또는 "크래시"입니다. (reset 쉘 명령을 실행하면 정상으로 복원됩니다.)

처음에는 '\r'의 처리 이유를 찾으려했지만 그 이유가 아닙니다. 내 코드에서 볼 수 있듯이 splitlines()을 사용하여 올바르게 처리했으며 repr() 기능을 출력에 적용했음을 확인했습니다.

이유는 stdout/stderr에 대해 Popen 및 communicate()에 파이프를 동시 사용하는 것입니다. 파이썬 2.7에서 단축키 메서드 check_output을 시도했지만 성공하지 못했습니다. 물론 모든 명령 실행 및 인쇄를 직렬화하면 위에 설명한 문제가 발생하지 않습니다.

Popen과 communicate()을 병렬로 처리하는 더 좋은 방법이 있습니까?

Answer 1

최종 결과는 J.F.Sebastian의 의견에서 영감을 얻었습니다.

http://bitbucket.org/daybreaker/kaist-cs443/src/247f9ecf3cee/tools/manage.py

파이썬 버그 것 같다. 부분적으로 "/R"의 문제를 해결하기

for line in output.splitlines(): 

; 당신의 예제 코드에서

Answer 2

run_commands가 실제로 수행해야하는 것은 확실하지 않지만 단순히 서브 프로세스에서 폴링을 수행하고 리턴 코드를 무시하고 루프를 계속 수행하는 것처럼 보입니다. 출력물을 인쇄 할 부분에 도달하면 하위 프로세스가 완료되었음을 어떻게 알 수 있습니까?

Answer 3

나는의 사용을주의

for line in output.splitlines(True): 

의 사용이 도움이되었습니다.