Python에서 재진입하는 하위 프로세스?

Question

subprocess 모듈을 사용하여 일부 처리를 오프로드하는 Python 모듈이 있습니다. 모듈은 stdin 및 stdout 이상의 파이프를 사용하여 subprocess.communicate 메서드를 통해 데이터를 읽고 씁니다. 서브 프로세스 중 하나가 파이썬 모듈을 다시 입력하고 또 다른 서브 프로세스를 생성합니다. 부모 하위 프로세스에서 stdin 및 stdout 파일 설명자가 사용 중이므로 응용 프로그램이 교착 상태가됩니다.

어디서나 임시 파일을 만들고 정리할 필요없이이 교착 상태를 피할 수있는 방법이 있습니까?

내 시나리오는 다음과 같습니다. FastCGI 서버에서 실행되는 웹 응용 프로그램입니다. PDF 파일에 대한 요청이 있으면 하위 프로세스가 생성되어 타사 응용 프로그램 (wkhtmltopdf)을 시작하여 PDF를 작성합니다. 이 응용 프로그램은 내 FastCGI 모듈을 통해 이미지를 다운로드하기 시작합니다. 동일한 프로세스을 PDF 작성자의 부모 프로세스로 다운로드합니다. 이미지를 가져 오는 것은 subprocess을 통해 다른 타사 응용 프로그램을 호출합니다. 이는 stdin 및 stdout이 PDF 작성자 하위 프로세스에서 이미 사용되고 있기 때문에 교착 상태에 빠집니다.

이 문제는 this blog post (끝 부분)에서 언급되었지만 후속 솔루션이 제공되지 않았습니다. 임시 파일을 사용해야 할 수도 있지만 파이프를 선호합니다. 누구든지 전에이 문제가 발생 했습니까?

Answer 1

귀하의 분석이 정확하다고 생각하지 않습니다.

stdin 및 stdout이 PDF 작성자 프로세스에서 사용 중이므로 프로세스가 교착 상태가된다고합니다. 그러나 하위 프로세스 모듈을 사용하여 시작되었으므로 PDF 작성자 프로세스의 표준 및 표준 출력 파일은 FastCGI 프로세스의 일반 파이프 파일입니다. 여러 진행중인 하위 프로세스 "통신"통화를 동시에 진행할 수없는 이유는 없습니다.

그러나 "의사 소통"은 차단 호출입니다. 프로세스의 한 스레드가 comnunicate를 실행하는 동안 해당 스레드는 이미지에 대한 HTTP 요청 처리와 같은 다른 작업을 수행 할 수 없습니다.

이 경우 하나의 솔루션은 서버를 멀티 스레드로 만드는 것입니다. 대부분의 웹 서버가 여러 스레드에서 동시에 여러 요청을 처리 할 수 ​​있기 때문에 아직 그렇지 않다는 사실에 놀랐습니다. 따라서 이것이 "잘 작동합니다".

하지만 어쩌면 당신은 "의사 소통"을 사용하는 방식에 뭔가 잘못되어있을 수 있습니다. 필자는 같은 프로세스에서 여러 개의 지속적인 "통신"호출을 동시에 사용하는 방법에 대한 작은 예제를 작성했습니다. 솔루션의 기본으로 사용할 수도 있습니다. 문제에 대해 더 많이 알지 못하면 더 나은 서비스를 받기가 어렵습니다.

import subprocess 
from threading import Thread 


sp1 = subprocess.Popen(["bash","-c","sleep 2;echo output1"], 
        stdin=subprocess.PIPE, 
        stdout=subprocess.PIPE,shell=False,close_fds=True) 

sp2 = subprocess.Popen(["bash","-c","sleep 1;echo output2"], 
        stdin=subprocess.PIPE, 
        stdout=subprocess.PIPE,shell=False,close_fds=True) 

def readfrom(which,sp): 
    print "Thread #%d starting."%(which,) 
    (stdout, stderr) = sp.communicate() 
    print "Thread #%d finished, output: %s"%(which,stdout) 

t1=Thread(target=readfrom,args=(1,sp1)) 
t2=Thread(target=readfrom,args=(2,sp2)) 
t1.start() 
t2.start() 
t1.join() 
t2.join()