파이썬 서브 프로세스 : 너무 많은 파일 열기

Question

서브 프로세스를 사용하여 다른 프로그램을 호출하고 리턴 값을 변수에 저장합니다. 이 과정은 루프에서 반복, 몇 천 시간 후 프로그램은 다음 오류와 함께 추락이 문제를 해결하는 방법

Traceback (most recent call last): 
    File "./extract_pcgls.py", line 96, in <module> 
    SelfE.append(CalSelfEnergy(i)) 
    File "./extract_pcgls.py", line 59, in CalSelfEnergy 
    p = subprocess.Popen(cmd, stdout=subprocess.PIPE, shell=True) 
    File "/usr/lib/python3.2/subprocess.py", line 745, in __init__ 
    restore_signals, start_new_session) 
    File "/usr/lib/python3.2/subprocess.py", line 1166, in _execute_child 
    errpipe_read, errpipe_write = _create_pipe() 
OSError: [Errno 24] Too many open files 

어떤 생각이 많이 감사합니다! 댓글에서 제공

코드 :

cmd = "enerCHARMM.pl -parram=x,xtop=topology_modified.rtf,xpar=lipid27_modified.par,nobuildall -out vdwaals {0}".format(cmtup[1]) 
p = subprocess.Popen(cmd, stdout=subprocess.PIPE, shell=True) 
out, err = p.communicate() 

Answer 1

을 그 문제는 내가 처리했다는 사실 때문이었다고 생각한다 하위 프로세스가있는 열린 파일 :

cmd = "enerCHARMM.pl -par param=x,xtop=topology_modified.rtf,xpar=lipid27_modified.par,nobuildall -out vdwaals {0}".format(cmtup[1]) 
p = subprocess.Popen(cmd, stdout=subprocess.PIPE, shell=True) 

여기서 cmd varia ble는 방금 생성되었지만 닫히지 않은 파일의 이름을 포함합니다. 그런 다음 subprocess.Popen은 해당 파일에 대한 시스템 명령을 호출합니다. 여러 번이 작업을 수행 한 후 프로그램이 해당 오류 메시지와 충돌했습니다.

그래서 나는이 배운 메시지가

Close the file you have created, then process it

감사

Answer 2

당신은 OS의 오픈 파일 제한 올리는 시도 할 수 있습니다

:

ulimit -n 2048

Answer 3

가 서브 프로세스에서 파일을 열 수 있습니다. 통화를 차단하고 있습니다.

맥 OSX (엘 카피 탄) 현재 구성보기에서

ss=subprocess.Popen(tempFileName,shell=True) 
ss.communicate() 

Answer 4

:

#ulimit -a 
core file size   (blocks, -c) 0 
data seg size   (kbytes, -d) unlimited 
file size    (blocks, -f) unlimited 
max locked memory  (kbytes, -l) unlimited 
max memory size   (kbytes, -m) unlimited 
open files      (-n) 256 
pipe size   (512 bytes, -p) 1 
stack size    (kbytes, -s) 8192 
cpu time    (seconds, -t) unlimited 
max user processes    (-u) 709 
virtual memory   (kbytes, -v) unlimited 

설정 열려있는 파일 값 10K에 :

#ulimit -Sn 10000 

확인 결과 :

#ulimit -a 

core file size   (blocks, -c) 0 
data seg size   (kbytes, -d) unlimited 
file size    (blocks, -f) unlimited 
max locked memory  (kbytes, -l) unlimited 
max memory size   (kbytes, -m) unlimited 
open files      (-n) 10000 
pipe size   (512 bytes, -p) 1 
stack size    (kbytes, -s) 8192 
cpu time    (seconds, -t) unlimited 
max user processes    (-u) 709 
virtual memory   (kbytes, -v) unlimited 

Answer 5

을

Popen()으로 생성 된 하위 프로세스는 부모로부터 열린 파일 기술자 (유한 리소스)를 상속 할 수 있습니다. 피하기 위해 POSIX에서 close_fds=True을 사용하십시오 (기본값은 파이썬 3.2 이후입니다). 또한, "PEP 0446 -- Make newly created file descriptors non-inheritable" deals with some remaining issues (since Python 3.4).

다른 사람이 언급 한 것처럼

Answer 6

,는 /etc/security/limits.conf에 제한을 높이고 또한 파일 기술자는 개인적으로 나에게 문제가 있었다, 그래서 나는

sudo sysctl -w fs.file-max=100000 

를하고 fs.file와 라인을 추가 - 최대 = 100000, 당신은 당신의 프로세스가 (광산이었다) 아무것도의 영향을받지 않습니다 있는지 확인하려는 경우 또한

을 (의 sysctl -p로 다시로드) /etc/sysctl.conf에 사용하는

cat /proc/{process id}/limits 

당신의 프로세스의 실제 한계가 무엇인지 나에게 알려주기 바란다. 파이썬 스크립트를 실행하는 소프트웨어에는 시스템 전체 설정을 오버라이드 한 한계가 적용되었다.

이 오류와 관련된 특정 문제를 해결 한 후이 대답을 게시하면 도움이되기를 바랍니다.