SLURM/Sbatch가 많은 작은 출력 파일을 만듭니다.

Question

SLURM 클러스터에서 파이프 라인을 실행하고 있는데, 어떤 이유로 인해 slurm-XXXXXX.out의 줄을 따라 명명 된 작은 파일 (크기가 500-2000 바이트)이 많이 있습니다 (여기서 XXXXXX은 숫자). SLURM 웹 사이트에서이 파일들이 무엇인지 알아 내려고 노력했지만 그 파일에 대한 언급은 찾을 수 없습니다. 나는 그들이 내 파이프 라인을 파싱하는 동안 시스템이 사용하는 일종의 진행중인 파일이라고 생각한다.

중요한 점은, 실행중인 파이프 라인이 snakemake입니다. 그래도 전에는 이런 종류의 파일을 보았지만, 그때는 큰 문제가 아니 었습니다. snakemake이 없었습니다. 워크 플로우의 각 단계 후에이 파일의 작업 디렉토리를 지우면 진행중인 단계가 중단되므로 지금은 아무 것도하지 않을 것 같습니다.

이 파일은 무엇이며 출력을 억제하거나 해당 작업이 끝난 후에 어떻게 삭제할 수 있습니까? 나는 어떻게 든 워크 플로우를 엉망으로 만들었 는가?

Answer 1

sbatch 설명서를 참조하십시오. 기본적으로

표준 출력 및 표준 오류 모두 이름의 파일 "slurm- %의 j.out"로 보내집니다, 여기서 "거기에 설명 된대로 언급하는 파일은 기본적으로 SLURM 로그입니다 % j "는 작업 할당 번호로 바뀝니다.

--error=<filename pattern> 및 --output=<filename pattern> 명령 줄 옵션을 사용하여 파일 이름을 변경할 수 있습니다. filename_pattern은 documentation에서 설명한대로 대체 될 하나 이상의 심볼을 가질 수 있습니다.

나는 당신의 snakemake 워크 플로우가 클러스터에 작업을 많이 제출 추측

sbatch --output=/dev/null --error=/dev/null [...]