SLURM에서 파일 목록 처리

Question

SLURM을 처음 사용합니다. 병렬로 긴 파일 목록을 처리하고 싶습니다. 특히, 내가

./process.sh filename 

지금은 같은 파일 목록에 많은 파일을 처리 할

같은 하나를 처리하는 스크립트가

file1 
file2 
file3 
... 
file10000 

내가 즉 (병렬 파일 목록을 처리하려면 어떻게

, SLURM을 사용하여 16 개의 CPU 사용)?

Answer 1

아마도 --array 옵션을 사용할 수 있습니다. 예를 들어, 계산 노드가 공유되는 경우 다음 작업 스크립트는 수행하려는 작업과 비슷해야합니다.

#SBATCH -J JOBNAME 
#SBATCH -o JOBNAME.%J.stdout 
#SBATCH -e JOBNAME.%J.stderr 
#SBATCH -n 1 
#SBATCH --array 1-10000 

./process.sh file${SLURM_ARRAY_TASK_ID}