다른 노드의 다른 입력 파일을 사용하여 실행 파일을 실행하기위한 SGE 설정

Question

SLURM 스케줄러를 사용하여 클러스터 작업을 했었지만 이제는 SGE 기반 클러스터로 전환해야합니다. 그것의 걸림 새를 얻으십시오. 내가 SLURM 시스템에 일하는 것은

slurmConf.conf SLURM configuration file 
    0 /path/to/exec /path/to/input1 
    1 /path/to/exec /path/to/input2 
    2 /path/to/exec /path/to/input3 
    3 /path/to/exec /path/to/input4 
    4 /path/to/exec /path/to/input5 
    5 /path/to/exec /path/to/input6 
    6 /path/to/exec /path/to/input7 
    7 /path/to/exec /path/to/input8 
    8 /path/to/exec /path/to/input9 
    9 /path/to/exec /path/to/input10 

그리고 SLURM 내 작업 제출 스크립트는이 라인을 포함, N 입력 파일을 사용하여 실행 파일을 실행하고,이 방식에 SLURM 구성 파일을 설정 포함;

srun -n $SLURM_NNODES --multi-prog $slconf 
$slconf refers to a path to that configuration file 

이 설정은 10 개의 노드를 사용하여 동시에 10 개의 다른 입력으로 실행 파일을 실행하려는 경우에 효과적이었습니다. 이제 방금 SGE 시스템으로 전환 했으므로 동일한 작업을 수행하려고하지만 매뉴얼을 읽으려고 시도했지만 SLURM과 비슷한 것을 찾지 못했습니다. SGE 시스템에서 동일한 것을 달성하는 방법에 대해 나에게 약간의 빛을 주시겠습니까?

대단히 감사합니다!

Answer 1

Grid Engine의 "작업 배열"기능을 사용할 수 있습니다.

쉘 스크립트 sge_job.sh

#!/bin/sh 
# 
# sge_job.sh -- SGE job description script 
# 
#$ -t 1-10 
/path/to/exec /path/to/input$SGE_TASK_ID 

을 만들고 qsub에 SGE이 스크립트를 제출합니다.

qsub sge_job.sh 

Answer 2

드미트리 Chubarov의 대답은 우수하고, 많은 일자리를 (> 1000) 제출시는 제출 노드에 적은 부하를 배치로 가장 강력한 방법은 계속합니다. 또는, for 루프에서 qsub을 포장 할 수 있습니다 입력이 쉽게 정수의 범위로 포착되지 않는 변화 어떤 경우

for i in {1..10} 
do 
    echo "/path/to/exec /path/to/input${i}" | qsub 
done 

은 가끔 위를 사용합니다.

예 : 내 또는 드미트리의 대답은 유용 경우

for f in `ls /some/path/input*` 
do 
    echo "/path/to/exec ${f}" | qsub 
done