파이프 라인 용 멋진 도구를 보내 주셔서 감사합니다!snakemake LSF 문제
저는 명령 줄에서 잘 작동하는 파이프 라인을 가지고 있습니다 (snakemake -l --snakefile snakemake_example/sankefile_test9.txt). 나는 그것을 클러스터에서 사용할 수 있기를 원합니다. 파이프 라인은 샘플 (설정 파일에 지정되어 있음)을 취해 몇 단계의 처리를 실행합니다. 이것은 rna-seq 파이프 라인입니다. 나는 다음 두 가지 옵션을 사용하여 클러스터에 제출하려고 시도했다 : 1. snakemake --snakefile sankefile_test9_config.txt - jobs 999 - cluster 'bsub -q bio -R "rusage [mem = 4000]"'2.snakemake --snakefile sankefile_test9_config.txt --cluster 'BSUB -q 바이오는'위의 예외 처리하는 동안
Provided cluster nodes: 48
Job counts:
count jobs
1 all
2 collate_barcodes
2 correct_counts
2 count_reads
2 dedup_counts
2 extract_gz_samples
2 mark_duplicaticates
2 move_bc
2 run_cutadapt
2 star_mapping
19
rule extract_gz_samples:
input: cluster_fastq/Zelzer_M_Spindle_M_1.R1.fastq.gz, cluster_fastq/Zelzer_M_Spindle_M_1.R2.fastq.gz
output: cluster_fastq/Zelzer_M_Spindle_M_1.R1.fastq, cluster_fastq/Zelzer_M_Spindle_M_1.R2.fastq
wildcards: sample=cluster_fastq/Zelzer_M_Spindle_M_1
Memory reservation is (MB): 2048
Memory Limit is (MB): 2048
rule extract_gz_samples:
input: cluster_fastq/WT_M_DT_T_393.R1.fastq.gz, cluster_fastq/WT_M_DT_T_393.R2.fastq.gz
output: cluster_fastq/WT_M_DT_T_393.R1.fastq, cluster_fastq/WT_M_DT_T_393.R2.fastq
wildcards: sample=cluster_fastq/WT_M_DT_T_393
Memory reservation is (MB): 2048
Memory Limit is (MB): 2048
Waiting at most 5 seconds for missing files.
Exception in thread Thread-1:
Traceback (most recent call last):
File "/apps/RH6U4/python/3.5.2/lib/python3.5/site-packages/snakemake/dag.py", line 257, in check_and_touch_output
wait_for_files(expanded_output, latency_wait=wait)
File "/apps/RH6U4/python/3.5.2/lib/python3.5/site-packages/snakemake/io.py", line 341, in wait_for_files
latency_wait, "\n".join(get_missing())))
OSError: Missing files after 5 seconds:
cluster_fastq/Zelzer_M_Spindle_M_1.R1.fastq
cluster_fastq/Zelzer_M_Spindle_M_1.R2.fastq
을 -j, 다른 예외가 발생했습니다
역 추적 (가장 최근 통화 최종) :
파일 "/ 애플 리케이션을 /RH6U4/python/3.5.2/lib/python3.5/threading.py "914 줄, _bootstrap_inner에서
self.run()
파일"/apps/RH6U4/python/3.5.2/l ib/python3.5/threading.py ", 줄 862, 실행 중 self._target (* self._args, ** self._kwargs)
파일"/apps/RH6U4/python/3.5.2/lib/python3 .5/site-packages/snakemake/executors.py ", 줄 517, _wait_for_jobs에서 self.finish_job (active_job.job)
파일"/apps/RH6U4/python/3.5.2/lib/python3.5/site -packages/snakemake/executors.py ", 426 줄, finish_job
super(). finish_job (작업, upload_remote = False) 파일"/apps/RH6U4/python/3.5.2/lib/python3.5/site -packages/snakemake/executors.py ", 153 행의 finish_job
super(). finish_job (작업, upload_remote = 업로드 _ 원격) 파일"/apps/RH6U4/python/3.5.2/lib/python3.5/site -packages/snakemake/executor. py ", line 111, finish_job
self.dag.check_and_touch_output (작업, 대기 = 자체. 지연 대기)
파일"/apps/RH6U4/python/3.5.2/lib/python3.5/site-packages/snakemake /dag.py "check_and_touch_output
인상 MissingOutputException 라인 (259), (STR (E) = 규칙 job.rule)
snakemake.exceptions.MissingOutputException 5 초 후에없는 파일 :
cluster_fastq/Zelzer_M_Spindle_M_1.R1.fastq
cluster_fastq/Zelzer_M_Spindle_M_1.R2.fastq
^C^H^사용자 요청에 대한 CTerminating 프로세스.
현재 실행중인 작업을 마친 후에 종료됩니다. 그들이 손상 될 수 있기 때문에 실패한 작업의 extract_gz_samples의
제거 출력 파일 :
cluster_fastq/Zelzer_M_Spindle_M_1.R1.fastq, cluster_fastq/Zelzer_M_Spindle_M_1.R2.fastq
들이 손상 될 수 있기 때문에 실패한 작업의 extract_gz_samples의 출력 파일을 제거 :
cluster_fastq /WT_M_DT_T_393.R1.fastq, cluster_fastq/WT_M_DT_T_393.R2.fastq
이 시점에서 프로그램이 멈춘 것 같습니다 (^ C^H^C, 내 휴식 참조). 다른 세션) bjobs를 사용하면 대기열에 작업이 없습니다.
귀하의 조언에 감사드립니다.
고마워,
우리는 우리의 클러스터에서 비슷한 문제가 있었다
--dryrun을 먼저 실행 해 보셨습니까? – Andreas
대기 시간 문제 일 수 있습니다. 명령 줄에서 "--latency-wait 100"을 사용해보십시오. –