스파크 정리 작업이 실행되고 있지 않음

Question

dse spark-submit <jarname>을 수행 할 때마다 SPARK_WORKER_DIR (내 경우에는/var/lib/spark-worker/worker-0)에 jar 파일이 복사됩니다. 스파크 작업이 성공적으로 완료/실행되면 항아리가 자동으로 삭제되기를 원합니다.

export SPARK_WORKER_OPTS="$SPARK_WORKER_OPTS -Dspark.worker.cleanup.enabled=true -Dspark.worker.cleanup.interval=1800" 

을하지만 항아리가 아직 삭제되지되어 다음과 같이 this을 사용하여, 나는 spark-env.sh 내 SPARK_WORKER_OPTS을 변경했습니다. 내가 뭔가 잘못하고 있는거야? 어떻게해야합니까?

Answer 1

spark-env.sh이 라인을 추가 및 DSE 서비스가 나를 위해 일한 다시 시작 : 나는

nodetool drain 
sudo service dse restart 

이 2 일 후에 로그를 삭제하여 DSE 서비스를 다시 시작

export SPARK_WORKER_OPTS="$SPARK_WORKER_OPTS -Dspark.worker.cleanup.enabled=true -Dspark.worker.cleanup.interval=3600 -Dspark.worker.cleanup.appDataTtl=172800 " 

작업이 완료되었습니다.