스파크 집행자 GC 복용이 길어짐

Question

독립 실행 형 클러스터에서 스파크 작업을 실행 중입니다. 언젠가 GC가 오래 걸리고 빨간색 무서운 색상이 표시되기 시작했습니다.

Cores in use: 80 Total, 76 Used 
Memory in use: 312.8 GB Total, 292.0 GB Used 

작업 세부 정보 :

spark-submit --class com.mavencode.spark.MonthlyReports 
--master spark://192.168.12.14:7077 
--deploy-mode cluster --supervise 
--executor-memory 16G --executor-cores 4 
--num-executors 18 --driver-cores 8 
--driver-memory 20G montly-reports-assembly-1.0.jar 

가 어떻게이 GC 시간이 너무 오래 걸리는 수정합니까 여기

사용할 수있는 자원이다?

Answer 1

동일한 문제가있어서 G1GC 대신 Parallel GC를 사용하여 해결할 수 있습니다. 실행 요청자의 추가 Java 옵션에 다음 옵션을 추가 할 수 있습니다.

-XX:+UseParallelGC -XX:+UseParallelOldGC