아파치 스파크 1.5.0의 메모리 설정을 조정하려면 어떻게해야합니까?

Question

스파크 1.5.0에서 실행되는 응용 프로그램의 힙과 힙 메모리를 조정하려면 어떻게해야합니까? "-XX + PrintGCDetails -XX : + PrintGCTimeStamps"를 사용하여 $ SPARK_HOME/work/application_id/stdout 파일에서 검색된 GC 보고서에서 JVM은 약 1 분마다 GC를 계속 유지합니다. - executor-memory 50g 옵션과 다양한 --conf spark.storage.memoryFranction 값을 통해 50g 실행기 메모리가 할당되지만 PSYoungGen 영역은 항상 (PSYoungGen + ParOldGen)의 30 %를 차지합니다. PSPermGen은 항상 99 % 사용량으로 54,272KB를 유지합니다. 하지만가 이

그것은 작동하지 않습니다 , - 'PermSize = 8g : Xms50g -XX : Xmx50g -XX XX'

1. spark.executor.extraJavaOptions =이 : 나는 시도 무엇

   많은 블로그가이 설정을 보장합니다.

   모두 spark-env.sh에 설정
2. JAVA_OPTS
   및 불꽃 default.conf 그것은 더 명시 적으로 힙과

   작동하지 않습니다

   및 스파크 1.5.0의 오프 힙 메모리 설정, 내 문제의 해결책은 무엇입니까? 감사!

Answer 1

당신이 어떤 실제 데이터, 데이터의 자신의 분석을 게시하지 않은 때문에 JVM은 약 1 분마다

에서 GC에 계속

, 내가 확실히 말할 수 없다 있지만, 일반적으로 1 GC 분당 사건은 완벽하게 정상적입니다. 따라서 튜닝이 필요 없습니다.