각 Spark 실행 프로그램에 대해 사용자 정의 java.rmi.server.hostname을 설정하십시오.

Question

Spark 프로세스가 YARN (10 명의 직원과 10 개의 호스트)에서 실행 중이며 실행 프로그램에서 JMX를 사용할 수 있기를 바랍니다. 단순화하기 위해 포트 충돌을 피하기 위해 각 호스트에 최대 하나의 집행자가있을 것이라고 확신합니다.

각 호스트에 다른 java.rmi.server.hostname이 있어야하므로 Spark Conf에서 spark.executor.extraJavaOptions을 사용할 수 없습니다.

YARN 컨테이너/스파크 집행자마다 맞춤 자바 옵션을 설정하는 방법을 찾지 못했습니다. 어떻게 진행하겠습니까?

저는 동적으로 System.setProperty("java.rmi.server.hostname", ...)으로 설정해야한다고 생각하지만 "실행 프로그램을 시작할 때"후크가 없습니다. 나는?

당신은 spark.executor.extraJavaOptions이 유사 사용할 수 있습니다

Answer 1

:

-Dcom.sun.management.jmxremote.port=9999 
-Dcom.sun.management.jmxremote.rmi.port=9999 
-Dcom.sun.management.jmxremote.authenticate=false 
-Dcom.sun.management.jmxremote.ssl=false 
-Dcom.sun.management.jmxremote.local.only=false