Spark 응용 프로그램의 실행 프로그램 IP를 확인하는 방법은 무엇입니까?

Question

실행 파일의 모든 IP를 얻고 싶습니다. Spark의 어떤 API를 사용해야합니까? 아니면 런타임에 IP를 얻기위한 다른 방법이 있습니까?

Answer 1

Apache Spark에는 실행자 호스트 IP를 반환하는 executorHost() 메소드가있는 ExecutorInfo 클래스가 있습니다.

Answer 2

SparkListener 추상 클래스를 사용하고 두 개의 실행 프로그램 관련 이벤트 - SparkListenerExecutorAdded 및 SparkListenerExecutorRemoved을 차단해야합니다.

override def onExecutorAdded(executorAdded: SparkListenerExecutorAdded): Unit = { 
    val execId = executorAdded.executorId 
    val host = executorAdded.executorInfo.executorHost 
    executors += (execId -> host) 
    println(s">>> executor id=$execId added on host=$host") 
} 

override def onExecutorRemoved(executorRemoved: SparkListenerExecutorRemoved): Unit = { 
    val execId = executorRemoved.executorId 
    val host = executors remove execId getOrElse "Host unknown" 
    println(s">>> executor id=$execId removed from host=$host") 
} 

전체 작업 프로젝트는 내 Spark Executor Monitor Project입니다.