Spark GraphX ​​응용 프로그램의 실행 시간을 측정하는 방법은 무엇입니까?

Question

Graphx를 사용하여 프로그램의 총 실행 시간을 찾는 가장 확실한 방법은 무엇입니까? 히스토리 서버를 사용하거나 System.currentTimeMillis() 또는 다른 프로그램 사용 변수를 사용하는 것이 가장 좋습니다.

Answer 1

Spark GraphX ​​애플리케이션의 측정 실행 시간은 다른 Spark 애플리케이션의 성능 측정과 다를 바 없습니다.

Spark 응용 프로그램이 실행 중일 때 웹 UI를 사용하고 Spark History Server를 사용하는 것이 좋습니다.

SparkListener을 사용하여 웹 UI와 비슷한 것을 만들 수도 있습니다 (모든 웹 UI는 단지 SparkListeners의 무리 일뿐입니다).

System.currentTimeMillis()도 작동하지만, 거의 전부 (그렇지 않은 경우?)가 이미 스파크에서 사용 가능한 경우 바퀴를 다시 발명해야하는 이유는 무엇입니까?