./bin/spark-submit을 사용하여 Spark 작업을 실행하고 있습니다. 잘 실행되지만 Spark 웹 UI를 열면 완료된 목록에서 작업을 볼 수 없습니다.Spark 웹 UI에서 완료된 작업을 볼 수 없습니다.
./bin/spark-submit --name "myapp" --master local --conf "spark.master=spark://fahad:7077" --class com.apptest.App ~/app-0.0.1-SNAPSHOT.jar
참고 : 스파크 버전 2.0.1, 1 개 작업자 실행, 모두 노동자와 마스터 ./sbin/start-*.sh 스크립트에서 실행 localhost:8080에서 마스터 UI.
두 가지 UI, 일반 Spark UI 및 Spark History Server가 있습니다.
완료 후 작업을 표시하는 서버는 히스토리 서버입니다.
http://spark.apache.org/docs/latest/monitoring.html
그들은 당신이 실행을 시작하는 데 필요한 문서에 설명 :
./sbin/start-history-server.sh
이것은 가 불완전하고 완성 된 응용 프로그램 및 시도를 나열 기본적으로 http://server-url:18080에서 웹 인터페이스를 생성 .
가파일 시스템 공급자 클래스를 사용하는 경우 (아래 spark.history.provider 참조), 기본 로깅 디렉토리가 spark.history.fs.logDirectory 구성 옵션에 제공해야하며, 하위 디렉토리를 포함해야 각 응용 프로그램의 이벤트 로그를 나타냅니다.
스파크 작업 자체는 이벤트를 기록하고 동일한 공유 가능 쓰기 가능 디렉토리에 을 기록하도록 구성되어야합니다. 예를 들어, 서버는 HDFS의 로그 디렉토리로 구성된 경우 : // 네임 노드/공유/스파크 로그, 다음 클라이언트 측 옵션 다음과 같습니다
이 spark.eventLog.enabled 사실 spark.eventLog .dir hdfs : // namenode/shared/spark-logs