스파크 UI가없는 AWS EMR의 스파크 클러스터 모니터링

Question

AWS EMR에서 스파크 클러스터를 실행 중입니다. 스파크 UI를 사용하지 않고 AWS EMR에서 실행중인 작업 및 집행자의 모든 세부 정보를 얻으려면 어떻게해야합니까? 나는 그것을 모니터링과 최적화에 사용할 것이다.

Answer 1

클러스터 상태에 대해 체크 아웃 할 수 있지만 스파크로 실행중인 작업은이 도구로 볼 수 없습니다.

Answer 2

AWS EMR을 사용하는 경우 lynx 서버를 사용하여이를 수행 할 수 있습니다. 아래처럼.

1. 클러스터의 마스터 노드에 로그인하십시오.
는 아래의 명령을

살쾡이 http://localhost:4040

참고하십시오 : 당신이 명령을 입력하기 전에 작업

을 실행하고 있는지 확인