2017-05-09 1 views
0

나는 YARN에서 불꽃을 달리고있다. 포트 8088의 원사 UI에서 나는 잘 실행되고있는 것을 볼 수 있으며, 오른쪽에 ApplicationMaster을 클릭하면 작업이 점화 중이라고 표시됩니다.언제 spark master는 메모리가 사용 중이고 çores가 사용 중임을 보여 줍니까?

그러나 불꽃 마스터에 대해 18080 포트로 갔을 때 "사용중인 메모리"가 0이고 "사용중인 코어"가 0이고 "응용 프로그램 : 0 실행 중"인 것으로 나타났습니다.

어떻게 응용 프로그램을 실행하고 코어와 메모리를 사용하고 있음을 알리는 스파크 마스터를 얻으려면 어떻게해야합니까? 내가 디스크에 쓰여지는 것을 볼 수 있기 때문에 일이 분명히 진행되고 있지만 스파크 마스터가 왜 최신이 아닌지?

답변

1

스파크 마스터는 스파크 스탠드 얼론의 구성 요소입니다. Yarn과 Spark Standalone은 모두 클러스터 관리자입니다. 둘 중 하나만 사용해야합니다. 원사에 신청서를 제출하면 Spark Master에서 해당 원고를 볼 수 없습니다. 이 경우 클러스터 자원은 Spark Master가 아닌 Yarn에 의해 관리됩니다.

관련 문제