기존 Apche-Spark 독립 실행 형 클러스터로 메소 구성

Question

저는 Apache-spark의 초보자입니다! 4 대의 PC를 사용하여 Spark 독립형 클러스터를 설정했습니다. 기존의 Spark 독립형 클러스터에서 Mesos를 사용하고 싶습니다. 그러나 나는 Mesos를 먼저 설치하고 스파크를 구성해야한다고 읽었습니다.

나는 Mesos 설정에 관한 Spark Documentation을 보았지만 나에게 도움이되지 못한다.

그래서 기존의 스파크 독립형 클러스터로 메소를 구성하는 방법은 무엇입니까?

Answer 1

메소 스는 독립 실행 형 스파크 관리자에 대한 대체 클러스터 관리자입니다. 당신은 그것을 사용하지 않고 대신 사용합니다.

• 는 메소 클러스터 https://mesos.apache.org/gettingstarted/
• 이 메소 네이티브 라이브러리를 배포해야합니다 따라 만들려면 메소 디스패처 (sbin/start-mesos-dispatcher.sh)를 시작 클러스터 모드 작업
• 을 제출하는 데 사용하는 기계로 볼 수 있습니다.
• Mesos 마스터 URI (클라이언트 모드) 또는 디스패처 URI (클러스터 모드)를 사용하여 응용 프로그램을 제출하십시오.