두 개의 마스터 노드가있는 스파크 클러스터. 가능한가?

Question

노드가 223 개 인 Spark 클러스터가 있다고 가정합니다. 예를 들어 Zookeeper으로 조정할 마스터 노드 2 개를 마스터 노드에 둘 수 있습니까?

하나의 마스터 노드는 대기 노드입니다.

Answer 1

가능합니다. 를 사용하여 다음과 같은 conf의 옵션 :이 구성을 사용하여 스파크 ENV에 SPARK_DAEMON_JAVA_OPTS을 설정할 수 있습니다이 복구 모드를 활성화하기 위해

구성

:

spark.deploy을 의미 시스템 속성 .recoveryMode 대기 마스터 복구 모드를 활성화하려면 ZOOKEEPER로 설정하십시오 (기본값 : NONE).

spark.deploy.zookeeper.url ZooKeeper 클러스터 URL (예 : 192.168.1.100:2181,192.168.1.101:2181).

spark.deploy.zookeeper.dir ZooKeeper의 복구 상태를 저장하는 디렉토리입니다 (기본값 :/spark).

Standby Masters with ZooKeeper