드라이버 프로세스를 Spark 클러스터 외부에서 실행할 수 있습니까?

Question

나는 당신은 당신의 노트북에 스파크가 제출 실행할 수 있습니다 (클라이언트 모드에서) What conditions should cluster deploy mode be used instead of client?에서 답변,

을 읽고, 드라이버 프로그램은 노트북에서 실행됩니다.

또한, 스파크 박사는 말한다, 클라이언트 모드에서

는 드라이버가 응용 프로그램을 제출하는 클라이언트와 동일한 프로세스에서 실행됩니다.

마스터에서 도달 할 수 있고 스파크 환경이있는 한 모든 컴퓨터에서 스파크 작업을 제출할 수 있다는 의미입니까?

다른 말로하면 드라이버 프로세스를 Spark 클러스터 외부에서 실행할 수 있습니까?

Answer 1

예, 드라이버는 랩톱에서 실행할 수 있습니다. 하지만 염두에 두십시오 :

• 스파크 드라이버는 YARN 및 HDFS와 통신 할 수 있도록 Hadoop 구성이 필요합니다. 클러스터에서 복사하여 HADOOP_CONF_DIR을 통해이를 가리킬 수 있습니다.
• Spark 드라이버는 많은 포트에서 수신 대기하고 실행 프로그램이이 포트에 연결할 수 있다고 기대합니다. 랩톱의 호스트 이름을 알립니다. 해결할 수 있고 모든 포트가 클러스터 환경에서 액세스되는지 확인하십시오.

Answer 2

예, 저는 --deploy-mode cluster 옵션을 사용하여 LAN을 통해 spark-submit 작업을 실행하고 있습니다. 현재 this 문제로 실행 중 : 서버 응답 (json 개체)은 그리 설명 적이 지 않습니다.