spark-yarn 클러스터 환경에서 실행할 수있는 스파크 제출은 오직 하나뿐입니다.

Spark-yarn 클러스터 환경을 설정했는데 Spark (2.2.0)는 Windows 7에 있습니다. 원사 클러스터가 하프 업 2.7.3. 내가 SparkSQL를 사용하는 "스파크 쉘"를 실행spark-yarn 클러스터 환경에서 실행할 수있는 스파크 제출은 오직 하나뿐입니다.

spark-shell --master yarn --deploy-mode client --conf spark.yarn.archive=hdfs://hadoop_273_namenode_ip:namenode_port/spark-archive.zip

모든 것이 지금까지 OK,하지만 난 다른 "스파크 쉘을"시작할 때 메시지가 아래 결코 보인다 콘솔에 출력을 종료 : I은 F를 닫으면

17/10/17 17:33:53 INFO Client: Application report for application_1640_0003 (state: ACCEPTED)

ResourceManager에 웹 애플리케이션의 UI 상태

[application status] ACCEPTED: waiting for AM container to be allocated, launched and register with RM

를 도시 irst "스파크 셸", 두 번째는 잘 작동합니다.

동시에 (내 환경에서는) 여러 개의 스파크 셸 (스파크 제출)을 허용하지 않는 것 같습니다.

한계를 깨는 방법? AM 용기를 기다리고

출처

2017-10-19 jshen-quest

첫 번째 작업이 사용 가능한 모든 리소스를 차지할 수 있습니다. 따라서 두 번째 작업은 실행하기 전에 일부 작업을 무료로 기다려야합니다. – Shaido

은 첫 번째 JB 적은 리소스를 소비 할 수 있도록 그것은하는 Resouce의 제한이다

할당 할 수 있습니다.

첫 번째 작업이 사용 가능한 모든 리소스를 소비하고 두 번째 작업이 돌아올 때까지 아무 것도 무료가 아니므로 두 번째 작업은 리소스가 사용 가능할 때까지 기다려야합니다.

그래서 첫 번째 셸을 닫으면 다른 셸이 시작됩니다.

출처

2017-10-19 08:52:20 gsamaras

Thannks @gsamaras, 내가 사용했던 이전 버전 (8 vcpus, 28 GB 메모리)과 비교하여 더 강력한 머신 (16 vcpus, 112 GB 메모리)으로 시도했지만 아무런 효과가 없었습니다. 원사에 대한 일부 설정을 변경하려고 시도하지만 여전히 작동하지 않습니다. 언급해야 할 것은 실 제 환경이 Pseudo Distributed Mode에 배치 된 것인가, 내 문제의 원인인지 여부를 판단 할 수 있습니까? –

spark-yarn 클러스터 환경에서 실행할 수있는 스파크 제출은 오직 하나뿐입니다.

답변

관련 문제