Apache Spark 집행자 수

나는 32 개의 노드, 16 코어 및 30GB 메모리의 클러스터에서 실행되는 databricks의 Spark 앱을 보유하고 있습니다. 일부 세션 구성을 변경하고 싶었지만 변경 사항이 무엇이든 관계없이 실행 프로그램 페이지에서 spi ui와 같이 32 개 이상의 실행 프로그램을 만들 수는 없습니까? 내가 읽으면서Apache Spark 집행자 수

spark.executor.instances 
spark.executor.memory 
spark.executor.cores

가 동시 작업의 최대 수는 5이어야한다, 그래서 노드 당 4 개 집행, 각 사용 4 개 코어 ... 집행의 총 수를 확인하고 싶었 - 128 :이 CONFIGS은 내가 변경했습니다 어떻게해야합니까? 스파크를 들어

종류와 관련, 스테판

출처

2017-10-19 StStojanovic

최신 버전으로 구축, 우리는 매개 변수를 설정할 수 있습니다 --executor-cores 및 --total-executor-cores을.

spark-submit --executor-memory 4g --executor-cores 4 --total-executor-cores 512

출처

2017-10-19 21:38:44 John

안녕 : 총 집행자는 total-executor-cores/executor-cores

이 하나를 시도 할 것이다. 문제는, 내가 아는 바와 같이, 당신은 databricks 노트북에서 스파크 제출을 사용할 수 없습니다. – StStojanovic

Apache Spark 집행자 수

답변

관련 문제