스파크 제출 명령의 메모리 매개 변수

Question

스파크 제출 명령의 최적 메모리 설정 계산 방법은 무엇입니까?

오라클의 스파크에서 4.5GB의 데이터를 가져 와서 하이브 테이블로 조인하고 오라클에 다시 쓰는 것과 같은 변형을 수행합니다. 내 질문은 spark-submit 명령을 최적의 메모리 매개 변수와 함께 사용하는 방법입니다.

spark-submit --master yarn-cluster --driver-cores 2 \ 
--driver-memory 2G --num-executors 10 \ 
--executor-cores 5 --executor-memory 2G \ 
--class com.spark.sql.jdbc.SparkDFtoOracle2 \ 
Spark-hive-sql-Dataframe-0.0.1-SNAPSHOT-jar-with-dependencies.jar 

드라이버 메모리, 드라이버/실행기 메모리 필요량, 필요한 코어 수 등을 계산하는 방법은 무엇입니까?

Answer 1

즉, 일반적으로은 탄환 답변이없는 복잡한 질문입니다. 최적의 선택은 데이터 특성 및 작업 유형뿐 아니라 시스템 동작 (스파크 최적화 프로그램 등)에 따라 달라집니다. 유용한 팁을 찾을 수 있습니다. here