EMR에서 Spark/Zeppelin 용 spark.driver.memory를 설정하는 방법

Question

EMR (Spark, Zeppelin)을 사용할 때 Zeppelin Spark 인터프리터 설정에서 spark.driver.memory을 변경하면 작동하지 않습니다.

EMR 웹 인터페이스 (aws CLI 아님)를 사용하여 클러스터를 만들 때 Spark 드라이버 메모리를 설정하는 가장 좋은 방법은 무엇입니까?

부트 스트랩 작업이 해결책 일 수 있습니까? 예인 경우 부트 스트랩 조치 파일의 모양을 보여 주실 수 있습니까?

Answer 1

당신은 항상 작업 흐름에 다음과 같은 구성을 추가 할 수 있습니다/클러스터 작성 :

[ 
    { 
     "Classification": "spark-defaults", 
     "Properties": { 
      "spark.driver.memory": "12G" 
     } 
    } 
] 

당신은 등 구성 여부 spark-default를 들어, 하둡 core-site, 나는 희망

의 대부분을 수행 할 수 있습니다 이게 도움이됩니다!