Zeppelin 구성 : 어딘가에 캐시가 있습니까?

Question

Zeppelin이 통역사 특정 구성을 읽는 방식에 뭔가 빠져있는 것처럼 보입니다.

예를 들어 나는 zeppelin-env.sh과 $SPARK_HOME/conf의 spark-defaults.sh에 있지만, 스파크 인터프리터는 4 코어 스파크 응용 프로그램을 시작했다 시작 12 spark.cores.max을 설정합니다.

그런 다음 저는이 속성을 Zeppelin의 인터프리터 UI에서 변경했으며 작동했습니다.

• UI (웹 페이지)를 사용하여 설정 한 속성은 어디에 저장됩니까?
• 은 zeppelin-env.sh 또는 zeppelin-site.xml과 '동기화'되는 UI입니다. 여기에 계층 구조가

Answer 1

:

• 는 UI (인터프리터)의 매개 변수 zeppelin-env.sh에 지정된 것보다 우선은;
• zeppelin-env.sh에 구성된 매개 변수는 spark-defaults.sh에 지정된 것보다 우선합니다. 및
• 위 매개 변수를 사용하여 지정하지 않으면 구성 매개 변수가 spark-defaults.sh에 지정된 값으로 대체됩니다.

중요한 이중성 하나는 어떤 스파크 응용 프로그램에 기대하는 것과 관련하여, 여기에 있습니다 : 명시 적으로 응용 프로그램 내에서 설정

• 구성 매개 변수 spark-submit 지정보다 우선합니다;
• spark-submit으로 지정된 매개 변수는 spark-defaults.sh에 지정된 매개 변수보다 우선합니다. 및
• 위 항목을 사용하여 아무 것도 지정하지 않으면 구성 매개 변수가 spark-defaults.sh에 지정된 값으로 대체됩니다.

그래서 내가보기에는 너무 혼란 스럽지만 (어디에서도 잘 기록되어 있지는 않지만) 관찰중인 것은 예상되는 것입니다.