2
나는이 지시 사항에 따라 스파크 오지 처리로 이력 로그를 사용 가능하게하려고합니다. 스파크 이력 로그가 클로즈업의 Oozie Spark 액션과 함께 활성화되지 않음
https://archive.cloudera.com/cdh5/cdh/5/oozie/DG_SparkActionExtension.html이 세 스파크 구성 속성을 지정해야합니다, 당신의 스파크 작업이 스파크 기록 서버에 표시되도록하려면 중 하나에 --conf 또는 oozie.service.SparkConfigurationService.spark.configurations
에서 스파크의 opts- spark.yarn.historyServer.address = http://SPH-HOST:18088
- spark.eventLog.dir = HDFS : // NN : 8020/사용자/스파크/applicationHistory
- spark.eventLog.enabled = TRUE
워크 플로 (고화질)은 다음과 같습니다
<action name="spark-9e7c">
<spark xmlns="uri:oozie:spark-action:0.1">
<job-tracker>${jobTracker}</job-tracker>
<name-node>${nameNode}</name-node>
<master>yarn-cluster</master>
<mode>cluster</mode>
<name>Correlation Engine</name>
<class>Main Class</class>
<jar>hdfs://<MACHINE IP>:8020/USER JAR</jar>
<spark-opts> --conf spark.eventLog.dir=<MACHINE IP>:8020/user/spark/applicationHistory --conf spark.eventLog.enabled=true --conf spark.yarn.historyServer.address=<MACHINE IP>:18088/</spark-opts>
</spark>
<ok to="email-f5d5"/>
<error to="email-a687"/>
</action>
내가 쉘 스크립트 이력 로그에서 테스트를 올바르게 기록하지만 Oozie 작업 로그가 제대로 기록되지 않습니다에 있습니다. 나는이 모든 세 가지 특색을 정했다.
안녕 대신 내 대답을 확인하시기 바랍니다 XML 조각 아래를 참조하시기 바랍니다 허용 대답하시기 바랍니다 플래그 업 "괜찮아 경우 내 대답 –
에서 언급 같은 인수를 전달하려고 스파크의 opts -by-owner "Thx –
신속한 응답 RamPrasad에 감사드립니다. 구성 섹션에서 사용자가 권장하는대로 속성을 이동했습니다. 이제/user/spark/applictionHistory 위치의 일부 로그를 .inprogress로 할 수 있습니다. 그러나 히스토리 서버에는 여전히 로그가 표시되지 않습니다. – Alchemist