2
독립 실행 형 설치 프로그램 (버전 1.6)에서 스파크 스트리밍 응용 프로그램을 실행하고 있습니다.Apache 스파크 로그 및 동적 앱/드라이버 로그 모니터링
로깅이 약간 흩어져있는 것 같아서 로그 파일의 특정 "오류"를 확인하고 경고를 보내는 로그 파일 모니터를 구성하려고합니다. 스파크 로그에 관해서
나의 현재 이해는 다음과 같습니다
- 스파크 노동자는 자신의 로그 그리고 내 경우에이 고정 위치는/var/log/스파크에 쓰여있다/스파크 worker.out
- 스파크 마스터는 자신의 로그 그리고 내 경우에는
- /var/log/spark/spark-master.out 고정 위치에 기록의 I가/등 아래에있는 log4j.properties 파일을 구성 할 수있다/spark/conf/ 형식, appenders 등을 변경합니다. spark-worker 및 spark-master 용 로그 드라이버에 대한 지금
및/집행자 앱이 이러한 로그의 위치는 동적 보인다 스파크가 내 경우/스파크/작업 실행의/var/아래에 새로운 디렉토리를 생성합니다 기록 스파크.
내 문제 : 정적 위치 로그 파일을 모니터링
스파크 노동자에 대한 정직과 불꽃 마스터. 앱과 드라이버의 동적 로그를 모니터링하는 방법에 대해 다소 혼란 스럽습니다.
설명서에서 읽은 바에 따르면, spark-submit시 log4j.properties 파일에 -D 옵션을 전달할 수 있습니다.
정적 위치의 로컬 syslog로 로그를 스트리밍하고 해당 로그를 모니터링하도록 Nagios를 구성 할 수 있습니까?
이 경우 다른 사람들이 무엇을 했습니까?
독립 실행 형 설치용 – user3658291