Spark 응용 프로그램 실행에서 집계 된 로그를 얻는 방법

나는 Kafka에서 msg를 읽고 계속 처리하는 Spark Application을 지속적으로 운영하고 있습니다. 집계 된 "응용 프로그램 로그"를 얻을 수있는 방법이 있습니까?Spark 응용 프로그램 실행에서 집계 된 로그를 얻는 방법

AFAIK, 로그 집계는 SparkContext가 파괴 된 경우에만 발생합니다.

출처

2016-10-03 Jaya Shankar

당신이 원사에서 실행중인 일부-ID를 -applicationId? 너 원숭이에 기록을 원해? –

예 Arun./usr/bin/spark-submit -master 원사 - 배포 모드 클라이언트 - supervise - 드라이버 메모리 20G --executor-memory 20G - 드라이버 클래스 경로 =/home/jvadisela /spark/guava-18.0.jar:/home/jay/spark/jackson-core-2.4.5.jar --class com.collectivei.datarollup.entry.Startup /home/jay/spark/Test-0.0.1- SNAPSHOT-jar-with-dependencies.jar –

은 스트리밍 응용 프로그램입니까? –

로그에 표준 YARN 명령을 사용해 보셨습니까?

실 로그

출처

2016-10-05 16:35:55

Spark 응용 프로그램 실행에서 집계 된 로그를 얻는 방법

답변

관련 문제