스파크 애플리케이션 log4j 로그 파일이 생성되지 않았습니다.

Question

스파크 애플리케이션을 실행 중입니다. 내 응용 프로그램에는 몇 가지 로그 문이 있습니다.

로그를 Linux 디렉토리에 파일로 저장하려고합니다. 나는 스파크 작업을 실행하면

다음은 내가 디렉토리의 로그 내/홈/클라우 데라를 작성되는 참조 출시 성공적으로 완료,하지만 로그는 파일로 저장되지 않습니다 도착, 내 log4j에 파일

입니다. 하지만 난 omega.log 누군가가이 문제에 나를 도울 수

log4j.properties

# Set everything to be logged to the console 
log4j.rootCategory=INFO, console, file 
log4j.appender.console=org.apache.log4j.ConsoleAppender 
log4j.appender.console.target=System.err 
log4j.appender.console.layout=org.apache.log4j.PatternLayout 
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n 


# Direct log messages to a log file 
log4j.appender.file=org.apache.log4j.RollingFileAppender 
log4j.appender.file.File=/home/cloudera/logs/omega.log 
log4j.appender.file.MaxFileSize=10MB 
log4j.appender.file.MaxBackupIndex=10 
log4j.appender.file.layout=org.apache.log4j.PatternLayout 
log4j.appender.file.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n 

를 만들어 표시되지 않는 이유는 무엇입니까?

Answer 1

당신은/홈/클라우 데라/로그가 모든 노드에 있는지 확인해야, 다음 스파크 제출 cmd를

spark-submit 
    --master yarn-cluster 
    --files /path/to/log4j-spark.properties 
    --conf "spark.driver.extraJavaOptions=-Dlog4j.configuration=log4j-spark.properties" 
    --conf "spark.executor.extraJavaOptions=-Dlog4j.configuration=log4j-spark.properties" 
    ... 

에 다음 속성을 추가하려고