하이브 UDF 로그 메시지

Question

log4j를 사용하여 하이브 UDF 파일에 로그 메시지를 쓰고 싶습니다.

저는 예상대로 작동하고 로그 메시지를 파일에 로컬로 기록 할 수있는 간단한 UDF를 작성했습니다.

하지만 Hadoop 클러스터의 셸에서 udf를 테스트하려고하면 파일에 로그 메시지를 쓸 수 없습니다. 구성 코드 위의 지정된 경로에 파일에 로그 메시지를 기록하지 않는 이유

이

package com.log4j.example; 
import org.apache.hadoop.hive.ql.exec.UDF; 
import org.apache.log4j.Logger; 

    public class isNull extends UDF { 
    private final static Logger log = Logger.getLogger(isNull.class.getName()); 

    public Boolean evaluate(String input) { 
    Object in = input; 
    boolean returnType = false; 
     if (in == null) { 
      log.debug("Input is Null"+in); 
      returnType = true; 
     } else { 
      returnType = false; 
     } 
     return returnType; 

    }} 
    Below is the properties file for log4j 
#TRACE < DEBUG < INFO < WARN < ERROR < FATAL 
log4j.rootLogger = DEBUG, toConsole, toFile 

#CONSOLE 
log4j.appender.toConsole=org.apache.log4j.ConsoleAppender 
log4j.appender.toConsole.layout=org.apache.log4j.PatternLayout 
log4j.appender.toConsole.layout.ConversionPattern=%d{HH:mm:ss} %5p [%t] - %c.%M - %m%n 

#DAILYROLLINGFILE 
log4j.appender.toFile=org.apache.log4j.DailyRollingFileAppender 
log4j.appender.toFile.File=/idn/home/test/logfile.log 
#log4j.appender.toFile.Append=false 
log4j.appender.toFile.DatePattern='.'yyyy`enter code here`-MM-dd 
log4j.appender.toFile.layout=org.apache.log4j.PatternLayout 
log4j.appender.toFile.layout.ConversionPattern=%d %5p [%t] - %c.%M - %m%n 

사람이 좀 도와 줄래 : 아래

코드인가?

미리 감사드립니다.

Answer 1

udf jar 파일이 클러스터를 통해 복사되고 각 노드에 의해 제외되므로 경로가 유효하고 사용자에게 쓰기 권한이있는 경우 로그 파일이 각 시스템에 기록됩니다.

Answer 2

이렇게 내가 위에 질문 한 질문에 대한 결과입니다. 나는 내 UDF 내부에 쓴 메시지 만 찾고 있었기 때문에

log4j.rootLogger= FATAL,file 

log4j.appender.file=org.apache.log4j.DailyRollingFileAppender 
log4j.appender.file.File=/idn/home/sshivhar/Sanjeev_POC/log/application_new 
log4j.appender.file.DatePattern='_'yyyy-MM-dd'.log' 
log4j.appender.file.layout=org.apache.log4j.PatternLayout 
log4j.appender.file.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss} %-5p %c{1}:%L - %m%n 

내가 FATAL에 로깅 수준을 변경 :

1. 은 내 속성에 약간의 변화가 아래와 같은 파일을했다.

   메시지를 기록하는 우선 순위 아래에 있기 때문에 :

   TRACE < DEBUG < INFO < WARN < ERROR < FATAL 
   

   나는 FATALINFO에 변경 한 경우, 또한 매퍼 같은 하이브 쉘에서 제공되는 파일에 원치 않는 WARN 및 ERROR 메시지를 작성합니다, 감속기 정보. 마찬가지로 DEBUG은 DEBUG, INFO, WARN, ERROR, FATAL 메시지를 작성합니다.

2. HIVE UDF 내의 log.debug을 log.fatal으로 변경했습니다. 나머지 코드는 위와 같습니다.

   hive -hiveconf hive.log4j.file=/path/log4jprop.properties 
   

   아래 란 명령 :

   ADD JAR path 
   CREATE TEMPORARY FUNCTION udfName as 'class_path' 
   select udfName(col) from table; 
   

   로그 파일이 매일 만들어 얻을 것이다 할 수 있습니다 아래와 같이 입력하는 동안

3. 는 매개 변수를 hiveconf 사용하여 쉘을 하이브 등록 정보 파일을 통과 필요에 따라 사용자 정의하십시오.