hadoop 스트리밍 : 응용 프로그램 로그를 보는 방법?

Question

/usr/local/hadoop/logs 경로에있는 모든 hadoop 로그를 볼 수 있습니다.

응용 프로그램 수준 로그는 어디에서 볼 수 있습니까?

mapper.py 내 응용 프로그램의 logging.info 또는 관련 로그 문을 볼 수 있습니다

import logging 

def main(): 
    logging.info("starting map task now") 
    // -- do some task -- // 
    print statement 

reducer.py

import logging 
def main(): 
    for line in sys.stdin: 
     logging.info("received input to reducer - " + line) 
     // -- do some task -- // 
     print statement 

: 예를 들어? 내가 Python을 사용하고

hadoop-streaming

을 사용하고
는

Answer 1

하둡 스트리밍이 맵퍼 및 감속기 사이에 키/값 쌍을 전달하는 STDIN/STDOUT을 사용하여 감사, 그래서 로그 메시지는 특정 로그 파일에 기록되어야한다 - 자세한 내용은 sample code 및 python logging documentation을 확인하십시오. 이 Query도 도움이 될 수 있습니다.

Answer 2

Hadoop은 hadoop map/reduce status 사이트에서 볼 수있는 stderr를 수집합니다. 그래서 stderr에 쓸 수 있습니다.