hadoop tasktracker : 사용자 로그에서 로그가 누락 된 이유는 무엇입니까?

Question

hadoop1.2.1을 (를) 사용하고 있습니다./hadoop-installation-directory/logs/userlogs/job-/attemp-/stdout에 stdout 파일이 필요합니다. 하지만 datanodes를 다시 시작하면 작업 로그가 사용자 로그에 없습니다. 어쨌든 그들을 액세스 할 수 있습니까? 감사

Answer 1

로그 파일 이유는 여러 가지 이유로 제거됩니다 있습니다

• 'mapreduce.job.userlog.retain.hours'속성에 의해 정의 된 바와 같이 기본적으로 24 시간마다 제거 된 것 (창 2 세대에 대한이 기본 log4j.properties에 정의 된 하나의 mapred.userlog.retain.hours)는

• 그것은 12 시간마다 제거

  hadoop.tasklog.taskid=null 
  hadoop.tasklog.noKeepSplits=4 
  hadoop.tasklog.totalLogFileSize=100 
  hadoop.tasklog.purgeLogSplits=true 
  hadoop.tasklog.logsRetainHours=12 
             ^^ 
  

이렇게 구성하면 12 시간 동안 로그 만 유지됩니다.