Scalding에서 파일에 어떻게 로그합니까?

Question

내 Scalding map reduce 코드에서 뭔가 잘못되었을 때 map-reduce 작업을 디버깅 할 수 있도록 특정 단계를 로그 아웃하고 싶습니다.

저울링 작업에 로깅을 추가하려면 어떻게해야합니까?

예.

import com.twitter.scalding._ 
class WordCountJob(args: Args) extends Job(args) { 
    //LOG: Starting job at time blah.. 
    TextLine(args("input")) 
    .read 
    .flatMap('line -> 'word) { 
     line: String => 
     line.trim.toLowerCase.split("\\W+") 
    } 
    .groupBy('word) { group => group.size('count) } 
} 
.write(Tsv(args("output"))) 
//LOG - ending job at time... 
} 

Answer 1

모든 로깅 프레임 워크가 수행합니다. 분명히 println()을 사용할 수도 있습니다. hdfs 모드에서 hadoop 클러스터의 작업 내역이나 로컬 모드에서 콘솔의 stdout 로그 파일에 나타납니다.

오류 레코드를 포착하기 위해 addTrap() 메소드로 트랩을 정의하는 것도 고려하십시오.