Mapred Task Timeout

Question

일부 처리 후에 한 HBase 테이블에서 다른 HBase 테이블로 데이터를 쓰는 Map 전용 작업을 작성했습니다. 하지만 내 setup 매퍼 메서드에서 내 mapred.task.timeout 구성보다 많은 시간이 걸리는 파일에서 데이터를로드하고 있습니다.

나는 here 주어진 설명을 읽었다. 내 질문은

1) 설치 단계 중간에 작업과 작업 추적기간에 통신이 없습니까?

2) 업데이트 방법 상태 문자열 ?? 하둡이 진전을 보이고있어 작업을 실패하지 않습니다으로

Answer 1

작업 습관 제한 시간이 오래 진행이있는 한

진행보고는 중요하다. 의 상태에 대한 설명을 설정 •

(매퍼 또는 감속기에) 출력 기록을 작성 •

(매퍼 또는 감속기에) 입력 기록을 읽기 •

• : 다음 작업의 모든 과정을 구성 기자 (사용 리포터의 대해 setStatus() 메소드) 기자의 진행() 메서드를 호출

• 카운터 (사용 리포터의 incrCounter() 메소드)

를 증가 •

그래서 명목상의 간격으로이 일을 계속하면 직업이 죽지 않을 것입니다.