하둡 감속기 타임 아웃

Question

내 감속기가 어떤 이유로 시간 초과되었습니다. 시간 초과를 변경하려면 -Dmapred.task.timeout을 시도하지만 시간 초과 값은 변경되지 않습니다. 또한 명령 줄을 통해 맵퍼 및 감속기의 수를 구성 할 수 없습니다. 내 기록은 분명해 보이고 tasktracker는 시간 초과됩니다. 외부 웹 서비스를 호출하지만 시간 종료가 아닙니다. 입력 파일에있는 데이터 포인트의 양이 줄어들면, 나는 종종 이러한 타임 아웃을 보지 않는다.

Answer 1

mapred-site.xml에서 mapred.task.timeout (값은 밀리 초)을 조정하십시오.

모든 노드 (jobtracker + tasktrackers)에서 업데이트되었는지 확인하고 jobtracker 및 모두 tasktrackers을 다시 시작하십시오.