hadoop 스트리밍 작업이보고되지 않습니까?

Question

모든 작업은 하둡 스트리밍을 사용하여 성공적으로 실행 되었으나, 갑자기 나는 작업자 시스템 중 하나에 의한 오류를 볼 수

Hadoop job_201110302152_0002 failures on master 

Attempt Task Machine State Error Logs 
attempt_201110302152_0002_m_000037_0 task_201110302152_0002_m_000037 worker2 FAILED 
Task attempt_201110302152_0002_m_000037_0 failed to report status for 622 seconds. Killing! 
------- 
Task attempt_201110302152_0002_m_000037_0 failed to report status for 601 seconds. Killing! 
Last 4KB 
Last 8KB 
All 

질문 시작 :

- Why does this happening ? 
- How can I handle such issues? 

당신에게

감사를

Answer 1

mapred.task.timeout의 설명이 600s로 기본 설정되어 있습니다. "inpu를 읽지 않으면 작업이 종료되기 전의 밀리 초 수 출력을 쓰거나 상태 문자열을 업데이트하지 않습니다. "

mapred.task.timeout의 값을 늘리면 문제가 해결 될 수 있지만지도 작업이 입력 데이터 처리를 완료하는 데 실제로 600 초가 필요한지, 아니면 입력 데이터 처리에 버그가있는 지 알아야합니다. 필요가 코드를 디버깅 할 수 있습니다.

를 하둡 모범 사례에 따르면, 평균지도 작업은 InputSplit를 처리하는 데 몇 분이 걸릴한다.

이