2
1) 데이터를 카산드라 클러스터로 스트리밍하는지도 전용 하둡 작업이 있습니다.작업이 Hadoop 작업으로보고하여 작업에 시간 초과가 발생하지 않도록하려면 어떻게해야합니까?
2) 때때로 스트리밍에 10 분 이상 소요되며 진행 상황이 작업에보고되지 않으면 작업이 종료됩니다.
3) context.progress() 메소드를 사용하여 진행 상황을보고하려했지만 도움이되지 않았습니다.
hadoop 작업의 진행 상태를보고하는 데 필요한 다른 것이 있습니까?
나는이 문제와 다음 코드를 시뮬레이트하기 위해 다음과 같이 샘플 코드를 작성했습니다. 작업 ID : attempt_201202061119_0001_m_000001_1, 상태 :
Thread.sleep(360000);
context.progress();
Thread.sleep(360000);
그것은 오류 메시지가 다음
12/02/06 11시 40분 25초 정보의 mapred.JobClient 실패 작업이 attempt_201202061119_0001_m_000001_1가 상태를보고하는 데 실패 실패 601 초입니다. 죽이는!