Hadoop - 오류 복구 전용

Question

지도 파트를 4 일 동안 완료 한 후 hadoop 작업을 실행 중입니다. 이제는 감속 단계에서 중단됩니다 (감속기가 30 % 완료 됨)

나는 장거리지도 부분을 다시 처리 할 필요없이 가능하다면 줄일 수있는 부분 만 다시 처리 할 수있는 방법이 있기를 정말로 바란다. 아마도 내가 감속기를 하나만 가지고 있다는 것이 나빠질 수 있습니다.

감사합니다.

Answer 1

하둡은 케이스에서 줄이기 단계 만 다시 시작합니다.

그러나 작업이 실패하면지도 단계를 건너 뛸 수 없습니다. 이 경우 두 단계를 별도의 작업으로 분할해야합니다. 특히 매퍼가 계산 집약적 인 경우에는 더욱 그렇습니다.