지도 작업을 중지하고 나중에 다시 시도하십시오.

Question

Google Maps와 같은 지형 데이터 타일을 계산하는 Hadoop 응용 프로그램을 작성하고 있습니다. 지도 작업을 실행할 때 필요한 데이터가 dfs에서 사용 가능한지 확인하고 싶습니다. 그렇지 않은 경우 나중에 맵을 실행해야합니다. 나는 map 태스크를 실패한 것으로 설정하여 hadoop이 자동적으로 나중에 다시 실행할 수 있다고 가정했다. 그러나, 나는 그 일을하는 법을 찾지 못하는 것 같습니다. 누구든지 나를 도울 수 있습니까?

Answer 1

지도 작업은 HDFS에서 처리 할 데이터가있는 경우에만 시작됩니다. 매퍼 코드에서 데이터의 가용성을 명시 적으로 확인하지 않아도됩니다.

작업의 맵 작업 수는 FileInputFormat의 경우 처리 할 입력 분할 수 또는 블록 수와 같습니다.

더 명확하게하기 위해 Hadoop - The Definitive Guide에있는 해당 MapReduce 장을 살펴볼 것을 제안합니다.