전체 작업을 죽인 대신 단일 실패한 맵 작업을 건너 뛰는 방법이 있습니까? 수천 개의지도 작업이 모두 정상적으로 실행되고 있습니다. 영원히 오래 걸리고 마침내 큰 일을 죽이는 성가신 마지막지도 작업이 항상 있습니다.실패한 맵 작업 건너 뛰기
"무시시 무시"와 같은 일반 설정 또는 무시할 수있는지도의 비율을 설정하는 방법이 있습니까?
나는 100 %의 데이터로 완벽한 결과를 기대하지 않고 있으며, 95 %로 좋은 추정만으로 충분할 것입니다.
전체 작업을 죽인 대신 단일 실패한 맵 작업을 건너 뛰는 방법이 있습니까? 수천 개의지도 작업이 모두 정상적으로 실행되고 있습니다. 영원히 오래 걸리고 마침내 큰 일을 죽이는 성가신 마지막지도 작업이 항상 있습니다.실패한 맵 작업 건너 뛰기
"무시시 무시"와 같은 일반 설정 또는 무시할 수있는지도의 비율을 설정하는 방법이 있습니까?
나는 100 %의 데이터로 완벽한 결과를 기대하지 않고 있으며, 95 %로 좋은 추정만으로 충분할 것입니다.
당신이 당신의 작업 실패를 제어하고 mapred.max.reduce.failures.percent 속성 (새 버전 2.1.0에서 mapreduce.map.failures.maxpercent)를 mapred.max.map.failures.percent을 사용할 수 있습니다
http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/DeprecatedProperties.html