수행 할 수천 가지 맵 작업이있는 Amazon Elastic MapReduce에서 hadoop을 사용하려고합니다. 작업의 일부분 만 실패해도 괜찮습니다. 그러나 Amazon은 작업을 종료하고 첫 번째 매퍼가 실패하면 모든 결과를 잃어 버립니다. 허용되는 실패한 작업 수를 늘릴 수있는 설정이 있습니까? 감사.종료하기 전에 하나 이상의 hadoop/EMR 작업이 실패하는 것을 허용합니다.
여기 하둡에 대한 대답 :
은 특히 당신이 (설정을 xml 파일을 만듭니다
Is there any property to define failed mapper threshold
은 EMR에서 설명한 설정을 사용하려면, 봐. xml)을 변경하고 적용 할 설정 (예 :
./ela)을 입력합니다. stic-mapreduce --create \ --bootstrap-action s3 : // elasticmapreduce/bootstrap-actions/configure-hadoop \ --args "-M, s3 : //myawsbucket/config.xml"