mapreduce 작업에서 데이터가 디스크에 기록되는 시점은 언제입니까?

Question

각 매퍼가 중간 데이터를 디스크에 기록한 다음 축소 기가 출력을 디스크로 덤프합니다. mapreduce 작업 중에 데이터가 디스크로 유출 될 수있는 다른 시간이 있습니까? 나는 그것이 전형적인 직업에 있지 않더라도 가능한 모든 시간을 찾고 있습니다.

Answer 1

MR은 HDFS에서 입력을 받아들이고, 각 맵 작업은이를 처리하고, 기본 100MB (io.sort.mb)를 초과하면 디스크로 분할합니다. 그런 다음 감속기는 결과를 HDFS가 아닌 HDFS로 출력합니다. 자세한 내용은 링크, https://www.inkling.com/read/hadoop-definitive-guide-tom-white-3rd/chapter-6/shuffle-and-sort

Answer 2

을 확인을 위해 당신은 매퍼 mapred-site.xml 파일에

mapred.reduce.slowstart.completed.maps로 출력을 유출한다 비율을 정의 할 수 있습니다.

This 도움이 될 수 있습니다!