MapReduce 셔플/정렬 방법

Question

다소 이상한 질문이지만 MapReduce가 셔플/정렬의 정렬 부분에서 어떤 종류의 정렬을 사용하는지 알 수 있습니까? Merge 나 Insert (전체 MapReduce 패러다임을 유지하면서)라고 생각 하겠지만 확실하지는 않습니다.

Answer 1

Quicksort인데, 나중에 분류 된 중간 출력이 함께 병합됩니다. 퀵 소트는 재귀 깊이를 확인하고 너무 깊을 때 포기합니다. 이 경우 Heaport가 사용됩니다.

org.apache.hadoop.util.QuickSort 

당신은 hadoop-default.xml의 map.sort.class 값을 통해 사용되는 알고리즘을 변경할 수 있습니다

는 퀵 클래스에서보세요. 내 블로그에 Map-Reduce:Shuffle and sort을 :

Answer 2

더 깊이에 대한 자세한 내용을 읽으려면 게시물에 대해 읽어 주시기 편집에 대한 Hadoop: Some Salient Understandings