mapreduce로 전역 정렬

Question

숫자가 10 개인 HDFS 파일이 있습니다. mapreduce를 사용하여 정렬 할 때 각 감속기의 출력이 잘 정렬됩니다. 그러나 모든 숫자를 전 세계적으로 정렬하려면 어떻게해야합니까?

• 어떤을 이길 수, 하나의 감속기를 사용 : 같은 :

  내가 생각 한 옵션은 ... 첫 번째 출력 파일은 큰 숫자를 가지고 있으며, 최종 출력 파일은 가장 작은 숫자를 가지고 맵리 듀스

• 다운로드 및 병합 - 일종의 로컬로 ...

더 나은 솔루션의 목적? 고맙습니다.

Answer 1

terrasort 예를 살펴보십시오. 먼저 데이터의 샘플을 수행하여 최종 결과의 전체 정렬을 보장하는 분할 스키마를 만듭니다.