Hadoop MapReduce

Question

최종 출력이 내림차순으로 표시되도록 Wordcount 프로그램에서 보조 정렬을 수행하는 방법은 무엇입니까? (값 기준)

참고 : 텍스트 파일에서 데이터를 읽습니다. 복합 키, 분할 자, 비교자를 사용해야하는 경우이 질문에 어떻게 사용합니까? 많은 예를 들어 온라인 네다섯 입력, 예를 들어 온도 여기

https://vangjee.wordpress.com/2012/03/20/secondary-sorting-aka-sorting-values-in-hadoops-mapreduce-programming-paradigm/

Answer 1

을 가지고에서 나는 맵리 듀스 프로그램이 사실 분할 및 정렬에 있음을 가정하고있다. 역순으로 정렬하려면 k1,1r과 같이 정렬 값 뒤에 'r'을 추가하면됩니다.

이것은 mapReduce가 z부터 역순으로 알파벳 순으로 정렬되고 a로 내려가는 것을 의미합니다.

-D mapreduce.partition.keycomparator.options="-k1,1r -k2,2 -k3,3" 

파티션 및 정렬이 실제로 처음 수행되고 있는지 확인하십시오.