2011-05-16 4 views
0

IP 패킷 헤더가 텍스트 형식으로 들어있는 파일이 있습니다.mapreduce의지도 함수 뒤에 키 - 값 쌍 정렬

map 함수 다음에 특정 IP 주소에 대해 각 reduce 메소드가 호출됩니다. 정렬 된 순서로 값을 원하지만 정렬되지 않았습니다. 값은 기본적으로 타임 스탬프가있는 라인입니다. 나는 reduce의 모든 값을 타임 스탬프별로 정렬하기를 원합니다.

어디서 정렬 할 수 있도록 도와주십시오.

+0

지도 작성에 대한 입력과 축소를 위해 예상되는 입력에 대한 몇 가지 예시 정보를 제공 할 수 있습니까? 시간 소인을 키로 정의하거나 여러 필드의 복합 키를 사용할 수 있으므로 감속기의 키를 올바르게 선택하지 않은 것처럼 보입니다 (예 : 스트리밍의 경우 stream.num.map.output.key를 설정하여이를 수행 할 수 있습니다 .fields를 키로 사용할 필드 수만큼). – diliop

답변

0

Hadoop MapReduce에는 원하는 작업을 수행하는 "보조 정렬"이라는 기능이 있습니다.

"Hadoop the definitive guide"책은 주제에 관한 꽤 좋은 장을 가지고 있습니다.

관련 문제