2012-09-11 2 views
4

매 시간마다 매퍼를 거치지 않고 데이터를 여러 번 정렬하는 방법을 해결하는 중입니다.Hadoop 각 단계 사이에 매퍼가없는 스트리밍 및 다중 감속기 단계

이드 설치에 같은 : 매퍼 1 -> 감속기 1 ---> 감속기 2 ---> 감속기 그때 감속기 1 출력 (키, 데이터)를하고 싶어 3

똑바로 갈이 감속재 2에게 ... 가능하니?

문제를 해결하여 작업을 연결할 수 있다는 것을 알았지 만 각 단계마다 매퍼가 필요합니까?

매퍼없이 실행하려고 할 때마다 오류로 종료됩니다. 감속기 1에서 필요한만큼 출력 할 수 있다면 각 단계마다 매퍼를 실행하는 것이 시간 낭비 일 것입니다.

생각 하시겠습니까?

답변

1

Java를 사용하는 경우 간단히 말해서 ChainReducer와 ChainMapper가 필요합니다. 이 클래스를 사용하면 임의의 수의 리듀서 또는 매퍼를 임의의 순서로 체인에 추가 할 수 있습니다.

"Hadoop in Action"책은 5 장의이 절차를 설명합니다.

관련 문제