2012-07-04 5 views
0

Reducers가지도 출력을 가져 오나요? 아니면지도가 거기에서 감속기로 출력합니까? Reducers가 당기면 어떻게 연락 할지도 (종속 기계)를 알 수 있습니까? JobTracker가 Reducers에게 연락 할 기계를 알려줍니까?Reducers가 Hadoop에서지도 출력을 수집하는 방법

+0

http://stackoverflow.com/questions/8285217/hadoop-shuffle-uses-which-protocol 실제로 제목과 동일한 이름은 아니지만 같은 질문입니다. –

답변

0

이것은 완전히 두포에서 발생합니다. 본질적으로 MapReduce Framework는 셔플을 시작하고 네트워크를 통해 발생하는 정렬을 감속기에 전달합니다. Reducer 또는 Mapper는 푸시 또는 당기기를 수행하지 않습니다.지도를 축소하는 프레임 워크는 사용자 정의 분할기, 비교기 또는 그룹 비교기를 사용하는 경우 감소기에 밀어 넣기 전에 데이터를 셔플 링하고 정렬합니다.

도움이되기를 바랍니다.

관련 문제