하둡 셔플/시간을 병합 : 평균 대 총

Question

하둡은 다음과 같은 통계를 출력합니다

이

• 평균지도 시간이
• 평균 시간 감소를
• 평균 셔플 시간
• 평균 병합 시간

전체지도 및 축소 시간은 완료된지도/축소 횟수에 이러한 평균을 곱하여 얻을 수 있습니다. 그러나 총 셔플/머지 시간은 어떻게 얻을 수 있습니까? 또는 평균 셔플 시간은 어떻게 계산됩니까?

Answer 1

평균지도 시간 = 모든지도 작업에 의해 촬영 한 총 시간 /지도 작업의 개수가

평균 시간 감소 = 모든 촬영 총 시간은 작업을

평균을 줄이고 작업/횟수의 감소 병합 시간 = 평균 (시도 수순 지연 시간 - 시도. 합계 시간)

셔플 단계, 중간 데이터 h는지도 작업에 의해 생성되어 오른쪽 감속기로 연결됩니다. 셔플 단계는 단축키에 키를 할당합니다. & 은 특정 키의 모든 값을 오른쪽 감속기에 보냅니다.

Reducer에 출력 값을 보내기 전에이 단계에서도 정렬 작업이 수행됩니다.

셔플 단계에는 맵 노드에서 네트워크를 통해 데이터를 전송하는 과정이 포함됩니다. 셔플 Apache link

가입일

는 감속기

입력 매퍼의 정렬 된 출력된다. 이 단계에서 프레임 워크는 HTTP를 통해 모든 맵퍼 출력의 관련 파티션을 가져옵니다.

이 단계에서 (다른 맵퍼 출력 동일한 키를 가질 수 있기 때문에) 분류

키에 의한 워크 그룹 감속기 입력이.

셔플 및 정렬 단계가 동시에 발생합니다. 맵 출력은 페치되고 병합됩니다.

하둡 프레임 워크는 이러한 두 단계를 실행합니다 : 를