하둡 성능 튜닝

Question

입력 분할 크기를 128MB에서 256MB로 늘 렸습니다. 작업 실행 시간이 1 분 단축되었습니다.

하지만 동작을 이해할 수 없습니다. 왜 그런가? 어떤 시나리오에서 입력 분할 크기를 조정할 수 있습니까?

Answer 1

일관성이 있거나 독서 중 하나입니까? 로컬 설치 또는 클러스터에 있습니까?

입력 분할 크기가 128MB이고 실행 횟수가 256MB 일 때 매퍼 수를 기록하도록 제안합니다. 실행 시간이 1 분씩 줄어든 이유에 대해서는 힌트가있을 수 있습니다.

입력 분할 수는 입력을 처리하는 데 필요한 매퍼 수에 해당합니다. 이 숫자가 클러스터에서 사용할 수있는 맵 슬롯보다 높으면 작업은 나머지 매퍼를 처리하기 전에 한 매퍼 세트가 실행될 때까지 대기해야합니다. 그러나 입력 분할 수가 적 으면 (예 : 귀하의 경우 256MB) 실행되는지도 작업 수가 이전보다 적습니다. 이 숫자가 클러스터의 맵 슬롯 수보다 작거나 같으면 모든 맵 작업이 동시에 실행되어 작업 실행 시간이 향상 될 수 있습니다.