hadoop에서 생성 된 매퍼의 수

Question

작업 추적기가 만드는 매퍼의 수를 계산하는 것은 간단합니다. 기본적으로 hdfs 파일의 크기를 분할 크기로 나눈 것입니다. 따라서 hdfs 파일의 크기가 640MB이고 분할이 64MB이면 작업 추적기가 10 개의 매퍼를 생성합니다. 그러나 때로는 생성 된 매퍼의 수가 기대했던 것보다 많습니다. 내가 만든 매퍼의 수를 이해하기 위해 작업이 완료되면 화면의 인화를 봅니다.

제 질문은 다음과 같습니다. 더 많은 매퍼가 만들어 졌는지, 어쩌면 다른 로그를보고 이해할 수 있습니까?

참고 : 맵 축소 작업이 있고 다른 시간에 실행될 때 같은 작업이 differnet 매퍼를보고합니다. 생성 된 추가 매퍼가 큰 것은 아니지만.

Answer 1

작업 추적자에 의해 생성 된 로그를 읽은 후에 알아 낸 것은 이미 할당 된 매퍼가 오랜 시간 동안 걸리는 경우에 발생하는 여분의 매퍼입니다.

등의 작업을 할당 할 때 하둡, 그것은 다음과 같이 작업을 수행합니다이 작업 추적기 이제 5지도 작업에 대한 작업 2에 대한 1 차 작업 시도를 할당하려고하는 것을 의미한다

attempt_200707121733_0002_m_000005_1. 작업 시도는 0부터 시작합니다.