지도 축소 작업을 구성하는 동안 job.setNumReduceTasks(2); 메서드를 사용하여 축소 작업 수를 설정할 수 있다는 것을 알고 있습니다.지도 작업 수 설정
맵 작업 수를 설정할 수 있습니까?
이 작업을 수행 할 방법이 없습니다.
이러한 기능이없는 경우이 프레임 워크가 작업을 1 개 이상 줄일 수 있지만지도 작업을 두 개 이상 가질 수없는 이유를 아는 사람이 있습니까?
맵 작업 수를 설정하는 속성은 setNumMapTasks입니다. Bur는 프레임 워크에 대한 힌트 일 뿐이며 지정된 수의 맵만 가져올 것이라고 보장 할 수 없습니다. 지도 작성은 실제로 작업에서 사용중인 InputFormat에 의해 관리됩니다. 그리고 이것이 더 이상 지원되지 않는 이유입니다.
당신이 프레임 워크에 의해 생성 매퍼의 수에 들지 않으면, 당신은 당신의 요구 사항에 따라 2 곳이 다음의 값을 조정 시도 할 수 :
이-
을 mapred.min.split.size - mapred.max.split.size
지도 작업의 수는 프로그래머가 설정하는 것이 아니라 hadoop 프레임 워크, 특히 InputFile (일반적으로 64MB이지만 변경할 수 있음)의 수만큼 맵퍼를 만드는 TaskTracker와 같습니다. HDFS에서 ...