Intel (R) Core (TM) 2 Duo 프로세서를 사용하고 있습니다. 가상 배포 모드에서 hadoop을 설치했습니다. 50 마 퍼 노드가 필요한 프로그램을 작성했습니다. 가상 분산 모드에서 50 개의 매퍼 노드를 가질 수 있습니까, 아니면 4 개의 노드 (2 * 코어 수)로 제한됩니다. 나는 "mapred.tasktracker.map.tasks.maximum"을 50으로 설정하려고했지만 동시성에는 변화가 없다.가짜 배포 : 매퍼 노드 수를 변경해야합니다.
map 및 reduce 작업의 최대 수는 클러스터의 작업 추적기 수와 등록 정보 mapreduce.tasktracker.map.tasks.maximum 및 mapreduce.tasktracker.reduce.tasks.maximum을 사용하여 정의 된 노드 당 map/reduce 작업의 최대 수에 따라 다릅니다.
작업량을 줄이기 위해 기본 블록 크기 구성에서 50 개의 맵 작업이 필요하다고 가정합니다. 작업에 필요한 맵 작업 수는 처리 된 데이터의 InputSplits 수에 따라 다릅니다. 물론 필요한 맵 작업의 수에 의존하거나 프로그램에서이 제한을 정의해서는 안됩니다. 이는지도 축소 작업의 확장에 영향을 미칩니다.
하나의 옵션은 최대 매퍼 작업 수를 50 개로 설정하는 것입니다. 사용 가능한 매퍼 작업 수는 작업 추적기 웹 UI의 클러스터 요약 섹션에 표시되어야합니다. 그러나 프로세서의 코어가 두 개인 경우 50 개의 매퍼를 동시에 실행하면 맵 축소 작업의 성능에 긍정적 인 영향을 미치는지 여부를 재검토해야합니다.