2
저는 감속기가 60 개인 88 코어가있는 hadoop 클러스터에서 mapreduce 작업을 실행하고 있습니다. 어떤 이유로 든 79 코어의 클러스터 만 사용합니다. 시작시 79 개의 매퍼로 실행되지만 절반으로 분할하면 53 개의 매퍼와 26 개의 리듀서가 사용되며 실행중인 매퍼의 수가 계속 줄어들어 작업 완료 시간이 늘어납니다. Log는 계산 된 데이터를 복사하는 26 명의 감속기를 말합니다. hadoop이 모든 매퍼를 처음 실행하고 그 후 감속기를 실행할 수 있습니까? spark 또는 tez 작업에서와 마찬가지로 그들은 매핑을 위해 모든 코어를 사용하고 그 후에 모든 코어를 줄이기 위해 사용합니다.감속기가 매퍼 코어를 사용합니다