나는 4 개의 노드가있는 HDinsight 클러스터를 만들었습니다. 내가 명령 "실 노드 -list"를 줄 때, 그것은 보여줍니다운행중인 컨테이너의 숫자가 얼마입니까?
Node-Id Node-State Node-Http-Address Number-of-Running-Containers
10.x.x.x:xxxxx RUNNING 10.x.x.x:xxxxx 0
10.x.x.x:xxxxx RUNNING 10.x.x.x:xxxxx 0
10.x.x.x:xxxxx RUNNING 10.x.x.x:xxxxx 0
10.x.x.x:xxxxx RUNNING 10.x.x.x:xxxxx 0
을 내가 하이브 작업을 제출 한 후에는 매퍼 (예 : 900) 계산 및 감속기 (예 : 100). 그러면 노드 세부 정보를 검사하면 실행중인 컨테이너가 모든 노드에서 값 8로 표시됩니다. 간단한 작업을 제출하면 컨테이너에 임의의 작업자 노드에 값 2 또는 1이 임의로 할당됩니다.
1. we know that, the mapper/reducer job are assigned to worker nodes. here, is it 4 worker nodes are processing the work or containers are processing?
2. basically, what is number of containers.
3. how the value of running containers assigned/changed?
마지막으로 해결책을 찾았다. 실행중인 컨테이너의 수는 노드 크기에서 디스크 값을 표시합니다. 예를 들어, 3 개의 작업자 노드로 D4 V2 크기를 선택하면 실행중인 컨테이너 값의 수는 48이됩니다. 계산은 (작업자 노드 없음) * (D4 V2 디스크 크기 즉, 16)입니다. –