2017-04-12 1 views
0

나는 4 개의 노드가있는 HDinsight 클러스터를 만들었습니다. 내가 명령 "실 노드 -list"를 줄 때, 그것은 보여줍니다운행중인 컨테이너의 숫자가 얼마입니까?

Node-Id   Node-State Node-Http-Address Number-of-Running-Containers 
10.x.x.x:xxxxx  RUNNING 10.x.x.x:xxxxx    0 
10.x.x.x:xxxxx  RUNNING 10.x.x.x:xxxxx    0 
10.x.x.x:xxxxx  RUNNING 10.x.x.x:xxxxx    0 
10.x.x.x:xxxxx  RUNNING 10.x.x.x:xxxxx    0 

을 내가 하이브 작업을 제출 한 후에는 매퍼 (예 : 900) 계산 및 감속기 (예 : 100). 그러면 노드 세부 정보를 검사하면 실행중인 컨테이너가 모든 노드에서 값 8로 표시됩니다. 간단한 작업을 제출하면 컨테이너에 임의의 작업자 노드에 값 2 또는 1이 임의로 할당됩니다.

1. we know that, the mapper/reducer job are assigned to worker nodes. here, is it 4 worker nodes are processing the work or containers are processing? 
    2. basically, what is number of containers. 
    3. how the value of running containers assigned/changed? 
+0

마지막으로 해결책을 찾았다. 실행중인 컨테이너의 수는 노드 크기에서 디스크 값을 표시합니다. 예를 들어, 3 개의 작업자 노드로 D4 V2 크기를 선택하면 실행중인 컨테이너 값의 수는 48이됩니다. 계산은 (작업자 노드 없음) * (D4 V2 디스크 크기 즉, 16)입니다. –

답변

0

하늘빛 HDinsight에서 hadoop 클러스터를 생성하는 동안 해당 저장소 계정에 저장소 계정과 컨테이너를 구성하게됩니다. BLOB 컨테이너는 클러스터의 기본 저장 위치로 사용됩니다. 선택적으로 클러스터가 액세스 할 수있는 추가 Azure 저장소 계정 (링크 된 저장소)을 지정할 수 있습니다. 클러스터는 blob 전용 공개 읽기 액세스 또는 공용 읽기 액세스로 구성된 모든 blob 컨테이너에 액세스 할 수도 있습니다.

관련 문제