cloudera 클러스터 노드 역할

Question

내 cloudera CDH4 클러스터 설정에서 간단한 벤치 마크 테스트를 실행해야합니다. cloudera 클러스터 설정 (CDH4)에는 4 개의 노드, A, B, C 및 D가 있습니다. cloudera 서비스를 관리하기 위해 cloudera manager 무료 버전을 사용하고 있습니다. 각 노드는 아래와 같이 여러 역할을 수행하도록 구성됩니다. A : 네임 노드, JobTrackerNode, regionserver, SecondaryNameNode, 데이터 노드, TaskTrackerNode B : 데이터 노드, TaskTrackerNode C : 데이터 노드, TaskTrackerNode D : 데이터 노드, TaskTrackerNode

이

내 첫 번째 질문은 하나 개의 노드는 네임 노드와 데이터 노드가 될 수있다? 이 설정이 정상입니까? 내 두 번째 질문은 cloudera 관리자 UI에서 실행중인 많은 서비스를 볼 수 있지만이 서비스가 필요한지 아닌지 잘 모르겠습니다. 내 설정에서 실행 서비스는 다음과 같습니다 oozie1 zookeeper1

mapreduce1 hue1 hbase1 hdfs1 난 단지 hdfs1 및 mapreduce1 서비스가 필요하십니까. 그렇다면 어떻게 다른 서비스를 제거 할 수 있습니까?

내 생각에 클라우드와 허프 개념이 내게 새롭다. 내 가정 중 일부가 비논리적이거나 잘못되었을 때 나를 용서해주십시오.

Answer 1

첫 번째 질문에 대한 답변이 '예'입니다. 하지만 NameNode가 충분한 양의 RAM을 필요로하므로 프로덕션 환경에서는 그렇게하지 않을 것입니다. 사람들은 일반적으로 마스터 노드에서 NameNode + JobTracker 만 실행합니다. SecondarNameNode를 다른 시스템에서 실행하는 것이 더 좋습니다.

두 번째 질문이 나오면 Cloudera Manager는 Hadoop 일뿐만 아닙니다. HBase (NOSQL DB), Oozie (워크 플로우 엔진) 등의 여러 Hadoop 하위 프로젝트를 포함하는 완전한 패키지입니다. 이러한 UI는 UI에서 볼 수있는 프로세스입니다.

하둡 만 사용하려면 HDFS와 MapReduce로 충분합니다. UI 자체에서 나머지 프로세스를 쉽게 중지 할 수 있습니다. Hadoop 클러스터에는 아무런 해가 없습니다.

HTH