하나의 클러스터에 얼마나 많은 NameNode가있을 수 있습니까?

Question

Hadoop 클러스터는 랙 모음입니다. 각 랙에는 하나의 NameNode가 포함되어 있습니까? 아니면 하나의 NameNode 만 전체 클러스터에 있습니까?

Answer 1

일반적인 Hadoop 배포에서는 랙당 하나의 NameNode가 없습니다. 소규모 배포의 경우 많은 경우 하나의 NameNode와 자동 장애 조치를위한 Standby NameNode를 사용합니다.

그러나 의 경우에 둘 이상의 NameNode가있을 수 있습니다. Hadoop 버전 0.23에서는 연합 된 NameNodes가 도입되어 수평 확장이 가능했습니다. 그러나 내가 말했듯이, 일반적인 사용 사례의 많은 경우 클러스터 당 하나의 NameNode (선택적인 Standby NameNode 또는 Secondary NameNode 포함)가 필요합니다.

자세한 내용은 here을 참조하십시오.

Answer 2

이름 노드뿐만 아니라 랙의 구성에 따라 다릅니다. 전체 클러스터에 대해 1 개의 이름 노드를 가질 수 있습니다. 성능에 심각한 문제가있는 경우 다른 랙 집합에 대해 다른 이름 노드를 구성 할 수 있습니다. 그러나 랙당 1 개의 이름 노드는 권장되지 않습니다. Hadoop 1.x에는 하나의 이름 노드 (하나의 네임 스페이스 만)를 가질 수 있지만 Hadoop 2.x에서는 네임 스페이스 연합을 사용할 수 있습니다. 여기서 여러 메타 노드가 일반적으로 특정 메타 데이터에만 사용됩니다.

Answer 3

하나. 클러스터에 하나의 이름 노드 만 가질 수 있습니다.

상세 - Yarn/Hadoop 2.0에는 활성 이름 노드와 대기 이름 노드라는 개념이 있습니다. (이것은 대부분의 사람들이 혼란스러워하는 곳이며 클러스터에서 2 개의 노드라고 생각합니다.) 그러나이 얀 아키텍처에서 하트 비트를 수신하고 데이터 노드로부터 보고서를 차단하는 단일 이름 노드가있을 것입니다. 즉, 활성 상태로 남아있는 단일 이름 노드가 있음을 의미합니다. 이 이름 대기 노드는 활성 노드 노드에서 저널 노드를 통해 메타 데이터 파일을 수신하므로 이름 노드에 오류가 발생하면이를 대신 할 수 있습니다.

노드 수가 많은 클러스터에 2000 노드가 있다고 가정하면 활성 이름 노드를 하나만 가질 수도 있고 하위 클러스터에서 클러스터를 나눌 수있는 다른 방법을 사용할 수도 있습니다. 클러스터는 또한 클러스터 당 하나의 액티브 노드를 가지지 만 처리 속도가 향상됩니다. 이제는 노드 노드 대 데이터 노드 비율이 더 좋기 때문입니다.

결론 - 클러스터 당 하나의 노드를 가질 수 있습니다.