Hadoop NameNode, Checkpoint Node 및 Backup Node를 사용하는 것이 장단점은 무엇입니까?

Question

현재 사내 프로젝트로 Hadoop 1.0.2를 평가 중입니다.

하둡 문서들은을 무엇 세 가지 옵션 이하고 무엇에 대한 정보가

The Secondary NameNode has been deprecated. Instead, consider using the Checkpoint Node or Backup Node

말,하지만 난있는 정보를 찾는 데 문제가 세 가지 옵션 중 을 권장하는 경우을 권장합니다.

Answer 1

기본적으로 검사 점 노드는 2 차 이름 노드의 새로운 구현이며 백업 지점은 namenode의 warm-standby로가는 도중 임시 릴리스입니다 (또한 읽기와 쓰기를 분리하여 성능을 약간 향상시킬 수 있습니다). 기록 - 이름 노드에서 읽고 콘스탄틴 Shvachko에 의해 설명 된대로 백업 노드 Backupnode documentation에서

글 :

이 패치는 이름 노드의 두 가지 새로운 유형의 소개 : 체크 포인트 노드와 백업 노드를 .

• 이미지를 병합하고 파일을 편집하여 이름 노드 메타 데이터를 검사 점 포인트 노드의 역할.
• 백업 노드는 파일 시스템 메타 데이터의 온라인 업데이트를 받고 메모리 상태에 적용하고 이름 노드처럼 디스크 에 유지함으로써 Checkpointer의 기능 을 확장합니다. 따라서 언제든지 백업 노드 에 메모리의 최신 이미지와 로컬 디스크의 이 모두 포함됩니다. 또한 백업 노드가 활성화 된 이름 노드의 파일을 전송할 필요가 없으며 편집을 재생 (병합) 할 필요가 없기 때문에보다 효율적인 검사 점 을 얻을 수 있습니다. 클러스터가 활성 죽으면 새 이름 노드로 전환 할 수있을 때
• 용어 대기 노드 백업 노드 기능을 더 확장 위해 예약된다. 이 내용은 디자인 문서의 "Warm standby provision"섹션 에 설명되어 있습니다.

일반적인 사용 사례 :

1. 실행 체크 포인트 노드는 체크 포인트를 만들 수 있습니다. 패치로 인해 더 이상 사용되지 않는 현재 SecondaryNameNode 대신 을 사용해야합니다. SecondaryNameNode 코드를 많이 재사용하여이 노력이 낭비되지 않고 으로 변경되었습니다.
2. 온라인 백업을 지원하도록 백업 노드 편집 스트리밍 및 효율적인 검사 점 지정. 특히 은 편집을위한 원격 저장소로 NFS를 제거하는 것을 목표로합니다.
3. 영구 저장소가없는 NameNode 을 실행하고 모든 "지속되는" 기능을 백업 노드에 위임합니다.여기서 트릭은 -importCheckpoint 옵션을 사용하여 이름 노드 을 시작한 다음 백업 노드를 실행하는 것입니다.