새 노드 추가 - 새 노드에 서식 지정?

Question

3 개의 VM을 가진 매우 간단한 Hadoop 클러스터를 설정했습니다. 하나는 NameNode로, 다른 하나는 데이터 노드입니다. format 명령으로 HDFS 파일 시스템을 만들었고 모든 것이 잘 작동합니다. 파일을 HDFS 시스템에 저장할 수 있습니다.

이제 다른 데이터 노드를 추가하고 싶습니다. 내 가정은 새 노드를 설정하여 슬레이브 파일에 추가하고 (아마도) HDFS를 다시 시작하면 시스템에서 새 노드가 추가되었음을 인식하고 새 노드에 디스크 공간을 할당하고 형식을 지정합니다. 그것을 HDFS의 일부로 만듭니다. 이 가정이 맞습니까? 분명히 전체 HDFS를 다시 포맷하는 것은 바람직하지 않을 수 있으므로 데이터 노드를 "즉석에서"추가 할 수 있다고 가정합니다. 올바른지 또는 새 노드가 HDFS 용 스토리지를 제공하도록 다른 작업을 수행해야합니까? 감사합니다.

Answer 1

나는 데이터 노드를 "즉시"추가 할 수 있다고 가정합니다.

귀하의 가정은 정확합니다.

HDFS에 아무것도 포맷해야하지 않습니다. 새로운 데이터 노드의 디스크는 데이터 노드 디렉토리가 다른 노드와 동일해야하며 바람직하게는 동일해야하지만 반드시 그렇지는 않아야합니다.

HDFS를 다시 시작하지 않아도됩니다. 서비스가 실행될 때 RPC 요청을 사용하여 namenode에 등록합니다.

팁 : Apache Ambari를 사용하면 XML을 직접 편집하고 동기화하는 것보다 서비스를 쉽게 설치, 구성 및 관리 할 수 ​​있습니다.