Hadoop의 동적 노드

Question

Hadoop을 시작한 후 Hadoop에 새 노드를 추가 할 수 있습니까? 나는 당신이 노드를 제거 할 수 있다는 것을 안다. (마스터는 노드 상태를 계속 관찰하는 경향이있다.)

Answer 1

올바른 hadoop-site.xml (마스터 namenode 및 jobtracker를 다시 가리킴)을 사용하여 새 노드를 부팅하면 새 노드를 추가 할 수 있습니다.

즉, 노드를 제거하는 것은 주어진 블록의 모든 중복 제거를 방지하기 위해 hdfs 파일 블록을 재조정하지 않고서는 정말 나쁜 생각입니다.

데이터 노드를 3 개 삭제하면 해당 블록 (모든 블록이 기본값 인 3)의 모든 중복을 잃을 수 있습니다. 따라서 블록이 속한 파일도 손상 될 수 있습니다. 두 개의 노드를 제거하면 하나의 복제본이 남을 수 있으며 손상 될 수 있습니다 (디스크가 죽어가는 것으로 알려져 있음).

Answer 2

데이터 노드로 사용하지 않는 한 문제가 없을 것이라고 생각합니다. 물론 hadoop의 데이터 지역성이 사라졌습니다.