hadoop에서 디스크 또는 데이터 노드 오류 및 복구 절차는 무엇입니까?

Question

Hadoop에 저장하는 블록 및 복제 절차는 BlockPlacementPolicy 함수 또는 프로세스에 의해 수행되지만 이는 초기 저장 프로 시저에 대한 것입니다 (처음으로 데이터는 HDFS 시스템에 저장됩니다). 나는 어느 프로세스 또는 자바 함수가 디스크 또는 데이터 노드 실패 후 데이터를 복구 (복구에 의해 문제를 해결한다는 의미)를 담당하는지 관심이있다. 내 생각은 기능 요구 사항에 따라 작동하도록 기능을 변경하는 것입니다. 이는 복제본 수를 유지하고 새 복제본 (복구 된 복제본)을 원하는 디스크에 저장하는 것을 의미합니다.

Answer 1

노드에 장애가 발생하면 거기에 저장된 블록이 더 이상 HDFS에 사용할 수없는 것으로 계산됩니다. 노드가 실패하거나 사용할 수 없을 때 복제 된 블록 아래의 수를 보면 쉽게 알 수 있습니다.

일반적으로 시스템은 중복 제거가 발생할 때 (그리고 용량을 사용할 수있을 때) 문제를 해결하려고합니다. 따라서 기본적으로 구축하려는 솔루션이 이미 있어야합니다.

참고 : Hadoop은 손상된 노드에서 데이터를 복구하려고하지 않지만 손상되지 않은 노드를 기반으로 관련 블록을 복제하기 만합니다.