입력 데이터가 처음에 저장되는 위치는 어디입니까?

Question

Map Reduce의 첫 번째 단계는 입력 파일을 HDFS로 복사하는 것입니다. 정확하게 저장되는 위치를 알고 싶습니다. 이름 노드 또는 데이터 노드 또는 다른 곳에서?

HDFS로 복사 할 때 정확히 입력 파일을 어디에 저장합니까 ? (나중에 데이터 노드를 분할하여 저장함).

또는 소스/입력기에서 데이터 노드로 청크에서 직접 복사 한 내용입니까? (나는 그렇지 않다고 확신합니다)

Answer 1

파일을 HDFS에 넣는 것은 클라이언트, 이름 노드 및 데이터 노드 간의 조정 작업입니다. 매우 높은 수준에서 클라이언트는 파일을 저장해야하는 데이터 노드를 식별하기 위해 이름 노드와 대화하고 클라이언트는 첫 번째 블록을 초기 데이터 노드로 보내고 파일을 전송하고 해당 특정 노드의 복제를위한 후속 전송을 전송합니다 블록은 특정 데이터 노드에서 발생합니다.

자세한 프로토콜 from here을 읽습니다.