Hadoop config - hdfs-site.xml : namenode 및 datanode에서 동일한 파일을 사용해야합니까?

Question

분산 된 Hadoop 클러스터에서 같은 hdfs-site.xml 파일을 namenodes 및 datanodes에 복사 할 수 있습니까?

필자가 보았던 설치 지침 중 일부 (예 : Cloudera)는 datanodes에는 dfs.data.dir 속성이 있고 namenode에는이 파일의 dfs.name.dir 속성이 있다고합니다. . hdfs-site.xml은 namenode와 datanode에 각각 하나씩 두 개의 복사본이 있어야합니다.

하지만 모든 것이 같으면 파일을 소유/유지하고 모든 파일을 변경할 때마다 모든 노드에 적용해야합니다. 동일한 파일에 dfs.name.dir 및 dfs.data.dir 속성을 모두 가질 위험이 있습니까? 데이터 노드가 "dfs.name.dir"에 대한 속성을 보는 경우 어떤 문제가 발생할 수 있습니까? 그리고 문제가있는 경우 namenode의 hdfs-site.xml 파일에는 어떤 다른 속성이 있어야하지만 데이터 노드에는 포함되지 않아야합니까? 그 반대.

마지막으로 클라이언트 컴퓨터에 복사 할 hdfs-site.xml 파일에 어떤 속성을 포함시켜야합니까 (누가 작업 추적자 또는 데이터 노드가 아니고 Hadoop 클러스터와 대화합니까?).

O'reilly 작업 설명서를 포함 해 검색되었지만 설정 파일이 다른 노드에서 어떻게 달라야 하는지를 설명하는 좋은 기사를 찾을 수 없습니다. 감사합니다.

Answer 1

namenode는 마스터 파일에서 선택되므로 동일한 hdfs-site.xml을 복사하더라도 FSimage 및 편집 로그는 namenode에만 쓰여지고 데이터 노드에는 기록되지 않습니다.

두 번째 질문에 대해 ... 클러스터에 직접 있지 않아도 반드시 hdfs와 통신 할 수는 없습니다. 원격 클라이언트를 원할 경우 webhdfs를 시도하고 hdfs에서 파일을 작성하거나 액세스 할 수있는 특정 웹 서비스를 만들 수 있습니다.