네임 노드입니다 하둡의 노드를 제거 너무

최근 5 개 대의 서버와 클러스터 생성 : node01 node02 node03 node04네임 노드입니다 하둡의 노드를 제거 너무

내가 노예 목록에 Nademode을 추가 더 "노동자"를 가지고 마스터/etc/hadoop/slaves에 있습니다.

이 방법을 사용하면 마스터가 mapReduce 작업을 수행합니다.

오늘 직원 목록에서이 노드를 제거하고 싶습니다 (CPU 사용량이 너무 많음). hdfs-site.xml에 dfs.exclude를 설정하고 싶지만 마스터 서버이기 때문에 걱정됩니다.

누군가가이 작업을 수행 할 위험이 없다고 확인 했습니까?

감사합니다. 로맹.

2014-10-14 romain-nio

데이터가 마스터 노드에 저장되어있는 경우 (데이터 노드로 인해있을 수 있으므로) 기본적으로 해당 데이터가 손실됩니다. 하지만 복제 계수가 1보다 크면 (기본값은 3) Hadoop이 일부 데이터가 누락되었음을 알게되고 (다른 데이터 노드에서 다시 복제를 시작하여 복제 요소에 도달 함) 문제가되지 않습니다. .

복제 계수가 1보다 크고 (클러스터가 정상적으로 작동하는 경우) 마스터의 데이터를 제거하고 다시 NameNode로 만들면 Hadoop이 나머지를 처리합니다.

출처

2014-10-15 16:13:20

감사합니다. 복제 인자는 3과 같습니다. 괜찮습니다. 이 노드를 제외하려면 어떻게 진행합니까? 클러스터를 시작하고 etc/hadoop/slave의 슬레이브 파일에서 -it을 제거 하시겠습니까? –

슬레이브 목록에서 제거하면 충분합니다. 그런 다음 다시 시작하십시오. (어느 부분을 다시 시작할 필요가 있는지 확신 할 수 없기 때문에 모든 것을 다시 시작합니다). 나는 dfs.exclude를 사용한 적이 없지만 그것이 효과가있을 것이라고 생각합니다. –

네임 노드입니다 하둡의 노드를 제거 너무

답변

관련 문제