hadoop 데이터 노드는 namenode를 호출하여 namenode에 자신을 등록하지 않거나 namenode에 데이터 노드 목록이 있으며 도달 할 수 있습니다.Hadoop : datanodes가 namenode에 어떻게 등록합니까?
새로운 namenode로 문제를 해결하는 것이 더 좋았습니다. namenode 실패 이후에 어디서나 datanode가 보이지 않지만 fsimage가 정확합니다.
데이터 노드가 이름 노드에 하트 비트를 보냅니다. 이름 노드는 데이터 노드에 접근하지 않습니다.
데이터를 검색하는 경우에도 이름 노드는 데이터 노드에 도달하지 않습니다. 이름 노드는 데이터가있는 클라이언트에게 알리고 클라이언트는 데이터 노드에서 데이터를 검색합니다. (MR 작업 흐름 중에 Job Tracker는 데이터가있는 이름 노드에서 찾은 다음 작업 추적기를 적절하게 할당합니다.)
각 datanode는 hdfs.conf 파일에 namenode 세부 정보를 유지합니다. 그리고 namenode는 모든 데이터 노드의 이름을 슬레이브 파일에 유지합니다. 난 당신이 datanodes에 namenode 및 마스터 파일에 노예 파일을 업데이 트해야한다고 생각.
namenode를 하드 종료하기 전에 작업 클러스터 (fs.default.name이 core-site.xml에 올바르게 구성되어 있음)가 있다고 가정합니다.
정보 org.apache.hadoop.ipc.Client :
내가
kill -9 pid내 네임 노드를 종료 할 때, 내 데이타 노드 로그에 표시하기 시작 다시 시도가 서버에 연결 : namenodehost/192.168.0.35 : 8020 . 이미 0 번 시도했습니다.정보 org.apache.hadoop.ipc.Client : 서버에 연결 재시도 중 : namenodehost/192.168.0.35 : 8020. 이미 1 번 시도했습니다.
은 ...정보 org.apache.hadoop.ipc.Client
: 다시 시도는 서버에 연결 : namenodehost/192.168.0.35 : 8020. 이미 9 번 시도했습니다.경고 org.apache.hadoop.hdfs.server.datanode.DataNode : java.net.ConnectException : 연결 예외가 발생하여 namenodehost/192.168.0.35 : 8020에 대한 호출이 실패했습니다. java.net.ConnectException : 연결이 거부되었습니다.
정보 org.apache.hadoop.ipc.Client : 서버에 연결 재시도 중 : namenodehost/192.168.0.35 : 8020. 이미 0 번 시도했습니다.
정보 org.apache.hadoop.ipc.Client : 서버에 연결 재시도 중 : namenodehost/192.168.0.35 : 8020. 이미 1 번 시도했습니다.
... 난 다시 내 네임 노드를로드 할 때까지 반복
. 그 순간, 데이타 노드 '로그를 보여줍니다
이 정보 org.apache.hadoop.hdfs.server.datanode.DataNode : DatanodeCommand 조치 : DNA_REGISTER
정보의 org.apache.hadoop.hdfs.server.datanode을 .DataNode : 0 개의 초로 1 볼륨에 대한 보고서 작성이 완료되었습니다.
정보 org.apache.hadoop.hdfs.server.datanode.데이터 노드 : 시작 비동기 블록 보고서 스캔
정보 org.apache.hadoop.hdfs.server.datanode.DataNode : 10ms의
정보의 org.apache.hadoop.hdfs.server.datanode에 완료 비동기 블록 보고서 스캔. DataNode : 파일 시스템으로 조정 된 비동기 블록 스캔. 0 블록을 동시에 스캔하는 동안 삭제, 0 블록은 동시에
을 무시 스캔, 4 개 진행중인 작품 중에 추가정보 org.apache.hadoop.hdfs.server.datanode.DataNode : 0 MS의 현재 상태에 대한 조정 됨 비동기 블록 보고서
정보 org.apache.hadoop.hdfs.server.datanode.DataNode : 411 개 블록의 BlockReport 0 밀리 초 생성 및 RPC 및 NN 처리
각 데이터 노드는 네임 노드에 다시 연결을위한 68 밀리 초를했고 모든 작품을 좋아.
이 정보가 도움이 되나요?
마지막 줄은 내가 무슨 뜻인지 생각하게 만들었습니다. 감사 :) –
데이터 노드는 이름 노드를 하트 비트합니다. 이름 노드는 데이터 노드에 접근하지 않습니다. 그러나 그것은 당신이 정말로 물어보고 싶은 질문이 아닌 것 같습니다. ;) – Ilion
아니요, 그게 간단합니다. 아키텍처를 아는 데 도움이되는 질문입니다. 왜 그들이 새로운 * namenode에 * 하트 비트가 아닌지를 알아낼 수 있습니다. 아키텍처를 아는 것은 1 단계입니다. 답변으로 게시해야합니다. –
새로운 namenode - 이것은 이전 이름 노드와 동일한 주소/포트에 있습니까? –