hadoop 클러스터에서 새 데이터 노드를 추가합니다.

Question

잘 작동하는 셋업 노드 클러스터가 있습니다. 이제이 클러스터에 노드를 하나 더 추가하고 싶습니다.하지만 새로운 노드가 클러스터에 추가되지 않았습니다. 내 질문은 어디에서 그런 문제에 대한 예외 메시지를 찾을 수 있습니다. 데이터 노드 데몬을 시작하면 새 노드가 하나 더 시작되지만 클러스터에 연결하면 이름 노드가 데이터 노드 데몬을 중지합니다. 일부 구성 또는 디렉토리 사용 권한 문제를 추측하기 때문에 어떻게 이러한 오류를 찾을 수 있습니까? 그 오류를 사용할 수있는 로그 파일은 무엇입니까?

예외 : --------------

013-06-14 18:20:33,987 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: NameNode up at: master/192.168.0.135:8020 
2013-06-14 18:20:33,988 INFO org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Starting services required for active state 
2013-06-14 18:20:34,371 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:hdfs (auth:SIMPLE) cause:org.apache.hadoop.hdfs.server.namenode.SafeModeException: Log not rolled. Name node is in safe mode. 
The reported blocks 0 needs additional 374 blocks to reach the threshold 0.9990 of total blocks 374. Safe mode will be turned off automatically. 
2013-06-14 18:20:34,371 INFO org.apache.hadoop.ipc.Server: IPC Server handler 1 on 8020, call org.apache.hadoop.hdfs.server.protocol.NamenodeProtocol.rollEditLog from 192.168.0.115:33532: error: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Log not rolled. Name node is in safe mode. 
The reported blocks 0 needs additional 374 blocks to reach the threshold 0.9990 of total blocks 374. Safe mode will be turned off automatically. 
org.apache.hadoop.hdfs.server.namenode.SafeModeException: Log not rolled. Name node is in safe mode. 
The reported blocks 0 needs additional 374 blocks to reach the threshold 0.9990 of total blocks 374. Safe mode will be turned off automatically. 
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.rollEditLog(FSNamesystem.java:4433) 
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.rollEditLog(NameNodeRpcServer.java:734) 
    at org.apache.hadoop.hdfs.protocolPB.NamenodeProtocolServerSideTranslatorPB.rollEditLog(NamenodeProtocolServerSideTranslatorPB.java:129) 
    at org.apache.hadoop.hdfs.protocol.proto.NamenodeProtocolProtos$NamenodeProtocolService$2.callBlockingMethod(NamenodeProtocolProtos.java:8762) 
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453) 
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:898) 
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1693) 
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1689) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at javax.security.auth.Subject.doAs(Subject.java:396) 
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1332) 
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1687) 
2013-06-14 18:21:34,395 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:hdfs (auth:SIMPLE) cause:org.apache.hadoop.hdfs.server.namenode.SafeModeException: Log not rolled. Name node is in safe mode. 
The reported blocks 0 needs additional 374 blocks to reach the threshold 0.9990 of total blocks 374. Safe mode will be turned off automatically. 
2013-06-14 18:21:34,395 INFO org.apache.hadoop.ipc.Server: IPC Server handler 4 on 8020, call org.apache.hadoop.hdfs.server.protocol.NamenodeProtocol.rollEditLog from 192.168.0.115:33534: error: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Log not rolled. Name node is in safe mode. 
The reported blocks 0 needs additional 374 blocks to reach the threshold 0.9990 of total blocks 374. Safe mode will be turned off automatically. 
org.apache.hadoop.hdfs.server.namenode.SafeModeException: Log not rolled. Name node is in safe mode. 
The reported blocks 0 needs additional 374 blocks to reach the threshold 0.9990 of total blocks 374. Safe mode will be turned off automatically. 
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.rollEditLog(FSNamesystem.java:4433) 
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.rollEditLog(NameNodeRpcServer.java:734) 
    at org.apache.hadoop.hdfs.protocolPB.NamenodeProtocolServerSideTranslatorPB.rollEditLog(NamenodeProtocolServerSideTranslatorPB.java:129) 
    at org.apache.hadoop.hdfs.protocol.proto.NamenodeProtocolProtos$NamenodeProtocolService$2.callBlockingMethod(NamenodeProtocolProtos.java:8762) 
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453) 
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:898) 
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1693) 
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1689) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at javax.security.auth.Subject.doAs(Subject.java:396) 
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1332) 
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1687) 

Answer 1

로그 파일이 $HADOOP_HOME/logs에서 보통, $HADOOP_HOME 당신의 하둡이 디렉토리를 설치합니다.

당신이 두 개의 로그 파일로 볼 수 있습니다 : 당신의 네임 노드가 새로 추가 된 데이터 노드를 시작 노드에

hadoop-USERNAME-datanode-HOSTNAME.log을 실행중인 노드에서

• hadoop-USERNAME-namenode-HOSTNAME.log.

  USERNAME 및은 네가 hadoop을 실행하는 데 사용한 사용자 이름과 노드의 호스트 이름입니다.