Hadoop 데이터 노드가 시작되지 않습니다.

11 개의 노드로 이루어진 Hadoop 클러스터가 있습니다. 하나의 노드가 마스터 노드로 작동하고 10 개의 슬레이브 노드가 DATANODE & TASKTRACKERS를 실행합니다.
모든 슬레이브 노드에서 태스크 추적기가 시작됩니다. DATANODE는 노드 10 개 중 6 개에서만 시작됩니다. 아래는 /hadoop/logs/...Datanode....log의 로그입니다.Hadoop 데이터 노드가 시작되지 않습니다.

2014-12-03 17:55:05,057 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: STARTUP_MSG: 

/************************************************************ 

STARTUP_MSG: Starting DataNode 

STARTUP_MSG: host = trans9/192.168.0.16 

STARTUP_MSG: args = [] 

STARTUP_MSG: version = 1.2.1 

STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 
1503152; compiled by 'mattf' on Mon Jul 22 15:23:09 PDT 2013 

STARTUP_MSG: java = 1.7.0_65 

************************************************************/ 

2014-12-03 17:55:05,371 INFO org.apache.hadoop.metrics2.impl.MetricsConfig: loaded properties from hadoop-metrics2.properties 

2014-12-03 17:55:05,384 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source MetricsSystem,sub=Stats registered. 

2014-12-03 17:55:05,385 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Scheduled snapshot period at 10 second(s). 

2014-12-03 17:55:05,385 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: DataNode metrics system started 

2014-12-03 17:55:05,776 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source ugi registered. 

2014-12-03 17:55:05,789 WARN org.apache.hadoop.metrics2.impl.MetricsSystemImpl: Source name ugi already exists! 

2014-12-03 17:55:08,850 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Registered FSDatasetStatusMBean 

2014-12-03 17:55:08,865 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Opened data transfer server at 50010 

2014-12-03 17:55:08,867 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Balancing bandwith is 1048576 bytes/s 

2014-12-03 17:55:08,876 INFO org.apache.hadoop.util.NativeCodeLoader: Loaded the native-hadoop library 

2014-12-03 17:55:08,962 INFO org.mortbay.log: Logging to org.slf4j.impl.Log4jLoggerAdapter(org.mortbay.log) via org.mortbay.log.Slf4jLog 

2014-12-03 17:55:09,055 INFO org.apache.hadoop.http.HttpServer: Added global filtersafety (class=org.apache.hadoop.http.HttpServer$QuotingInputFilter) 

2014-12-03 17:55:09,068 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: dfs.webhdfs.enabled = false 

2014-12-03 17:55:09,068 INFO org.apache.hadoop.http.HttpServer: Port returned by webServer.getConnectors()[0].getLocalPort() before open() is -1. Opening the listener on 50075 

2014-12-03 17:55:09,068 INFO org.apache.hadoop.http.HttpServer: listener.getLocalPort() returned 50075 webServer.getConnectors()[0].getLocalPort() returned 50075 

2014-12-03 17:55:09,068 INFO org.apache.hadoop.http.HttpServer: Jetty bound to port 50075 

2014-12-03 17:55:09,068 INFO org.mortbay.log: jetty-6.1.26 

2014-12-03 17:55:09,804 INFO org.mortbay.log: Started [email protected]:50075 

2014-12-03 17:55:09,812 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source jvm registered. 

2014-12-03 17:55:09,813 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source DataNode registered. 

2014-12-03 17:55:09,893 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source RpcDetailedActivityForPort50020 registered. 

2014-12-03 17:55:09,894 INFO org.apache.hadoop.metrics2.impl.MetricsSourceAdapter: MBean for source RpcActivityForPort50020 registered. 

2014-12-03 17:55:09,895 INFO org.apache.hadoop.ipc.Server: Starting SocketReader 

2014-12-03 17:55:09,903 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: dnRegistration = DatanodeRegistration(slave9:50010, storageID=DS-551911532-192.168.0.31-50010-1417617118848, infoPort=50075, ipcPort=50020) 

2014-12-03 17:55:09,914 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Finished generating blocks being written report for 1 volumes in 0 seconds 

2014-12-03 17:55:09,933 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Finished asynchronous block report scan in 5ms 

2014-12-03 17:55:09,933 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(192.168.0.16:50010, storageID=DS-551911532-192.168.0.31-50010-1417617118848, infoPort=50075, ipcPort=50020)In DataNode.run, data = FSDataset{dirpath='/home/ubuntu/hadoop/hadoop-data/dfs/data/current'} 

2014-12-03 17:55:09,945 INFO org.apache.hadoop.ipc.Server: IPC Server Responder: starting 

2014-12-03 17:55:09,946 INFO org.apache.hadoop.ipc.Server: IPC Server listener on 50020: starting 

2014-12-03 17:55:09,946 INFO org.apache.hadoop.ipc.Server: IPC Server handler 0 on 50020: starting 

2014-12-03 17:55:09,955 INFO org.apache.hadoop.ipc.Server: IPC Server handler 1 on 50020: starting 

2014-12-03 17:55:09,955 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: using BLOCKREPORT_INTERVAL of 3600000msec Initial delay: 0msec 

2014-12-03 17:55:09,959 INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 50020: starting 

2014-12-03 17:55:10,140 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: DataNode is shutting down: org.apache.hadoop.ipc.RemoteException: org.apache.hadoop.hdfs.protocol.UnregisteredDatanodeException: Data node 192.168.0.16:50010 is attempting to report storage ID DS-551911532-192.168.0.31-50010-1417617118848. Node 192.168.0.14:50010 is expected to serve this storage. 
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getDatanode(FSNamesystem.java:5049) 
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.processReport(FSNamesystem.java:3939) 
    at org.apache.hadoop.hdfs.server.namenode.NameNode.blockReport(NameNode.java:1095) 
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 
    at java.lang.reflect.Method.invoke(Method.java:606) 
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:587) 
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1432) 
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1428) 
    at java.security.AccessController.doPrivileged(Native Method) 
    at javax.security.auth.Subject.doAs(Subject.java:415) 
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190) 
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1426) 

    at org.apache.hadoop.ipc.Client.call(Client.java:1113) 
    at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:229) 
    at com.sun.proxy.$Proxy3.blockReport(Unknown Source) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.offerService(DataNode.java:1084) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.run(DataNode.java:1588) 
    at java.lang.Thread.run(Thread.java:745) 


2014-12-03 17:55:10,144 INFO org.mortbay.log: Stopped SelectChan[email protected]:50075 

2014-12-03 17:55:10,147 INFO org.apache.hadoop.ipc.Server: Stopping server on 50020 

2014-12-03 17:55:10,147 INFO org.apache.hadoop.ipc.Server: IPC Server handler 0 on 50020: exiting 

2014-12-03 17:55:10,147 INFO org.apache.hadoop.ipc.Server: IPC Server handler 1 on 50020: exiting 

2014-12-03 17:55:10,147 INFO org.apache.hadoop.ipc.Server: IPC Server handler 2 on 50020: exiting 

2014-12-03 17:55:10,148 INFO org.apache.hadoop.ipc.Server: Stopping IPC Server listener on 50020 

2014-12-03 17:55:10,148 INFO org.apache.hadoop.ipc.Server: Stopping IPC Server Responder 

2014-12-03 17:55:10,149 INFO org.apache.hadoop.ipc.metrics.RpcInstrumentation: shut down 

2014-12-03 17:55:10,149 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(192.168.0.16:50010, storageID=DS-551911532-192.168.0.31-50010-1417617118848, infoPort=50075, ipcPort=50020):DataXceiveServer:java.nio.channels.AsynchronousCloseException 
    at java.nio.channels.spi.AbstractInterruptibleChannel.end(AbstractInterruptibleChannel.java:205) 
    at sun.nio.ch.ServerSocketChannelImpl.accept(ServerSocketChannelImpl.java:248) 
    at sun.nio.ch.ServerSocketAdaptor.accept(ServerSocketAdaptor.java:100) 
    at org.apache.hadoop.hdfs.server.datanode.DataXceiverServer.run(DataXceiverServer.java:132) 
    at java.lang.Thread.run(Thread.java:745) 


2014-12-03 17:55:10,149 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting DataXceiveServer 

2014-12-03 17:55:10,149 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Waiting for threadgroup to exit, active threads is 0 

2014-12-03 17:55:10,150 INFO org.apache.hadoop.hdfs.server.datanode.FSDatasetAsyncDiskService: Shutting down all async disk service threads... 

2014-12-03 17:55:10,151 INFO org.apache.hadoop.hdfs.server.datanode.FSDatasetAsyncDiskService: All async disk service threads have been shut down 

2014-12-03 17:55:10,151 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: DatanodeRegistration(192.168.0.16:50010, storageID=DS-551911532-192.168.0.31-50010-1417617118848, infoPort=50075, ipcPort=50020):Finishing DataNode in: FSDataset{dirpath='/home/ubuntu/hadoop/hadoop-data/dfs/data/current'} 

2014-12-03 17:55:10,152 WARN org.apache.hadoop.metrics2.util.MBeans: Hadoop:service=DataNode,name=DataNodeInfo 
javax.management.InstanceNotFoundException: Hadoop:service=DataNode,name=DataNodeInfo 
    at com.sun.jmx.interceptor.DefaultMBeanServerInterceptor.getMBean(DefaultMBeanServerInterceptor.java:1095) 
    at com.sun.jmx.interceptor.DefaultMBeanServerInterceptor.exclusiveUnregisterMBean(DefaultMBeanServerInterceptor.java:427) 
    at com.sun.jmx.interceptor.DefaultMBeanServerInterceptor.unregisterMBean(DefaultMBeanServerInterceptor.java:415) 
    at com.sun.jmx.mbeanserver.JmxMBeanServer.unregisterMBean(JmxMBeanServer.java:546) 
    at org.apache.hadoop.metrics2.util.MBeans.unregister(MBeans.java:71) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.unRegisterMXBean(DataNode.java:586) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.shutdown(DataNode.java:855) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.run(DataNode.java:1601) 
    at java.lang.Thread.run(Thread.java:745) 

2014-12-03 17:55:10,152 INFO org.apache.hadoop.ipc.Server: Stopping server on 50020 

2014-12-03 17:55:10,152 INFO org.apache.hadoop.ipc.metrics.RpcInstrumentation: shut down 

2014-12-03 17:55:10,153 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Waiting for threadgroup to exit, active threads is 0 

2014-12-03 17:55:10,153 WARN org.apache.hadoop.metrics2.util.MBeans: Hadoop:service=DataNode,name=FSDatasetState-DS-551911532-192.168.0.31-50010-1417617118848 
javax.management.InstanceNotFoundException: Hadoop:service=DataNode,name=FSDatasetState-DS-551911532-192.168.0.31-50010-1417617118848 
    at com.sun.jmx.interceptor.DefaultMBeanServerInterceptor.getMBean(DefaultMBeanServerInterceptor.java:1095) 
    at com.sun.jmx.interceptor.DefaultMBeanServerInterceptor.exclusiveUnregisterMBean(DefaultMBeanServerInterceptor.java:427) 
    at com.sun.jmx.interceptor.DefaultMBeanServerInterceptor.unregisterMBean(DefaultMBeanServerInterceptor.java:415) 
    at com.sun.jmx.mbeanserver.JmxMBeanServer.unregisterMBean(JmxMBeanServer.java:546) 
    at org.apache.hadoop.metrics2.util.MBeans.unregister(MBeans.java:71) 
    at org.apache.hadoop.hdfs.server.datanode.FSDataset.shutdown(FSDataset.java:2093) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.shutdown(DataNode.java:917) 
    at org.apache.hadoop.hdfs.server.datanode.DataNode.run(DataNode.java:1601) 
    at java.lang.Thread.run(Thread.java:745) 

2014-12-03 17:55:10,159 WARN org.apache.hadoop.hdfs.server.datanode.FSDatasetAsyncDiskService: AsyncDiskService has already shut down. 

2014-12-03 17:55:10,159 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: Exiting Datanode 

2014-12-03 17:55:10,166 INFO org.apache.hadoop.hdfs.server.datanode.DataNode: SHUTDOWN_MSG: 
/************************************************************ 

SHUTDOWN_MSG: Shutting down DataNode at trans9/192.168.0.16 
************************************************************/

출처

2014-12-03 Tariq

이것은 호환되지 않는 클러스터 ID 문제로 인해 datanode 디렉토리를 포맷하고 다시 시작합니다.

출처

2014-12-04 03:54:37 Rengasamy

아, 데이터 노드에 할당 된 이름 노드 및 나머지 시스템에 대한 하나의 시스템을 사용하지 않는 것이 좋습니다. 이름 노드에는 하나의 시스템을, 작업 추적기에는 또 다른 시스템을, 보조 이름 노드에는 다른 시스템을 사용할 것을 권장합니다. 나머지 8 개 시스템 중 데이터 노드를 사용하는 것이 좋습니다.

질문 해주십시오. 이 문제를 해결하려면 이름 노드의 서식을 지정하십시오. 또한 터미널을 다시 엽니 다. 어떤 시간 네트워크 또한 이유 중 하나.

출처

2014-12-04 05:23:10

감사를 실행합니다. 나는이 문제를 해결 한 후에 분명히 할 것입니다. 나는 "hadoop namenode -format"명령을 사용하여 namenode를 포맷했다./hadoop/hdfs/폴더에 내 datanode 및 namenode 디렉토리를 삭제했습니다. 이 폴더를 다시 만들고 755 권한을 할당했습니다. 데이터 노드가 전혀 시작되지 않습니다. – Tariq

Venu, 이메일을받을 수 있습니까? 내가 stackoverflow 아래에 적용되지 않습니다 일부 하둡 구성 관련 질문을해야합니까? – Tariq

클러스터가 수십 노드이기 때문에 Namenode 및 JobTracker 인 단일 노드를 갖는 것이 좋습니다. Secondary Namenode은 정기적 인 백업을 수행하는 데 더 많은 메모리가 필요하므로 다른 노드에 있어야합니다. 귀하의 질문에 오는
,
그것은 conflits.Same 문제를 Answered here
을 일으키는 구성 파일을 복사 할 수 있으며, 적절한 변화와 작업 데이터 노드 구성을 복사 시도 할 수 있습니다.
클러스터에 데이터가 없으면 모든 데몬을 중지하고 다시 시작하기 전에 namenode를 포맷 할 수 있습니다.
도움이 되길 바랍니다.

출처

2014-12-04 13:24:11

해결 방법은 다음과 같습니다. 복제 인수를 1보다 크게 설정하면 데이터 삭제가 발생하지 않습니다. 해결 방법은 상자에서 실행중인 서비스를 확인하는 것입니다. 이 경우 상자에 tasktracker이 실행됩니다. 이 작업이 완료되면

hadoop-daemon stop tasktracker

을 실행하여 작업 중지 추적기, 당신은 dfs.data.dir 특성에서 언급 한 수있는 위치로 이동하고 여기에서 모든 파일 \ 폴더를 삭제합니다. 이 작업이 완료되면,
hadoop-daemon start datanode
hadoop-daemon start tasktracker

이것은 데이터 노드와 tasktracker를 데려 와야한다
를 실행합니다. 당신이이 일에 성공하는 경우, 네임 노드로 이동하여 응답 및 제안에 대한

hadoop dfsadmin -refreshNodes

출처

2015-03-02 06:31:03 rickydj

Hadoop 데이터 노드가 시작되지 않습니다.

답변

관련 문제