우분투에서 hadoop-2.2

2.2.0 및 oozie-4.0.0으로 oozie에서 mapreduce 프로그램을 실행하는 방법. 나는 oozie에서 mapreduce 프로그램을 실행할 수 없습니다.우분투에서 hadoop-2.2

oozie의 jobtracker 8032에 대한 자원 관리자 포트 번호를 사용 중입니다.

oozie에 예약하면서도 내가 하둡 로그 (아래)이 같은 오류가 여전히 oozie 로그에 실행하고 잠시 후 상태를 실행하고 실에서 실행에 간다

오류 :

2014-05-30 10:38:14,322 INFO [RMCommunicator Allocator] org.apache.hadoop.mapreduce.v2.app.rm.RMContainerRequestor: getResources() for application_1401425739447_0003: ask=3 release= 0 newContainers=0 finishedContainers=0 resourcelimit=<memory:1024, vCores:-1> knownNMs=1 
2014-05-30 10:38:17,296 INFO [Socket Reader #1 for port 47412] SecurityLogger.org.apache.hadoop.ipc.Server: Auth successful for job_1401425739447_0003 (auth:SIMPLE) 
2014-05-30 10:38:17,316 INFO [IPC Server handler 0 on 47412] org.apache.hadoop.mapred.TaskAttemptListenerImpl: JVM with ID : jvm_1401425739447_0003_m_000002 asked for a task 
2014-05-30 10:38:17,316 INFO [IPC Server handler 0 on 47412] org.apache.hadoop.mapred.TaskAttemptListenerImpl: JVM with ID: jvm_1401425739447_0003_m_000002 given task: attempt_1401425739447_0003_m_000000_0 
2014-05-30 10:38:22,524 INFO [IPC Server handler 1 on 47412] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Ping from attempt_1401425739447_0003_m_000000_0 
2014-05-30 10:38:25,996 INFO [IPC Server handler 2 on 47412] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Status update from attempt_1401425739447_0003_m_000000_0 
2014-05-30 10:38:26,003 INFO [IPC Server handler 2 on 47412] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Progress of TaskAttempt attempt_1401425739447_0003_m_000000_0 is : 1.0 
2014-05-30 10:38:29,066 INFO [IPC Server handler 3 on 47412] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Ping from attempt_1401425739447_0003_m_000000_0 
2014-05-30 10:38:32,071 INFO [IPC Server handler 4 on 47412] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Ping from attempt_1401425739447_0003_m_000000_0 
2014-05-30 10:38:35,075 INFO [IPC Server handler 5 on 47412] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Ping from attempt_1401425739447_0003_m_000000_0 
2014-05-30 10:38:38,079 INFO [IPC Server handler 6 on 47412] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Ping from attempt_1401425739447_0003_m_000000_0 
this error continues...

oozie에서 java 예제 (oozie 제공) mapreduce 프로그램을 실행할 수 있습니다.

돼지, 하이브, sqoop 또는 내 자신의 java mapreduce 프로그램을 실행하려고하는 경우 위의 오류가 발생하는 이유는 무엇인지 알 수 없습니다. 나는 이미 oozie에서 나의 hadoop 설정 경로를 주었고 나는 jobhistory 서버를 시작했다.

도와주세요 ...

출처

2014-05-30 MarHserus

동일한 시스템에서 실행되는 NodeManager 및 Resource Manager. 그래서 나는이 오류를 gettting입니다. 두 번째 시스템에서 노드 관리자를 시작했는데 문제가 해결되었습니다.

출처

2014-06-05 14:33:54 MarHserus

다른 컴퓨터에서 노드 관리자를 변경하는 방법은 무엇입니까? 도와주세요. –

안녕하세요, 다중 노드 클러스터가 있다면, 한 시스템에서 nodemanager, datanode, 다른 시스템에서 namenode, resourcemanager, historyserver를 시작하십시오. – MarHserus

하지만 마스터 노드에서 start-all.sh를 적용하면 모든 노드에서 모든 서비스가 시작됩니다. 모든 노드에서 nodemanager, datanode를 시작하고 마스터 노드에서 자원 관리자를 시작합니다. 당신이 원하는대로 달릴 때 나는 어떤 명령을 사용해야합니까? –

우분투에서 hadoop-2.2

답변

관련 문제