하둡 매퍼 실행 속도가 느린

나는 천천히 실행하는 맵퍼 및 감속기하지만 매퍼 모두 작업을 실행하려고 .. 내가 감속기를 사용하지 않도록 동일한 입력을 위해, 매퍼 3 분 매퍼 동안 완료되면 하둡 매퍼 실행 속도가 느린

30 분이 지난 후에도 매퍼는 끝나지 않습니다.

나는 hadoop 1.0.3을 사용하고있다. 맵 출력 압축 여부에 관계없이 시도했다. 나는 하둡 0.20.203의 이전 버전을 제거하고 또한 JobTracker에 로그가 가득되는 1.0.3

에 대한 모든 것을 처음부터 다시 설치 :

2012-10-03 10:26:20,138 INFO org.apache.hadoop.ipc.Server: IPC Server listener on 54311: readAndProcess threw exception java.lang.RuntimeException: readObject can't find class . Count of bytes read: 0 
java.lang.RuntimeException: readObject can't find class 
     at org.apache.hadoop.io.ObjectWritable.readObject(ObjectWritable.java:185) 
     at org.apache.hadoop.ipc.RPC$Invocation.readFields(RPC.java:102) 
     at org.apache.hadoop.ipc.Server$Connection.processData(Server.java:1303) 
     at org.apache.hadoop.ipc.Server$Connection.processOneRpc(Server.java:1282) 
     at org.apache.hadoop.ipc.Server$Connection.readAndProcess(Server.java:1182) 
     at org.apache.hadoop.ipc.Server$Listener.doRead(Server.java:537) 
     at org.apache.hadoop.ipc.Server$Listener$Reader.run(Server.java:344) 
     at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1110) 
     at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:603) 
     at java.lang.Thread.run(Thread.java:679) 
Caused by: java.lang.ClassNotFoundException: 
     at java.lang.Class.forName0(Native Method) 
     at java.lang.Class.forName(Class.java:264) 
     at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:820) 
     at org.apache.hadoop.io.ObjectWritable.readObject(ObjectWritable.java:183)

사람이 잘못 될 수 있습니다 무엇을 말할 수

출처

2012-10-03 Ragit

콤바인이 구성되어 있습니까 (리듀서를 실행할 때 매퍼가 완료되지 못하는 이유 중 하나가 될 수 있습니다). –

No. 매퍼 및 감속 기 – Ragit

작업 구성/생성 된 job.xml을 공유 할 수 있습니까 (아마도 페이스트 인을 통해?) –

경우 매퍼가 3 분 안에 완료됩니다. 다음 일괄 처리 자연과 천천히. 네, 사용 된 mapreduce 버전에서는 올바른 감속기를 사용하고 있는지 확인해야합니다. 클러스터 크기가 X이면 감속기의 수를 X-1로 사용하십시오. 도움이되는지보기

출처

2015-01-30 07:28:54 Sam

하둡 매퍼 실행 속도가 느린

답변

관련 문제