저는 하둡 (Hadoop)의 초보자입니다. 방금 참조하는 단일 노드를 구축했습니다. http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/Hadoop 감속기를 더 빨리 만들 수 있습니까?
단어 수가 적은 매우 간단한 텍스트를 HDFS에 업로드하고 wordcount.jar을 실행합니다.
어떻게 든 감속기가 처리하는 데 오랜 시간이 걸립니다. I/O 병목 현상이라는 것을 알고 있지만, 일부 매개 변수를 설정하고 더 빨리 만들 수있는 방법이 있습니까?
13/06/04 15:53:14 INFO mapred.JobClient: map 100% reduce 0%
당신의 하둡 몇 가지 문제가 보인다, 그리고 MR이 제대로 실행되지 않을 수 있습니다 (롤의 감소 과정은 여전히 0 %, 약 20 분).
가 확인하시기 바랍니다 :
http://localhost:50030에 의해 올바르게 하둡 작업, /, 특히 *jobtracker*.log, 및 *tasktracker*.log.일반적으로 Hadoop을 처음 테스트하는 경우. 이 링크를 확인하십시오 : Hadoop WordCount example stuck at map 100% reduce 0%
고맙습니다. namenode를 포맷 할 때 호스트 URL이 127.0이 아니라는 것을 발견했습니다. .0.1 (이상한). 이로 인해 연결 문제가 발생했습니다. 그래서 나는 그것을 변경하기 위해/etc/hosts 파일을 편집했다. –
당신이, 당신은 "-D"옵션을 사용할 수있는 작업을 줄일 수의 증가와 같은 일부 하둡 설정을 수정하려면 : HDFS 당신이 수를 강요 할 수와 또한
[email protected]:/usr/local/hadoop$ bin/hadoop jar hadoop*examples*.jar wordcount -D mapred.reduce.tasks=8 /user/hduser/temp-data /user/hduser/temp-data-output
을 이 link
가능한 중복에 설명 된대로지도 작업의
mapred.map.tasks하지만 당신은 http://stackoverflow.com/questions/10165549/hadoop-wordcount- ([지도에 붙어 하둡 단어 수의 예를 들어 100 % 0 % 감소]mapred.reduce.tasks를 지정할 수 있습니다 example-stuck-at-map-100-reduce-0) –뻔뻔한 셀 f-plug : http://whiteycode.blogspot.co.uk/2012/05/hadoop-local-map-aggregation.html –