python mapreduce 최대/최소 온도에 대한 hadoop

Question

나는 내 우분투에 hadoop을 설정하고 테스트 할 예제 코드를 실행했습니다. 일반적인 예제 중 하나는 https://github.com/tomwhite/hadoop-book/tree/master/ch02/src/main/python

샘플 파일 (https://github.com/tomwhite/hadoop-book/blob/master/input/ncdc/sample.txt)과 함께이 코드를 테스트했습니다. 그러나 내 데이터 파일에 매퍼 코드를 수정하면 감속기가 0 %에서 33 %로 이동 한 다음 다시 0 %로 이동합니다. 왜 그런 일이 일어나는지 또는 어떻게 코드를 수정해야하는지 누구든지 도울 수 있습니다. 당신이 작업 추적기를 선택하면

STN---,WBAN , YEARMODA, TEMP, , DEWP, , SLP , , STP , , VISIB, , WDSP, , MXSPD, GUST, MAX , MIN ,PRCP ,SNDP , FRSHTT, 


690190,13910, 20120101, 42.9,18, 29.4,18, 1033.3,18, 968.7,18, 10.0,18, 8.7,18, 15.0, 999.9, 52.5*, 31.6*, 0.00I,999.9, 000000, 

Answer 1

, 난지도 작업이 실패하고 다른 노드 (결국 작업이 실패)에서 실행하도록 일정이 조정되고 있음을 확신 :처럼 내 데이터 보인다. 이것은 파이썬 스크립트가 오류를 던져서 아마도 당신이 매퍼 (mapper)를 통해 샘플 데이터를 파이프하여 그 결과를 확인하는 것이 좋습니다 (아직하지 않았다면). 예를 들어

은 내가 추출 된 열을 볼 수 추가에 println로 (데이터를 가져다가 링크 된 파이썬 매퍼를 통해 실행 :

당신이 당신의 질문에 참고로

#> cat data.csv | python map.py 
EARM MXSP D 


0120 15. 0 
0120  15. 

분명히 당신의 매퍼을 개정 함 - 그래서 python 스크립트가 오류없이 샘플 데이터를 처리하는지 확인해야합니다. 오류없이 실행되면 실패한 맵 작업에 대한 로그를 확인해야합니다 (질문에 게시하십시오).