2012-03-12 2 views
2
  • (가장 최근의 난에서 설정 PYTHONPATH이 그리고 내가지도-감소 작업
  • 그것은하둡 스트리밍 : 매퍼가 실행될 때 PYTHONPATH가 작동하지

    역 추적을 말하는 실패 실행할 때를 제외하고도 잘 작동 last call) : 파일 "/work/app/hadoop/tmp/mapred/local/taskTracker/hduser/jobcache/job_201203091218_0006/attempt_201203091218_0006_m_000020_0/work/./mapper.py", 줄 57, 에서 src.utilities 가져 오기 유틸리티 ImportError : src.utilities라는 모듈이 없습니다. java.lang.RuntimeException : PipeMapRed.waitOutputThreads() : 서브 프로세스에서 org.apache org.apache.hadoop.streaming.PipeMapRed.mapRedFinished (PipeMapRed.java:545) 에서 org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads (PipeMapRed.java:311) 에서 부호 1로 실패 .hadoop.streaming.PipeMapper.map (PipeMapper.java:121) at org.apache.hadoop.mapred.MapRunner.run (MapRunner.java:50) at org.apache.hadoop.streaming.PipeMapRunner.run (PipeMapRunner.run .java : 36) at org.apache.hadoop.mapred.MapTask.runOldMapper (MapTask.java:436) at org.apache.hadoop.mapred.MapTask.run (MapTask.java:372) at org.apache .hadoop.mapred.Child $ 4.run (Child.java:261) java.security.AccessController.doPrivileged (네이티브 메소드) at javax.security.auth.Subject.doAs (S ubject.java:396) at org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1059) at org.apache.hadoop.mapred.Child.main (Child.java:255) java.lang .RuntimeException : PipeMapRed.waitOutputThreads은() : 서브 프로세스는 org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads (PipeMapRed.java:311) org.apache.hadoop.streaming.PipeMapRed.mapRedFinished (PipeMapRed에서 에 코드 1 실패했습니다. java : 545) at org.apache.hadoop.streaming.PipeMapper.close (PipeMapper.java:132) at org.apache.hadoop.mapred.MapRunner.run (MapRunner.java:57) at org.apache. hadoop.streaming.PipeMapRunner.run (PipeMapRunner.java:36) at org.apache.hadoop.mapred.MapTask.runOldMapper (MapTask.java:436) at org.apache.hadoop.mapred.MapTask.run (MapTask.java:372) at org.apache.hadoop.mapred.Child $ 4.run (Child.java:261) at java.security.AccessController.doPrivileged (네이티브 메소드) at javax.security.auth.Subject.doAs (Subject.java:396) at org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1059) at org.apache.hadoop. mapred.Child.main (Child.java:255)

질문 : - 그것은 하둡 스트리밍하는 동안 우리는 특별히 설치 파이썬 경로를 가지고 있습니까? 어디에?

답변

0

나는 동일한 문제가 있었는데, 문제는 Hadoop 가상 환경이 시스템의 pythonpath를 인식하지 못한다는 것입니다. /Library/Python/2.7/site-packages에 패키지를 설치하면 Hadoop이 패키지를 선택하여 작동합니다.

0

우리는 MapReduce 서비스 환경 안전 밸브를 추가해야합니다. 우리는 cloudera-manager GUI를 사용하고 있습니다. 나는 PYTHONPATH를 추가했습니다.

관련 문제