hadoop 스트리밍의 python 스크립트에서 유익한 오류를 얻을 수있는 방법이 있습니까?

나는 비누를 스트리밍과 함께 사용하고 있습니다. . 그들이 할 때주의 단위 테스트에도 불구하고, 오류가 불가피 크리프,이 오류 메시지는 모든 하둡이 제공됩니다hadoop 스트리밍의 python 스크립트에서 유익한 오류를 얻을 수있는 방법이 있습니까?

java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1 
    at org.apache.hadoop.streaming.PipeMapRed.waitOutputThreads(PipeMapRed.java:362) 
    at org.apache.hadoop.streaming.PipeMapRed.mapRedFinished(PipeMapRed.java:576) 
...

메시지는 디버깅에 매우 도움이되지 않는 것입니다.

정보를 얻는 방법이 있습니까? 비공개 스트리밍의 python 스크립트에서 오류가 발생 했습니까?

출처

2012-09-03 Abe

해결책을 찾았습니까? – pratiklodha

실행중인 클러스터의 jobtracker에 액세스 할 수 있으면 작업을 찾고 실패한 작업을 찾아서 스크립트의 stderr/stdout으로 가져올 수 있습니다.

출처

2012-09-03 23:32:36

정확히 어디를 봐야합니까? EC2에서 자체 클러스터를 실행하고 있지만 stderr/stdout을보고하지 않았거나 잘못된 위치에서 찾고 있습니다. – Abe

클러 터에 대한 구직자를 운영하는 노드의 IP 및/또는 호스트 이름을 알고 있습니까? 일반적으로 방화벽은 포트를 차단하지만 포트 50030의 브라우저를 통해 액세스 할 수 있습니다. 또 다른 옵션은 주어진 태스크가 사용자가 해당 노드로 sssh하고 작업 로그를 찾을 수있는 노드를 알고있는 경우입니다. 정확한 디렉토리는 사용중인 hadoop 패키지에 따라 다릅니다. –

포트 : 50030에서 구직자를 얻을 수 있습니다. 관리 페이지, 작업 페이지 및 작업 페이지를 볼 수 있지만 로그를로드하지는 않습니다. – Abe

hadoop 스트리밍의 python 스크립트에서 유익한 오류를 얻을 수있는 방법이 있습니까?

답변

관련 문제