2012-06-15 4 views
0

3 개의 노드 (실제 시스템 한 개, 가상 머신 두 개)의 테스트 클러스터를 실행하고 있습니다. 세 우분투 10.1 이상. Hadoop 버전 1.0.2 및 하이브 0.8.1네트워킹 오류로 인해 hadoop 예제 작업이 실패했습니다.

이제 기본적인 것들이 잘 작동합니다. 노드는 서로 대화하고 패킷은 복제됩니다. 프로세스가 정상적으로 실행 중입니다.

테스트 케이스로서, 표준 hadoop 단어 카운트 예제를 실행하려고했습니다. 그지도/일을 줄여 말하는 실패 -

Call to <my_NameNode_HostName>127.0.0.1:9000 failed on connection exception: 
java.net.ConnectException: Connection refused 

을 작업을 계속하지만, 가끔은 그냥은 실패하기 전에이 메시지 (물론 스택 트레이스) 몇 번을 반복, 다른 시간, 중단됩니다. 놀랍게도 화면이나 출력 디렉토리에 출력이 생성되지 않습니다. 여기

내가 실행 명령의 -

hadoop jar hadoop*examples*.jar wordcount /text_data /txt_output 

하둡이 경로에, jar 파일이 현재 디렉토리에서 사용할 수 있으며, 3 개 텍스트 파일은 인터넷 검색을 HDFS 디렉토리/text_data

에 복사 한 또한 도움이되는 것을 찾지 못하는 것 같습니다 ...

편집 : 다른 작업 (예 : 하이브 쿼리에 의해 트리거 됨)이 정상적으로 실행되고 있다는 것을 잊어 버렸습니다. 세 노드에서 SSH를 설정하고 모든 에지에서 암호 확인없이 연결을 테스트했습니다.

답변

0

NameNode에 문제가있는 것으로 보입니다. 당신의 이름 노드는 올라 갔습니까?

내가 문제를 식별하기 위해 아래하려고합니다 : 이름 노드 하둡/로그/ 3) 확인/등의 로그를)

1을 시도 JPS를 마스터 노드에서 이름 노드 데몬이 2를 실행 확인) 확인/호스트/구성 및 마스터 파일 구성

+0

예, jps가 namenode에서 시도되었으며 다른 두 노드에서 모든 파일이보고되었습니다. namenode 로그와 공유 정보로 돌아갑니다. – Gyan

관련 문제