3 개의 노드 (실제 시스템 한 개, 가상 머신 두 개)의 테스트 클러스터를 실행하고 있습니다. 세 우분투 10.1 이상. Hadoop 버전 1.0.2 및 하이브 0.8.1네트워킹 오류로 인해 hadoop 예제 작업이 실패했습니다.
이제 기본적인 것들이 잘 작동합니다. 노드는 서로 대화하고 패킷은 복제됩니다. 프로세스가 정상적으로 실행 중입니다.
테스트 케이스로서, 표준 hadoop 단어 카운트 예제를 실행하려고했습니다. 그지도/일을 줄여 말하는 실패 -
Call to <my_NameNode_HostName>127.0.0.1:9000 failed on connection exception:
java.net.ConnectException: Connection refused
을 작업을 계속하지만, 가끔은 그냥은 실패하기 전에이 메시지 (물론 스택 트레이스) 몇 번을 반복, 다른 시간, 중단됩니다. 놀랍게도 화면이나 출력 디렉토리에 출력이 생성되지 않습니다. 여기
내가 실행 명령의 -hadoop jar hadoop*examples*.jar wordcount /text_data /txt_output
하둡이 경로에, jar 파일이 현재 디렉토리에서 사용할 수 있으며, 3 개 텍스트 파일은 인터넷 검색을 HDFS 디렉토리/text_data
에 복사 한 또한 도움이되는 것을 찾지 못하는 것 같습니다 ...
편집 : 다른 작업 (예 : 하이브 쿼리에 의해 트리거 됨)이 정상적으로 실행되고 있다는 것을 잊어 버렸습니다. 세 노드에서 SSH를 설정하고 모든 에지에서 암호 확인없이 연결을 테스트했습니다.
예, jps가 namenode에서 시도되었으며 다른 두 노드에서 모든 파일이보고되었습니다. namenode 로그와 공유 정보로 돌아갑니다. – Gyan