Amazon EC2에서 Hadoop 및 HDFS를 사용하여 실행되는 Dedoop 응용 프로그램을 사용하려고합니다. Hadoop 클러스터가 설정되고 Namenode JobTracker 및 다른 모든 데몬이 오류없이 실행 중입니다.Hadoop Dedoop 응용 프로그램이 Hadoop에 연결할 수 없음 Namenode : "네임 노드에 연결할 수 없음"오류 발생
그러나 전쟁 Dedoop.war 응용 프로그램은 Tomcat에 전개 한 후 Hadoop Namenode에 연결할 수 없습니다.
또한 EC2에서 포트가 열려 있는지 확인했습니다.
도움을 주시면 감사하겠습니다.
Amazon AWS를 사용하는 경우 Amazon Elastic Map Reduce를 사용하는 것이 좋습니다. Amazon은 IP 주소 설정, NameNode 등을 포함하여 Hadoop 클러스터 설정 및 프로비저닝을 담당합니다.
EC2에서 자체 클러스터를 설정하려면 공개/사설 IP 주소. 대부분 외부 IP 주소를 가리키고 있습니다. 내부 IP 주소로 대체하고 작동하는지 확인하십시오.
Tomcat의 로그 파일에서 Stacktrace의 일부 줄을 게시 할 수 있습니까?
Dedoop은 EC2의 Hadoop 노드에 연결을 전달하기 위해 SOCKS 프록시 서버 (ssh -D 포트 사용자 이름 @ 호스트와 유사)를 만들어야합니다. 이것은 주로 Hadoop이 MRS 작업 제출 및 HDFS 관리를 중단시키는 EC2 내부 IP에 대해 IPS를 해결하기 때문입니다.
이렇게하려면 Tomcat이 ssh 연결을 설정하도록 구성되어야합니다. 설정 절차는 here으로 설명되어 있습니다.