Hadoop 시작시 EC2에서 권한이 거부되었습니다 (publickey)

내 관리자가 ppk와 함께 Amazon 인스턴스를 제공했습니다. 로그인 가능; hadoop을 설치하려고합니다. localhost에서 EC2 인스턴스 이름으로 마스터 및 슬레이브 파일을 편집하고 mapred-site.xml/hdfs-site.xml/core-site.xml 파일에 필요한 속성을 추가하고 namenode를 HDFS로 포맷 한 다음 . 이제 start-dfs.sh 스크립트를 실행하면 다음 오류가 발생합니다. namenode 시작, /home/ubuntu/hadoop/libexec/../logs/hadoop-ubuntu-namenode-domU-12-31-39-07-60-A9.out 호스트 'XXX.amazonaws의 신뢰성 .com (일부 IP) '을 설정할 수 없습니다.Hadoop 시작시 EC2에서 권한이 거부되었습니다 (publickey)

정말 연결 하시겠습니까 (예/아니요)? 예 XXX.amazonaws.com : 경고 : 알려진 호스트 목록에 'XXX.amazonaws.com'(ECDSA)이 영구적으로 추가되었습니다. XXX.amazonaws.com : 사용 권한이 거부되었습니다 (publickey). XXX.amazonaws.com : 사용 권한이 거부되었습니다 (publickey).

현재 마스터 노드와 슬레이브 노드는 동일한 시스템입니다.

XXX는 인스턴스 이름이고 일부 IP는 해당 IP입니다. 보안상의 이유로 마스크.

EC2 인스턴스를 사용하는 것에 대해 전혀 몰라서 SSH 등은 간단한 MapReduce 프로그램 만 실행하면됩니다.

친절히 제안합니다.

출처

2013-01-21 user149332

http://insightdataengineering.com/blog/hadoopdevops/의 Austin Ouyang의 튜토리얼과 매우 흡사합니다. – Samuel

하둡은 SSH를 사용하여 마스터에서 슬레이브로 정보를 전송합니다. 노드가 SSH를 통해 서로 이야기하려고하지만 그렇게 구성되지 않은 것 같습니다. 통신하려면 Hadoop 마스터 노드가 슬레이브 노드에 대한 암호없는 SSH 액세스가 필요합니다. 패스워드를 사용하지 않으면 작업을 실행할 때마다 각 슬레이브 노드에 대해 비밀번호를 다시 입력 할 필요가 없습니다. 그것은 아주 지루할 것입니다. 계속하기 전에 노드간에이를 설정해야하는 것처럼 보입니다.

this guide을 확인하고 "SSH 구성"섹션을 찾으십시오. 이를 성취하는 방법을 제시합니다.

출처

2013-01-21 14:15:41

그래, 그게 ... – user149332

나는 또 다른 문제가있다 ... 내 datanode가 시작되지 않고 로그에 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode가 표시된다 : java.net.BindException : 바인딩에 문제가있다. /0.0.0.0:50010 : 주소가 이미 사용 중임 나는 tmp 디렉토리에서 데이터/이름 폴더를 삭제하고 hdfs를 다시 포맷하고 start-dfs.sh 스크립트를 실행 해 보았습니다. NN이 시작되었지만 SNN도 다음 메시지로 거의 즉시 시작했지만 종료했습니다. INFO org.apache.hadoop.http.HttpServer : open()이 -1이되기 전에 webServer.getConnectors() [0] .getLocalPort()에 의해 반환 된 포트. 50090에서 청취자 열기. – user149332

시도 netstat -nl | grep 50010; 실행중인 프로세스가 있지만 PID를 찾을 수 없음을 보여줍니다. jps didnt는 그러한 프로세스를 "sudo jps"로 시도한 결과로 DN 및 SNN 프로세스가 실행되었음을 보여줍니다. 그래서 sudo kill -9 에 의해 이들을 죽였다. 이제 내 허벅지와 모든 일이 시작되었습니다. – user149332

Hadoop 시작시 EC2에서 권한이 거부되었습니다 (publickey)

답변

관련 문제