하둡 다중 노드 클러스터 설치 - 문제 해결

Question

내가 here을 설명 된대로 마스터/슬레이브 구성에 하둡을 설치하려면 세 가지 우분투 12.04 LTS 컴퓨터가 있습니다. 먼저 Hadoop을 단일 노드로 설치 한 다음 다중 노드로 진행합니다. 단일 노드 설치가 완벽하게 작동합니다./etc/hosts 파일에 필요한 변경을 가하고 가이드가 말한대로 모든 것을 구성했지만 마스터에서 Hadoop 클러스터를 시작하면 오류가 발생합니다.

내 컴퓨터는, 적절하게 마스터 노드 인 배트맨 (다른?)와 아이언 맨, 슈퍼맨과 배트맨, 이름. sudo bin/start-dfs.sh을 실행하면 다음이 표시됩니다. 내가 암호를 입력하면

,이 얻을 :

내가 sudo bin/start-all.sh을하려고 할 때, 나는 얻을이 :

내가에 ssh를 할 수

다른 터미널들,하지만 qui가 아닌 뭔가가 있습니다. 맞아. 나는 수퍼맨/슬레이브 터미널의 로그를 검사했는데 배트맨 54310과 zzz 메시지에 연결할 수 없다고 말합니다. 나는 내/etc/hosts 파일 생각 잘못하지만 사실, 그것은이다

내가 변화 iptables에 의해 포트 54310를 엽니 다했지만, 출력 화면은 여기에 표시된 내가 변경 한 후입니다. 나는 위트를 끝내고있다. 내가 어디가 잘못 될지 말해줘. 더 자세한 정보가 필요하면 알려 주시면 그에 맞게 질문을 업데이트하겠습니다. 감사!

UPDATE : 여기 내 conf의 파일입니다.

core-site.xml IP 주소 대신 배트맨 : 54310을 넣었습니다. 제가 바인딩을 더 명백하게 만들 거라고 생각했기 때문에 나는 그것을 바꿨습니다.

<?xml version="1.0"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 

<!-- Put site-specific property overrides in this file. --> 

<configuration> 
<property> 
<name>hadoop.tmp.dir</name> 
<value>/app/hadoop/tmp</value> 
<description>A base for other temporary directories.</description> 
</property> 

<property> 
    <name>fs.default.name</name> 
    <value>hdfs://130.65.153.195:54310</value> 
    <description>The name of the default file system. A URI whose 
    scheme and authority determine the FileSystem implementation. The 
    uri's scheme determines the config property (fs.SCHEME.impl) naming 
    the FileSystem implementation class. The uri's authority is used to 
    determine the host, port, etc. for a filesystem.</description> 
</property> 

</configuration> 

mapred-site.xml의

<?xml version="1.0"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 

<!-- Put site-specific property overrides in this file. --> 

<configuration> 
<property> 
<name>mapred.job.tracker</name> 
<value>130.65.153.195:54311</value> 
<description>The host and port that the MapReduce job tracker runs 
at. If "local", then jobs are run in-process as a single map 
and reduce task. 
</description> 
</property> 

</configuration> 

HDFS-site.xml의

<?xml version="1.0"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 

<!-- Put site-specific property overrides in this file. --> 

<configuration> 
<property> 
<name>dfs.replication</name> 
<value>3</value> 
<description>Default block replication. 
The actual number of replications can be specified when the file is created. 
The default is used if replication is not specified in create time. 
</description> 
</property> 

</configuration> 

내 conf의/마스터 파일이 단순히 batman하고 내 conf의/노예 파일입니다 그냥 :

batman 
superman 
ironman 

희망 사항.

Answer 1

첫 번째 사항 먼저 마스터에서 슬레이브와 슬레이브로 마스터를 핑할 수 있는지 확인하십시오. 각 시스템에 개별적으로 로그인하고 다른 2 개의 호스트에 ping하십시오. 호스트 이름을 통해 연결할 수 있는지 확인하십시오. 슬레이브에/etc/hosts 항목을 추가하지 않았을 수 있습니다.

둘째, 암호없는 SSH 액세스를 설정해야합니다.이 경우 ssh-keygen -t rsa 및 ssh-copy-id을 사용할 수 있습니다. 이렇게하면 암호 프롬프트를 제거하는 데 도움이됩니다. 이를 위해 별도의 사용자를 만드는 것이 좋으며 루트를 사용하지 않는 것이 좋습니다.

그래도 도움이되지 않는다면 로그 출력을 게시하십시오.