2016-07-21 2 views
1

그래서 네트워크에 apache flink 클러스터를 설치했습니다. 아래 그림과 같이 구성을 완료했습니다. 이 마스터 (JobManager)가 시작되고 ssh를 통해 모든 슬레이브에 시작 명령을 보냅니다. 마스터 노드에 의해 시작된 후 작업 관리자가 실행 중임을 알 수 있습니다. 모든 노드에Flink Jobmanager가 작업 관리자를 볼 수 없습니다.

구성 파일 : 슬레이브 노드의 목록이있는 config 폴더에

jobmanager.rpc.address: flmaster 
jobmanager.rpc.port: 6123 
jobmanager.heap.mb: 1024 
taskmanager.heap.mb: 2048 
taskmanager.numberOfTaskSlots: 1 
taskmanager.memory.preallocate: false 
parallelism.default: 1 
jobmanager.web.port: 8081 
taskmanager.tmp.dirs: /apps/storage/runtime/flink/workspace 
recovery.mode: zookeeper 
recovery.zookeeper.quorum:zk1:2181, zk2:2181, zk3:2181 
recovery.zookeeper.storageDir: /apps/runtime/flink/recovery 
env.java.home: /apps/java/ 

그리고 내가 파일을 호출 한 노예.

flSlave1 
flSlave2 
flSlave3 

그때 나는이 모든 슬레이브 노드에 SSH 세션을 열고, 작업 관리자를 시작 그것은

../bin/start-cluster.sh 

시작합니다. 나는 ps ax와 이것을 볼 수있다. grep java

flMaster에서 Web-Ui를 열 수 있습니다. 8081 WebUI에서 슬레이브 노드 수가 0임을 알 수 있습니다. 작업 관리자가 없습니다. 테스트로서, 나는 wordcount.jar 작업을 시작했고 슬롯이 열려 있지 않기 때문에 작업을 실행할 수 없다고 알려줍니다.

/apps/flink/bin/flink run /apps/flink/examples/batch/WordCount.jar 

응답 :

07/20/2016 13:19:01  Job execution switched to status FAILING. 
org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException: Not enough free slots available to run the job.* 

그럼 난 더 작업 관리자/슬레이브 노드가없는 경우 추측은, 어떤 슬롯이 없을 것입니다.

이 문제를 본 사람이 있습니까?

답변

0

jobmanager 컴퓨터 rpc 포트에서 텔넷을 수행하십시오. 작업 관리자는 rpc를 통해 jobmanager와 대화합니다. 따라서 작업 관리자와 작업 관리자의 rpc 포트에 액세스 할 수 있는지 여부에 관계없이 네트워크 설정을 확인하십시오.

또한 blob 서버 포트를 확인하십시오. taskmanager blob 서버에 연결할 수 있는지 여부를 taskmanager로 확인하십시오.

관련 문제