새로운 Spark StreamingContext가 hdfs 오류로 인해 실패합니다.

Question

Azure ACS를 통해 설치된 dcos를 사용하고 기본 옵션이있는 dcos 도구를 통해 hdfs 및 spark를 설치했습니다. SparkStreamingContext 만들기

을 제공합니다

16/07/22 01:51:04 WARN DFSUtil: Namenode for hdfs remains unresolved for ID nn1. Check your hdfs-site.xml file to ensure namenodes are configured properly. 
16/07/22 01:51:04 WARN DFSUtil: Namenode for hdfs remains unresolved for ID nn2. Check your hdfs-site.xml file to ensure namenodes are configured properly. 
Exception in thread "main" java.lang.IllegalArgumentException: 
java.net.UnknownHostException: namenode1.hdfs.mesos 

내가 -options와 dcos package install와 스파크 패키지를 다시 배포 할 필요가 기대 =하지만 hdfs.config-url이 있어야 할 무엇을 알아낼 수 없습니다. https://docs.mesosphere.com/1.7/usage/service-guides/spark/install/#hdfs 문서가 오래되어 보입니다.

Answer 1

예, 오래된 것입니다. 우리가 고칠거야.

DC/OS HDFS는 이제 해당 구성을 http://hdfs.marathon.mesos:[port]/v1/connect에 제공합니다.