HDFS 디렉토리 스파크에서 매개 변수

Question

스트리밍으로 나는 스파크 스트리밍 예에 문제가 있어요 : 나는 그것이 내가이 예외를 얻을

run local /user/dir/subdir/ 

SBT

를 사용하여 시작하려고하면 https://github.com/apache/spark/blob/master/examples/src/main/scala/org/apache/spark/streaming/examples/HdfsWordCount.scala

을

[info] Running org.apache.spark.streaming.examples.HdfsWordCount local /user/dir/subdir/ 
14/04/21 18:45:55 INFO StreamingExamples: Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties 
14/04/21 18:45:55 INFO StreamingExamples: Setting log level to [WARN] for streaming example. To override add a custom log4j.properties to the classpath. 
14/04/21 18:45:55 WARN Utils: Your hostname, ubuntu resolves to a loopback address: 127.0.1.1; using 10.4.4.6 instead (on interface eth0) 
14/04/21 18:45:55 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to another address 
14/04/21 18:45:57 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 
14/04/21 18:46:00 ERROR JobScheduler: Error generating jobs for time 1398098760000 ms 
java.io.FileNotFoundException: File /user/dir/subdir/ does not exist 

디렉토리가 Hadoop에 존재하고 파일을 복사했다고 가정합니다. 내가 인식하지 못하는 입력 형식이 있습니까?

Answer 1

나는 내 대답에 대한 해결책을 찾았습니다. HDFS 디렉토리이어야 내 경우에는,이 인 입력에 올바른 방법 : 나는 스파크 문서에서 이것을 발견했습니다

run local hdfs://localhost:9000/user/dir/subdir/ 

는 : http://spark.apache.org/docs/latest/spark-standalone.html#running-alongside-hadoop

Answer 2

당신은 당신의 코어 사이트를 살펴해야합니다. hadoop 내부의 xml 파일. 그것은 기본 경로

<configuration> 
    <property> 
      <name>fs.default.name</name> 
      <value>hdfs://localhost:9000</value> 
    </property> 
</configuration>