FileNotFoundException 스파크 작업을 실행하는 중

Question

Spark에서 프로그램을 실행하려고합니다. 마스터 노드와 두 개의 슬레이브 노드가있는 클러스터가 있습니다. 실행 중에 다음 오류가 발생합니다.

Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task 3 in stage 4.0 failed 4 times, most recent failure: Lost task 3.3 in stage 4.0 (TID 44, hadoopslave3): java.lang.RuntimeException: java.io.FileNotFoundException: File /home/ubuntu/hadoop/hadoop-te/dl4j/1485860107978_-4ccc8c8/0/data/dataset_4-4ccc8c8_68.bin does not exist 
Driver stacktrace is as follows: 
Driver stacktrace: 
at og.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1204) 
at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1193) 
at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1192) 
at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59) 
at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:47) 
at org.apache.spark.scheduler.DAGScheduler.abortStage(DAGScheduler.scala:1192) 
at org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:693) 
at org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:693) 
at scala.Option.foreach(Option.scala:236) 
at org.apache.spark.scheduler.DAGScheduler.handleTaskSetFailed(DAGScheduler.scala:693) 
at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:1393) 
at org.apache.spark.scheduler.DAGSchedulerEventProcessLoop.onReceive(DAGScheduler.scala:1354) 
at org.apache.spark.util.EventLoop$$anon$1.run(EventLoop.scala:48) 
17/01/31 10:56:08 INFO scheduler.TaskSetManager: Lost task 1.3 in stage 4.0 (TID 45) on executor hadoopslave3: java.lang.RuntimeException (java.io.FileNotFoundException: File /home/ubuntu/hadoop/hadoop-te/dl4j/1485860107978_-4ccc8c8/0/data/dataset_2-4ccc8c8_77.bin does not exist) [duplicate 3] 

그러나 HDFS에서 생성 된 모든 데이터 세트 개체 (.bin 파일)를 볼 수 있습니다. 어떤 suggesstions?

Answer 1

"두 개의 슬레이브 노드"가 설정된 클러스터가 있으므로 Hadoop 파일 시스템을 설정 했습니까? 그렇지 않다면 그것은 당신의 문제입니다.

로컬이 아닌 클러스터를 사용할 때 연결하는 예는 Hadoop을 사용하여 데이터 세트에 대한 참조를 전송합니다. 이 예제의 동작은 릴리스 0.8.0에서 더 예측 가능합니다 (big error message).