스파크 파이썬 API java_gateway 소켓 연결 오류

Question

내 클러스터는 Spark-0.7.2 + Mesos-0.9입니다. 나는 파이썬으로 스파크 프로그램을 작성했고, 로컬 모드에서 잘 실행된다. 하지만 메소로 실행할 때 오류가 발생했습니다. 여기에 오류 정보가 있습니다 :

13/09/30 15:40:13 INFO TaskSetManager: Finished TID 13 in 242 ms (progress: 2/3) 
13/09/30 15:40:13 INFO DAGScheduler: Completed ResultTask(4, 1) 
send 
Exception in thread "DAGScheduler" spark.SparkException: EOF reached before Python server acknowledged 
     at spark.api.python.PythonAccumulatorParam.addInPlace(PythonRDD.scala:303) 
     at spark.api.python.PythonAccumulatorParam.addInPlace(PythonRDD.scala:278) 
     at spark.Accumulable.$plus$plus$eq(Accumulators.scala:52) 
     at spark.Accumulators$$anonfun$add$2.apply(Accumulators.scala:235) 
     at spark.Accumulators$$anonfun$add$2.apply(Accumulators.scala:233) 
     at scala.collection.mutable.HashMap$$anonfun$foreach$1.apply(HashMap.scala:93) 
     at scala.collection.mutable.HashMap$$anonfun$foreach$1.apply(HashMap.scala:93) 
     at scala.collection.Iterator$class.foreach(Iterator.scala:660) 
     at scala.collection.mutable.HashTable$$anon$1.foreach(HashTable.scala:157) 
     at scala.collection.mutable.HashTable$class.foreachEntry(HashTable.scala:190) 
     at scala.collection.mutable.HashMap.foreachEntry(HashMap.scala:43) 
     at scala.collection.mutable.HashMap.foreach(HashMap.scala:93) 
     at spark.Accumulators$.add(Accumulators.scala:233) 
     at spark.scheduler.DAGScheduler.handleTaskCompletion(DAGScheduler.scala:494) 
     at spark.scheduler.DAGScheduler.processEvent(DAGScheduler.scala:300) 
     at spark.scheduler.DAGScheduler.spark$scheduler$DAGScheduler$$run(DAGScheduler.scala:364) 
     at spark.scheduler.DAGScheduler$$anon$1.run(DAGScheduler.scala:107) 
13/09/30 15:40:13 INFO TaskSetManager: Finished TID 12 in 407 ms (progress: 3/3) 

이것은 항상 발생하지 않습니다. 그것은 소켓 연결이 statable 수없는 것 같습니다. 누군가이 문제를 해결하는 방법을 제안 할 수 있습니까?

Answer 1

Java 8을 U91로 업데이트하여이 문제를 해결했습니다.