스파크 유닛 테스트가 스테이지 오류로 인해 실패합니다.

Question

최근 내 애플리케이션 (ScalaTest 3.0)의 유닛 테스트가 갑자기 실패하는 Spark 1.4.1에서 1.6.0으로 애플리케이션을 업그레이드했습니다. 이는 API 또는 동작 변경으로 인한 것이 아닙니다. 불꽃.

이상한 것은 내가 sbt test으로 테스트를 실행할 때마다 다른 시험은 항상 다음과 같은 메시지와 함께 실패한다는 것입니다 :

[info] org.apache.spark.SparkException: Job aborted due to stage failure: Task 87 in stage 206.0 failed 1 times, most recent failure: Lost task 87.0 in stage 206.0 (TID 4228, localhost): ExecutorLostFailure (executor driver exited caused by one of the running 
tasks) Reason: Executor heartbeat timed out after 148400 ms 
[info] Driver stacktrace: 
[info] at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1431) 
[info] at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1419) 
[info] at org.apache.spark.scheduler.DAGScheduler$$anonfun$abortStage$1.apply(DAGScheduler.scala:1418) 
[info] at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59) 
[info] at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:47) 
[info] at org.apache.spark.scheduler.DAGScheduler.abortStage(DAGScheduler.scala:1418) 
[info] at org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:799) 
[info] at org.apache.spark.scheduler.DAGScheduler$$anonfun$handleTaskSetFailed$1.apply(DAGScheduler.scala:799) 
[info] at scala.Option.foreach(Option.scala:236) 
[info] at org.apache.spark.scheduler.DAGScheduler.handleTaskSetFailed(DAGScheduler.scala:799) 
[info] ... 

나는 build.sbt에 다음과 같은 설정 :

javaOptions in test += "-Xmx2G" 
fork in test := true 
parallelExecution in test := false 

단위 테스트는 훌륭하지만 손가락을 집어 넣을 수없는 일이 있습니다. 누구나 아이디어가 있습니까?

Answer 1

이 코드가 작동했기 때문에 기본 메모리 설정 (실행 프로그램이나 드라이버 또는 오버 헤드)이 업그레이드와 함께 변경되었을 수 있습니다.

신청서 ID에 실 로그를 게시하십시오. 오류에 대한 자세한 내용이 있습니다. 테스트가 내 컴퓨터에서 로컬로 실행되기 때문에

또한

, https://community.cloudera.com/t5/Advanced-Analytics-Apache-Spark/Executor-Timed-Out/td-p/45097