Windows 7에서 spark-submit을 실행 한 후 임시 파일을 삭제하지 못했습니다.

this의 코드를 사용하여 spark를 사용하여 스칼라 프로그램을 실행하고 있습니다. 이 프로그램은 잘 실행하지만 StreamingContext 중지하려고 할 때이 오류가 얻을 : 나는 코드에서 아무것도 변경되지 않은Windows 7에서 spark-submit을 실행 한 후 임시 파일을 삭제하지 못했습니다.

java.io.IOException: Failed to delete: ..\AppData\Local\Temp\spark-53b87fb3-1154-4f0b-a258-8dbeab6601ab 
     at org.apache.spark.util.Utils$.deleteRecursively(Utils.scala:1010) 
     at org.apache.spark.util.ShutdownHookManager$$anonfun$1$$anonfun$apply$mcV$sp$3.apply(ShutdownHookManager.scala:65) 
     at org.apache.spark.util.ShutdownHookManager$$anonfun$1$$anonfun$apply$mcV$sp$3.apply(ShutdownHookManager.scala:62) 
     at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33) 
     at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:186) 
     at org.apache.spark.util.ShutdownHookManager$$anonfun$1.apply$mcV$sp(ShutdownHookManager.scala:62) 
     at org.apache.spark.util.SparkShutdownHook.run(ShutdownHookManager.scala:216) 
     at org.apache.spark.util.SparkShutdownHookManager$$anonfun$runAll$1$$anonfun$apply$mcV$sp$1.apply$mcV$sp(ShutdownHookManager.scala:188) 
     at org.apache.spark.util.SparkShutdownHookManager$$anonfun$runAll$1$$anonfun$apply$mcV$sp$1.apply(ShutdownHookManager.scala:188) 
     at org.apache.spark.util.SparkShutdownHookManager$$anonfun$runAll$1$$anonfun$apply$mcV$sp$1.apply(ShutdownHookManager.scala:188) 
     at org.apache.spark.util.Utils$.logUncaughtExceptions(Utils.scala:1951) 
     at org.apache.spark.util.SparkShutdownHookManager$$anonfun$runAll$1.apply$mcV$sp(ShutdownHookManager.scala:188) 
     at org.apache.spark.util.SparkShutdownHookManager$$anonfun$runAll$1.apply(ShutdownHookManager.scala:188) 
     at org.apache.spark.util.SparkShutdownHookManager$$anonfun$runAll$1.apply(ShutdownHookManager.scala:188) 
     at scala.util.Try$.apply(Try.scala:192) 
     at org.apache.spark.util.SparkShutdownHookManager.runAll(ShutdownHookManager.scala:188) 
     at org.apache.spark.util.SparkShutdownHookManager$$anon$2.run(ShutdownHookManager.scala:178) 
     at org.apache.hadoop.util.ShutdownHookManager$1.run(ShutdownHookManager.java:54)

합니다. 내 로컬 파일 시스템에 복제 한 후 sbt assembly 명령을 실행하여 .jar 파일을 생성 한 다음 spark-submit을 사용하여 프로그램을 실행하십시오.

또한 관리자 권한으로 Windows를 실행 중이므로 권한 문제라고 생각하지 않습니다.

이 오류의 원인에 대한 단서가 있습니까?

도움 주셔서 감사합니다.

출처

2017-03-09 Mohammad Zammam

나를 위해 동일합니다. 현재 해결책 없음 - 다음. – Li3ro

스파크 앱이 로컬 시스템에 임시 스테이징 파일을 생성하고 (아마도 체크 포인트가 호출 될 때) 임시 파일을 정리하고 삭제할 수 없을 때 컨텍스트가 중지 될 때 생각합니다. 이미 거기에 파일을 삭제하거나 아무런 권한을 삭제할 수있는 2 옵션이 있습니다.

출처

2017-03-09 13:56:42 FaigB

안녕하세요 @FiagB. 관리자 모드에서 명령 프롬프트를 실행하기 때문에 권한 문제가 아닌 것 같습니다. 스파크가 일시적으로 생성 된 파일을 삭제하기 위해 일부 권한을 가져야한다면 확실하지 않습니다. –

나는 특권 문제라고 생각하지 않는다. spark-shell을 종료 할 때나 예제를 실행할 때 같은 문제가 발생합니다. --conf spark.local.dir을 사용하여 작업 디렉토리를 변경하려고 시도했지만 문제가 해결되지 않았습니다. 누구든지 해결책이 있다면 공유하십시오. –

Windows 7에서 spark-submit을 실행 한 후 임시 파일을 삭제하지 못했습니다.

답변

관련 문제