2
s3의 여러 테이블 (마루판 형식)에 데이터를 쓰는 qubole에서 실행되는 apache spark 1.6.3의 코드가 있습니다. 테이블에 쓸 때 나는 계속 java.io.FileNotFound exception을 얻는다.java.io.FileNotFound qubole에서 apache spark에 쓰는 동안 예외가 발생했습니다.
나는 심지어 설정합니다 : spark.sql.parquet.output.committer.class=org.apache.spark.sql.parquet.DirectParquetOutputCommitter.
하지만 이건 내 문제를 해결하지 않는 것 같습니다. 또한 로그를 확인하는 동안 예외는 _temporary location being missing으로 인한 것입니다. 나는 왜 DirectParquetOutputCommitter을 사용한 후에도 _temporary 위치를 이해하지 못한다. 이 예외는 계속 발생합니다.
누구나이 문제를 해결할 수 있는지 알려 주시기 바랍니다. 감사.