사용 가능한 지정된 파티션 경로가 없으면 SPARK SQL이 실패 함

Question

EMR에서 하이브 Metastore를 사용 중입니다. HiveSQL을 통해 수동으로 테이블을 쿼리 할 수 ​​있습니다.
하지만 스파크 작업에 동일한 테이블을 사용하는 경우, 그것은 입력 경로가 존재하지 않습니다 말한다 : S3 : org.apache.hadoop.mapred.InvalidInputException :에 의한 //

입력 경로를 내가 S3에 내 위의 파티션 경로를 삭제 한

... // : .. //하지만 여전히 테이블 수준에서 파티션을 삭제하지 않고 내 하이브에서 작동 S3 : 가 존재하지 않습니다. 하지만 여기 어쨌든 pyspark에

를 작동하지 않는 것은 내 전체 코드

내가 하이브 카탈로그 테이블을 사용하기 위해 아래에있는 내 작업을 제출

from pyspark import SparkContext, HiveContext 
from pyspark import SQLContext 
from pyspark.sql import SparkSession 

sc = SparkContext(appName = "test") 
sqlContext = SQLContext(sparkContext=sc) 
sqlContext.sql("select count(*) from logan_test.salary_csv").show() 
print("done..") 

입니다.

spark-submit test.py --files /usr/lib/hive/conf/hive-site.xml

Answer 1

은 내가 메타 스토어는 테이블에 대한 파티션을 유지 HDFS와 유사한 오류가 있었다, 그러나이없는 경우 디렉토리는 ...

확인 S3 누락 된, 또는 당신은 그것을 삭제 Hive에서 MSCK REPAIR TABLE을 실행해야합니다. 때때로이 작동하지 않습니다, 당신은 실제로 속성이 기본적으로 거짓하는 DROP PARTITION

해야합니까,하지만 당신은 SparkContext

from pyspark import SparkConf, SparkContext 

conf = SparkConf().setAppName("test").set("spark.sql.hive.verifyPartitionPath", "false")) 
sc = SparkContext(conf = conf) 

또는, 불꽃이 방법에 SparkConf 객체를 전달하여 구성 등록 정보를 설정 SparkSession을 사용 중입니다.

from pyspark.sql import SparkSession 

spark = SparkSession.builder \ 
...  .appName("test") \ 
...  .config("spark.sql.hive.verifyPartitionPath", "false") \ 
...  .enableHiveSupport() 
...  .getOrCreate()