Spark 데이터 세트에서 하이브 파티션 가져 오기

Question

S3에 쓰고 난 후 하이브 메타 스토어에 테이블과 파티션을 자동으로 등록하려고하는 작업을하고 있습니다.

모든 파티션을 등록하기 전에 모든 파티션 값을 알아야합니다. 이제 모든 파티션 값을 얻으려면 ds.select(partitionColumn).distinct().collectAsList();을하고 있습니다.

내 데이터 세트에서 파티션 값을 얻는 더 좋은 방법이 있습니까?

Answer 1

을 org.apache.spark.sql.execution.command.ddl.scala으로 지정하면 Spark 구현은 ALTER TABLE RECOVER PARTITIONS입니다. 모든 파티션을 스캔 한 다음 등록합니다.

그래서 여기에 같은 아이디어가 있습니다. 방금 작성한 위치의 모든 파티션을 검사하십시오.

키 이름을 가져온 다음 파티션 이름/값을 추출합니다.

다음은 경로를 가져 오는 코드 조각입니다.

String location = "s3n://somebucket/somefolder/dateid=20171010/"; 
Path root = new Path(location); 

Configuration hadoopConf = sparkSession.sessionState().newHadoopConf(); 
FileSystem fs = root.getFileSystem(hadoopConf); 

JobConf jobConf = new JobConf(hadoopConf, this.getClass()); 
final PathFilter pathFilter = FileInputFormat.getInputPathFilter(jobConf); 

FileStatus[] fileStatuses = fs.listStatus(root, path -> { 
    String name = path.getName(); 
    if (name != "_SUCCESS" && name != "_temporary" && !name.startsWith(".")) { 
     return pathFilter == null || pathFilter.accept(path); 
    } else { 
     return false; 
    } 
}); 

for(FileStatus fileStatus: fileStatuses) { 
    System.out.println(fileStatus.getPath().getName()); 
}