Apache Beam을 사용하여 Hive에서 읽는 방법은 무엇입니까?

Question

Apache Beam을 사용하여 Hive를 읽는 방법/Apache Beam에서 Hive를 소스로 사용하는 방법은 무엇입니까?

Answer 1

HadoopInputFormatIO은 다음과 하이브에서 읽을 수 있습니다 :

Configuration conf = new Configuration(); 
conf.setClass("mapreduce.job.inputformat.class", HCatInputFormat.class, 
InputFormat.class); 
conf.setClass("key.class", LongWritable.class, WritableComparable.class); 
conf.setClass("value.class", DefaultHCatRecord.class, Writable.class); 
conf.set("hive.metastore.uris", "..."); 
HCatInputFormat.setInput(hiveConf, "myDatabase", "myTable", "myFilter"); 


PCollection<KV<LongWritable, DefaultHCatRecord>> data = 
p.apply(HadoopInputFormatIO.<Long, 
DefaultHCatRecord>read().withConfiguration(conf)); 

Answer 2

끌어 오기 요청 7 월 2017 년 통합 할 수 있습니다 Beam 2.1.0을 HCataloghttps://issues.apache.org/jira/browse/BEAM-2357를 통해 hive을 지원합니다.