Apache Beam : PubsubReader가 NPE로 인해 실패합니다.

Question

일부 변환을 적용한 후 빔 파이프 라인을 PubSub에서 읽고 BigQuery에 씁니다. 파이프 라인은 NPE와 일관되게 실패합니다. 빔 SDK 버전 0.6.0을 사용하고 있습니다. 내가 잘못하고있는 것에 대한 어떤 생각? DirectRunner로 파이프 라인을 실행하려고합니다.

java.lang.NullPointerException 
at org.apache.beam.sdk.io.PubsubUnboundedSource$PubsubReader.ackBatch(PubsubUnboundedSource.java:640) 
at org.apache.beam.sdk.io.PubsubUnboundedSource$PubsubCheckpoint.finalizeCheckpoint(PubsubUnboundedSource.java:313) 
at org.apache.beam.runners.direct.UnboundedReadEvaluatorFactory$UnboundedReadEvaluator.getReader(UnboundedReadEvaluatorFactory.java:174) 
at org.apache.beam.runners.direct.UnboundedReadEvaluatorFactory$UnboundedReadEvaluator.processElement(UnboundedReadEvaluatorFactory.java:127) 
at org.apache.beam.runners.direct.TransformExecutor.processElements(TransformExecutor.java:139) 
at org.apache.beam.runners.direct.TransformExecutor.run(TransformExecutor.java:107) 
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511) 
at java.util.concurrent.FutureTask.run(FutureTask.java:266) 
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) 
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) 
at java.lang.Thread.run(Thread.java:745) 

Answer 1

이 문제는 DirectRunner의 버그 (BEAM-1656)와 PubsubCheckpoint 내 전제 조건으로 존재한다. DirectRunner의 버그는 pull request 2237에서 수정되었으며, Github master 브랜치에 병합되었지만 0.6.0 릴리스 이후입니다.

DirectRunner를 사용할 때 0.7.0 야간 건물 또는 건물에서 github HEAD로 업데이트하면이 문제가 해결됩니다.

현재 야간 빌드로 업데이트하려면 프로젝트의 pom.xml에 다음 리포지토리를 추가해야합니다. 수정 프로그램을 포함하는 beam-runners-direct-java 모듈의 초기 버전은 0.7.0-20170316.070901-9, 그러나 당신이이 개별적으로 호환 버전을 지정하거나 0.7.0-SNAPSHOT

<repositories> 
     <repository> 
     <id>apache.snapshots</id> 
     <name>Apache Development Snapshot Repository</name> 

<url>https://repository.apache.org/content/repositories/snapshots/</url> 
     <releases> 
      <enabled>false</enabled> 
     </releases> 
     <snapshots> 
      <enabled>true</enabled> 
     </snapshots> 
     </repository> 

    </repositories>