Google Cloud Dataflow를 통해 Sharded (Dated) BigQuery 테이블에 작성/쓰기

Question

스트리밍 모드 Dataflow 파이프 라인을 구성하여 각 윈도우를 별도의 BigQuery 테이블에 작성하고 필요한 경우 하나씩 생성하는 방법을 쉽게 이해할 수 있습니까?

e.e. - table_20160701, table_20160702 등

Answer 1

샘플 코드 :

`

PCollection<TableRow> quotes = 
    quotes.apply(Window.<TableRow>into(CalendarWindows.days(1))) 
     .apply(BigQueryIO.Write 
      .named("Write") 
      .withSchema(schema) 
      .to(new SerializableFunction<BoundedWindow, String>() { 
      public String apply(BoundedWindow window) { 
       // The cast below is safe because CalendarWindows.days(1) produces IntervalWindows. 
       String dayString = DateTimeFormat.forPattern("yyyy_MM_dd") 
        .withZone(DateTimeZone.UTC) 
        .print(((IntervalWindow) window).start()); 
       return "my-project:output.output_table_" + dayString; 
      } 
      })); 
    } 

`

여기에서 촬영 :

https://github.com/GoogleCloudPlatform/DataflowJavaSDK/blob/master/sdk/src/main/java/com/google/cloud/dataflow/sdk/io/BigQueryIO.java