BigQuery - Java API를 사용하여 결과를 반복하는 방법

Question

90k 행의 쿼리 결과 (이 양은 웹 UI와 결과 객체를 나타냄)를 다운로드하려고하는데 다음과 같이 반복기에서 130,000 개가 넘는 항목을 가져옵니다.

QueryRequest queryRequest = QueryRequest 
             .newBuilder("......") 
             .setUseLegacySql(true) 
             .build(); 
QueryResponse response = bigquery.query(queryRequest); 
QueryResult result = response.getResult(); 
Integer c = 0; 

while(result != null){ 
      Iterator<List<FieldValue>> iter = result.iterateAll(); 
      while(iter.hasNext()){ 
       iter.next(); 
       c++; 
      }  
      result = result.getNextPage(); 
} 

판독 값의 마지막은 약 130K이지만, reuslt.getTotalRows()은 90K를 포함합니다.

내가 올바르게하지 않는 것에 대해 아이디어가 있습니까?

Answer 1

JavaDoc에서 Page.iterateAll()은 모든 페이지의 결과를 반환합니다.

첫 번째 페이지에서 모든 결과를 얻은 다음 첫 번째 페이지가 아닌 모든 결과를 다시 얻은 다음 페이지로 넘어갑니다. 페이지 크기를 더 작은 숫자로 설정하면 결과가 실제로 증가합니다.

코드는 다음과 같아야합니다

QueryRequest queryRequest = QueryRequest 
            .newBuilder("......") 
            .setUseLegacySql(true) 
            .build(); 
QueryResponse response = bigquery.query(queryRequest); 
QueryResult result = response.getResult(); 
Integer c = 0; 

Iterator<List<FieldValue>> iter = result.iterateAll(); 
while(iter.hasNext()){ 
    iter.next(); 
    c++; 
}