BigQuery 테이블에서 중복 레코드 제거

Question

매일 BigQuery 테이블에 증분 데이터를 추가 할 계획입니다. 증분 데이터를 기존 테이블에 추가 할 때마다 테이블의 기존 데이터에서 중복 된 레코드 (기본 키 열 기반)를 제거하려고합니다. SELECT all_cols from table where pkey_col NOT IN (INCR_KEYS) - - 새로운 테이블에 결과를 저장

가의 라인에 대한 쿼리를 실행합니다 (INCR_KEYS를 호출 할 수 있습니다)

1. 이 증분 데이터에서 키 세트를 수집 - 한 가지 방법은하는 것입니다.
2. 새 테이블에 증분 데이터를 추가하십시오.

이 접근법에 대한 나의 관심은 큰 테이블의 복사본을 만들어 내 청구서에 추가한다는 것입니다.

중복 테이블을 만들지 않고도 같은 결과를 얻을 수있는 더 좋은 방법이 있습니까?

Answer 1

중복 테이블을 만들지 않고이 작업을 수행하는 방법을 알지 못합니다. 실제로 이것은 상당히 영리한 솔루션처럼 들립니다.

그러나 증분 비용은 매우 적습니다. BigQuery는 존재하는 기간 동안 데이터에 대해서만 요금을 청구합니다. 이전 테이블을 삭제하면 초 또는 분 동안 두 테이블에 대해서만 비용을 지불하면됩니다.

Answer 2

당신은 기존 테이블로 설정 대상 테이블에 쿼리를 실행하고 잘라내 쓰기 처분을 설정할 수 있습니다 :이 일 것으로 예상

bq query --allow_large_results --replace --destination_table=mydataset.mytable \ 
    'SELECT * FROM mydataset.mytable 
    WHERE key NOT IN (SELECT key FROM mydataset.update)' 
bq cp --append_table mydataset.update mydataset.mytable 

을하지만 난 그게 특히, 백업을 복용 가치가있다 생각 곧 삭제할 수 있습니다.

bq cp mydataset.mytable mydataset.backup 
# You can also build the new table in one pass: 
bq query --allow_large_results --replace --destination_table=mydataset.mytable \ 
    'SELECT * FROM (
     SELECT * FROM mydataset.mytable 
     WHERE key NOT IN (SELECT key FROM mydataset.update) 
    ), (
     SELECT * FROM mydataset.update 
    )' 
bq rm mydataset.backup 

Answer 3

당신은 새로운 대상 테이블을 설정하고 단지 모든 열에 의한 수와 그룹을 조회 할 수 있습니다

SELECT 
    FIELD1, 
    FIELD2, 
    FIELD3, 
    FIELD4 
FROM (
    SELECT 
    COUNT (*), 
    FIELD1, 
    FIELD2, 
    FIELD3, 
    FIELD4 
    FROM 
    [<TABLE>] 
    GROUP BY 
    FIELD1, 
    FIELD2, 
    FIELD3, 
    FIELD4)