여러 조인을 사용하는 이유는 무엇입니까?

Question

Google BigQuery에서 버그를 발견했지만 확실하지 않습니다. 누군가가 대안을 제시 할 수 있기를 희망합니다.

테이블 나는 200K의 데이터만을 가진 테이블에서 실행하고 있습니다.

이

이 ~ 삼초한다 : 나는 다음과 같은 기괴한 행동을 우연히 깔때기 분석 할 내 시도에

이

SELECT 
    COUNT(DISTINCT Q0._user_id) AS step0 
FROM 
    (SELECT _user_id FROM [5629499534213120.201501]) AS Q0 
LEFT OUTER JOIN 
    (SELECT _user_id, _time FROM [5629499534213120.201501] WHERE _os=='Windows') AS Q1 
ON (Q0._user_id=Q1._user_id) 

이 ~ 3 분 정도 소요을 :

SELECT 
    COUNT(DISTINCT Q0._user_id) AS step0 
FROM 
    (SELECT _user_id FROM [5629499534213120.201501]) AS Q0 
LEFT OUTER JOIN 
    (SELECT _user_id, _time FROM [5629499534213120.201501] WHERE _os=='Windows') AS Q1 
ON (Q0._user_id=Q1._user_id) 
LEFT OUTER JOIN 
    (SELECT _user_id, _time FROM [5629499534213120.201501] WHERE _country=='de') AS Q2 
ON (Q0._user_id=Q2._user_id) 

의미 하나 더 왼쪽 결합을 추가하면 쿼리가 믿을 수 없을 정도로 느려집니다 (데이터는 약 200k에 불과합니다). 당신이 주요 문제에 초점을 맞출 수 있도록

분명히, 내가 선택 문을 단순화 (내가 사용하는 실제 SELECT 문은 훨씬 더 복잡하다)

사람이 문제, 또는에 대한 해결 방법 무엇을 알고 있나요?

Answer 1

가 나는 경우 BigQuery 이슈 트래커에 응답,하지만 난 여기에 내 대답을 다시 게시 해요 :

가 나는 BigQuery의 엔지니어와 나는 우리의 로그에 쿼리를 보였다. 보고있는 것은 가입 폭발입니다.

고유하지 않은 키를 사용하여 3- 방향 자체 조인을 수행했습니다. 필드 "_user_id"는 왼쪽에 3937 개의 행, 첫 번째 조인에서 1388 개의 행 및 두 번째 조인에서 1388 개의 행과 일치하는 단일 값을가집니다.

즉, 3937 * 1388 * 1488 또는 75 억 개의 출력 행을 생성합니다. (그런 다음 출력 크기를 줄이기 위해 개수를 구분했지만 중간 값을 먼저 만들어야했습니다.)

75 억 개의 중간 행을 생성하는 데는 몇 분이 걸릴 것이라고 생각하지 않습니다. 특히 모든 행이 단일 키에서 생성되었으므로 단일 작업자 작업으로 생성되어야했습니다.

제 생각 엔 조인 폭발을 피하기 위해 쿼리를 다시 구성 할 수 있습니다.

Answer 2

BigQuery에 익숙하지 않지만 내부 쿼리 (SELECT _user_id, _time FROM [...)가 전체 테이블을 검색하고있는 것으로 생각됩니다.

다음과 같이 쿼리를 새로운 표현에 대해 무엇 :

SELECT 
    COUNT(DISTINCT Q0._user_id) AS step0 
FROM 
    [5629499534213120.201501] AS Q0 
LEFT OUTER JOIN [5629499534213120.201501] AS Q1 
    ON (Q0._user_id=Q1._user_id) 
LEFT OUTER JOIN [5629499534213120.201501] AS Q2 
    ON (Q0._user_id=Q2._user_id) 
WHERE Q1._os=='Windows' 
    AND Q2._country=='de' 

를 지금까지 내가 말할 수있는, 결과는 동일해야합니다; 이것은 데이터베이스가 인덱스를 사용하도록 허용해야합니다 (데이터베이스가 적절하게 표준화 된 경우).