__SHUFFLE1_REPARTITION0의 BigQuery 속도 -

Question

BigQuery 쿼리가 오래 걸리는 이유를 이해하려고합니다.

Explanation의 출력을 해석하는 데 대한 몇 가지 게시물이 있지만이 경우 진행 상황을 이해하는 데 도움이되는 내용이 없습니다.

__PSRC___SHUFFLE2_0에서 읽는 것과 __SHUFFLE2_REPARTITION0에 쓰는 것이 왜 오래 걸릴지에 대한 의견이 있으십니까? 이 파티션을 새로운 키로 다시 파티션합니까? 이전 단계, (13), 또한 현재 70 %가이 단계에 소요되는 우리의 데이터의 샘플에 200S 정도 걸립니다이 HASH($290)

에 의해 작성되었습니다 있지만. (

(그럴 수 없어 도움이 경우 내가 편집 됨 버전을 게시 할 수 있지만, 여기에 전체 쿼리를 게시 할 수 있습니다.)

Answer 1

않도록 폭발 조인.

을 훨씬 더 텍스없이 t, 나는 무슨 일이 일어나고 있는지 알 수는 없지만, 2 단계 및 5 흥미 :

• 2 단계는 5 140M의 출력으로 10 개 M 행을 얻을 수 7M
• 스테이지에 2M 행에서 이동합니다.

조인이 폭발적이라고 생각합니다. 쿼리되는 데이터의 크기는 얼마입니까?

더 이상의 데이터가 없으면 BigQuery가 이와 같은 분해 조인을 처리 할 수있게되어 행복하다고 말 하겠지만 분해 조인을 수행 할 때 매우 빠른 쿼리는 기대하지 않습니다.

조인 분해의 구체적인 예는 https://stackoverflow.com/a/46533335/132438을 참조하십시오.