google-bigquery

1열

1답변

Bigquery에서 설문 조사 웹 후크 데이터를 수신합니다. 현지 언어로 된 주석은 유니 코드로 캡처되며 해당 주석에 특수 문자가 있습니다. "别老是晚点, 现场补行李费太贵"BigQuery의 데이터 -에 코멘트 "\ u522b \ u8001 \ u662f \ u665a survey-에 예 코멘트 \ u70b9 \ uff0c \ u73b0 \ u57

0열

2답변

Google Cloud Storage의 데이터를 Python 코드를 통해 분할 된 테이블에 업로드

거대한 로그 테이블을 Google 클라우드 저장소에 저장했습니다. 그것을 쿼리하는 것은 점점 더 비싸지고 있으며, 테이블을 분할하는 것이 해결책이라고 생각합니다. 큰 테이블에서 새로 생성 된 파티션 된 테이블로 오래된 데이터를 업로드 할 수는 있지만, 저장소에서 biguqery 테이블로 매일 데이터를로드하는 기존의 파이썬 코드를 수정하는 데 어려움을 겪고

0열

1답변

PUB/SUB 트리거를 사용하는 BigQuery 자동화?

bigquery 자동화 중에이 https://github.com/firebase/functions-cron 샘플 코드를 배포하고 있습니다. 내가 바꿀 필요가 있는게 뭐지? 그리고 URL, 설명이 무엇인지 알지 못합니다. 어떻게 URL을 설정합니까?

1열

2답변

BigQuery 내보내기 스키마 - 파이어베이스에서 전체 이벤트 열을 내보내는 방법

이미 파이어베이스를 bigquery에 연결하고 매일 새 스탬프가 날짜 테이블과 함께 생성됩니다. 내보내기 내의 열은 https://support.google.com/firebase/answer/7029846?hl=en 이지만 내보낼 firebase 분석 데이터 (예 : add_porduct_like, add_product_to_cart 등)는 없습니다. 전

1열

1답변

BigQuery 테이블의 기존 파티션에 데이터를 추가하는 방법

BigQuery 테이블을 만드는 동안 BigQuery 테이블에 파티션을 만들 수 있습니다. 파티션에 대해 몇 가지 질문이 있습니다. BigQuery 테이블의 기존 파티션에 데이터를 추가하는 방법. 기존 BiQuery 테이블에 이미 파티션이있는 경우 기존 BigQuery 테이블에 새 파티션을 만드는 방법. BigQuery 테이블의 파티션에 데이터를 자르고로드

0열

2답변

단일 쿼리를 사용하여 여러 변수에 저장되는 여러 테이블 행의 수를 얻으려면 어떻게해야합니까?

나는 4 개의 다른 테이블을 가지고 있고 각 테이블의 카운트 행을 얻고 4 개의 다른 변수에 대한 카운트 (*)를 얻고 싶습니다. 내가 사용하고 쿼리는 다음과 같습니다 SELECT count(*) as count1 FROM `table1` UNION ALL SELECT count(*) as count2 FROM `table2` UNION ALL SE

0열

1답변

BigQuery의 참여 속도가 느리다.

최근에 저의 경험에 비추어 볼 때, BigQuery와 조인은 단 하나의 테이블을 사용하는 것보다 훨씬 느립니다. 일반적으로 대부분의 쿼리는 몇 분 내에 완료됩니다. 그러나 다음과 같은 조인 질의는 ~ 10 억 개의 행과 table2 ~ 1 백만 개의 행을 가진 table1로 끝내는 데 6000 초 이상 걸립니다. SELECT a.*, coalesce(b.f

0열

1답변

파이썬의 BigQuery API - 테이블 스키마/헤더

내가 테이블의 스키마를 얻을 수있는 방법 import uuid from google.cloud import bigquery def query_shakespeare(): client = bigquery.Client() query_job = client.run_async_query(str(uuid.uuid4()), """

1열

1답변

Dataproc의 BigQuery 및 Pyspark

BigQuery에 FPgrowth 알고리즘을 쿼리하고 구현하려는 테이블이 있습니다. dataproc 클러스터의 VM 인스턴스를 사용하여 pyspark 셸에서 먼저 시도하고 싶습니다. 나는 pyspark를 사용하여 BQ의 테이블을 직접 질의하는 방법을 찾고있다. FPGrowth를 구현하기 위해 결과 쿼리 데이터를 사용하고 싶습니다 (이미 익숙합니다).

0열

1답변

BigQuery의 서비스 제한

Google BigQuery에서 스로틀 링이 발생하는지 어떻게 알 수 있습니까? 일반적으로 10-15 초 내에 완료되는 Google 애널리틱스 데이터를 삭제하는 여러 개의 BigQuery 작업이 있습니다. 다른 작업이 간헐적으로 2-3 분으로 느려지 기 시작하여 이후 실행에서 정상 속도로 돌아갑니다. 작업이 성공적으로 완료됩니다. 속도가 느려지는 패턴을 볼