google-bigquery

1열

1답변

docker를 사용하여 google big query에 데이터를 읽고 쓰는 python 스크립트 처리

최근 로컬 컴퓨터에 mysql 데이터베이스의 데이터를 읽고 Google big 쿼리에 삽입하는 python 코드를 개발했습니다. 인증 서비스 계정을 사용합니다. 목적과 내 코드를 오류없이 성공적으로 실행할 수 있습니다. 이제 도커 파이썬 컨테이너에서 스크립트를 실행하려고합니다. 코드를 실행하면 사용자와 시스템 간의 상호 작용없이 자동으로 처리하는 방법을 잘

0열

1답변

테이블 분할

Bigquery는 현재 날짜별로 파티션을 허용합니다. 하자. 나는필드로 10 억 테이블 행을 가진다. 이 필드는 1 년 전부터 사용 가능합니다. 기존 데이터를 새 파티션 테이블로 옮기는 올바른 방법은 무엇입니까? 는 편집 나는 데이터를 윈도 테이블 이름 (또는 파티션 접미사를) 변수화하는 것입니다 < 2.0 Sharding BigQuery output ta

0열

2답변

Google Bigquery Regexp를 사용하는 근접 검색

제목 텍스트가 있습니다. "영국에서 가장 위험한 일자리 5 위" "위험한"단어가 포함 된 모든 행과 단어 사이에 거리가있는 "영국"단어를 3 단어로 찾으려합니다. 위의 텍스트에서와 마찬가지로 텍스트에 "위험한"및 "영국"이라는 단어가 포함되어 있고 그 사이의 거리가 3 단어이기 때문에 내 조건과 일치해야합니다. 확실하지 않음. (쿼리 나에게 단어 "위험"과

0열

1답변

큰 검색어로 '& CID = 4859615 & SUBID = 197378'이라는 열 이름을 사용했습니다.

'& CID = 4859615 & SUBID = 197378'이라는 큰 검색어 열에 이름을 지정하려고합니다. 그래서 쿼리는 구글 빅 쿼리에 같은 이름을 사용할 수 있습니다 선택 cust_table 에서 CID = 4859615 & 하위 ID = 197378 &으로 CUSTOMER_ID 아래처럼 보인다.

1열

1답변

BigQueryIO.write()를 수행하는 동안 BigQuery 작업 ID 가져 오기/설정

BigQuery JobID를 설정하거나 배치 파이프 라인이 실행되는 동안 가져올 수 있습니까? BigQuery API를 사용하여 가능하다는 것을 알고 있지만 Apache Beam에서 BigQueryIO를 사용하고 있다면 가능합니까? 로드가 완료되었음을 BigQuery에 기록한 후 확인을 보내야합니다.

-5열

1답변

Blaze 계획을위한 Google 클라우드 플랫폼의 비용은 얼마입니까?

Firebase 분석 데이터를 사용할 모바일 응용 프로그램에 BigQuery를 사용할 계획입니다. 내가 문서에서 이해할 수있는 것은 Blaze 계획을 사용해야한다는 것입니다. 나는이 링크를 따라 갔다. 해당 페이지에서 아래 링크에서 https://firebase.google.com/pricing/ 는 불꽃 계획 계산기가있다,하지만 계산기는 계산 "구글 클라

0열

1답변

쿼리 결과를 분할 된 테이블에 작성

날짜가있는 결과를 반환하는 쿼리가 있습니다. 각 날짜에 대해 쿼리를 다시 실행하지 않고이 쿼리의 결과를 (이전에 만든) 분할 된 테이블에 쓸 수 있습니까? SELECT timestamp(dt) as _PARTITIONTIME , * FROM [foo.some_view] 를 내가 대상 분할 빈으로 지정하고 있습니다 : 이것은 가 (오늘

-1열

1답변

표에 대한 쿼리 집계?

나는 한 지점에 갇혀 있는데 customer_id 및 amount_paid 값을 가진 고객 테이블에서 데이터를 선택해야합니다. 나는 사용자의 처음 3 개의 값이 텍스트 Group1과 4에서 10까지의 값으로 컬럼 이름 그룹에 표시되어야하며, 텍스트 Group2 및 그룹 3을 가져 오는 형태로 결과를 표시하려고합니다. 모든 고객에 대한 값을 그룹화하는 방법을

0열

1답변

BigQuery : excel 파일을로드하는 중

CSV로 변환하는 대신 직접 Excel 파일을 BigQuery로로드 할 수있는 방법이 있습니까? 매일 파일을 Excel 형식으로 가져와 BigQuery로로드해야합니다. 현재 CSV로 수동 변환하여 BigQuery로로드 중입니다. 작업 예약을 계획 중입니다. Excel 파일을 BigQuery에 직접로드 할 수없는 경우 BigQuery로로드하기 전에 CSV로

2열

1답변

google-bigquery 원본을 복사 할 때 테이블을 복사하고 업데이트 할 수 있습니까?

기본적으로 우리는 여러 데이터 세트에 걸쳐 많은 테이블을 가지고 있지만 사람들과 테이블을 공유하기를 원하며 액세스 제어를위한 유일한 방법은 데이터 세트 수준이므로 아이디어는 우리가 원했던 테이블의 사본을 만드는 것이 었습니다 원래 데이터 일 때 동적으로 업데이트되는 새 데이터 세트에 표시합니다. 감사!