2016-11-04 2 views
1

Google BigQuery를 탐색하는 초보자입니다. 행 값을 포함하는 파이썬 목록에서 행을 BigQuery 테이블에 삽입하고 싶습니다. python 목록의 값에서 google BigQuery 테이블에 행 삽입

내 목록은 다음과 같습니다 더 구체적으로 : 내가 BigQuery-Python library insert 에서 힌트의 몇 가지를 발견하고도 pandas bigquery writer에보고하지만 내 유스 케이스에 대한 완벽한 있는지 확실하지

[100.453, 108.75, 50.7773]

.

더 나은 해결책은 무엇입니까?

미리 감사드립니다. Google 클라우드 플랫폼 서비스는 파이썬을 사용하여 해결하려면

  1. https://cloud.google.com/bigquery/streaming-data-into-bigquery#bigquery_stream_data_python
  2. https://github.com/GoogleCloudPlatform/python-docs-samples/blob/master/bigquery/cloud-client/stream_data.py

답변

2

, 나는 파이썬 google-cloud 및 BigQuery를 위해를 사용하는 것이 좋습니다 :

+1

자원의 정교한 목록에 대해 @Fematich에게 감사드립니다. 필자의 주요 의도는 "파이썬 목록"의 값을 BigQuery 테이블의 행에 삽입 할 수있는 방법을 파악하는 것이 었습니다. 언급 한 라이브러리와 관련하여 행을 삽입하려면 데이터가 JSON 형식이어야하지만 제 조건에서는 "파이썬 목록"을 처리합니다. 이렇게하면 데이터를 변환 할 때마다 반복적으로 노력해야합니다. –

+2

[google-cloud-bigquery docs] (https://googlecloudplatform.github.io/google-cloud-python/stable/bigquery-usage.html)의 '표 데이터에 행 삽입'아래의 예를 시도해 보셨습니까? ? 파이썬 튜플 /리스트를 사용한 예제입니다. – Fematich

+0

안녕하세요 @fematich, 이미 시도했지만 성공적으로 삽입하지 못하여 실수로 Google 팀을 업데이트했습니다. 늦은 응답에 대해서는 후회합니다. –

0

구글 BigQuery를 워드 프로세서 방법을 보여 특히 하위 모듈 google-cloud-bigquery (이것은 @polleyg에서도 추천했습니다. 이것은 오픈 소스 파이썬 관용구입니다. Google이 유지 관리하는 이렇게하면 간단하고 일관된 방식으로 모든 Google 클라우드 서비스를 쉽게 사용할 수 있습니다.

보다 구체적으로, documentation에있는 Insert rows into a table’s data의 예는 Python 튜플/목록을 BigQuery 테이블에 삽입하는 방법을 보여줍니다.

그러나 필요에 따라 다른 옵션, 옵션의 내 주문해야 할 수 있습니다

  1. 당신이 Google 서비스 (예 : BigQuery를)와 기본 인터페이스을 가지고 코드를 사용하는 경우와이 맞는 당신 필요, 이것을 사용하십시오. 귀하의 경우에는 Pandas-BigQuery이 적합한 지 테스트하십시오.
  2. 현재 코드/모듈에 기본 인터페이스가없는 경우 Google 관례 클라이언트google-cloud을 사용해보세요.
  3. 사용자의 요구에 맞지 않는 경우 외부 관용적 클라이언트tylertreat/BigQuery-Python과 같이 사용하십시오. 문제는 서로 다른 서비스에 대해 서로 다른 일관성없는 클라이언트를 갖게된다는 것입니다. 이로 인해 google-cloud 모듈에 제공되지 않은 일부 기능이 추가 될 수 있습니다. 당신은 매우 새로운 알파/베타 기능을 작업하는 경우
  4. 마지막으로는 Google API module에 직접 API를 사용,이 항상 최신의 API에 액세스 할 수 있습니다,하지만 작업하기가 조금 어렵습니다. 이전 옵션으로 필요한 정보를 얻을 수없는 경우에만 사용하십시오.
관련 문제