Windows 서비스를 통해 BigQuery 테이블에 레코드 삽입

서비스 계정 인증을 사용하여 Google BigQuery API와 완벽하게 통신하는 Windows 서비스를 만들었습니다. 테스트를 위해 Windows 서비스와 BigQuery API 간의 통신을 확인하기 위해 BigQuery 테이블에서 데이터를 가져올 수 있습니다. 그러나이 서비스는 기본적으로 MSSQL 서버에서 레코드를 가져오고 하나씩 레코드가 BigQuery의 대상 테이블에 삽입되거나 추가됩니다. CSV 또는 JSON 파일을 데이터 소스로 사용하고 싶지 않습니다. 그렇게 할 방법이 있습니까?Windows 서비스를 통해 BigQuery 테이블에 레코드 삽입

출처

2012-10-30 Pratik Borkar

아니요, 데이터를 BigQuery로로드하려면 소스 형식으로 CSV 또는 JSON 중 하나를 사용해야합니다.

BigQuery는 현재 레코드 수준 모델이 아닌 일괄 처리 모델을 지원합니다. 일일 수입 쿼터는 전체 프로젝트에 대해 테이블 당 1,000 개 가져 오기 작업과 10,000 개 가져 오기 작업입니다.

MSSQL 내보내기 단계가 완료된 후 간격을두고 (아마도 매시간) 데이터를 CSV 또는 JSON 파일에 캐시 한 다음 BigQuery 처리 작업을 시작할 것을 제안합니다.

출처

2012-10-30 21:14:47

내 딜레마를 깨끗하게 해주셔서 감사합니다. 고마워요. –

로컬 디스크에 저장된 CSV 또는 JSON 파일을 통해이 BigQuery 처리 작업을 실행할 수 있으며, 먼저 이러한 파일을 Google Cloud Storage에 업로드해야합니다. –

BigQuery API에 파일을 직접 게시 할 수도 있지만 일반적으로 Cloud Storage에 데이터를 업로드하는 것이 좋습니다. 자세한 내용은 다음 도움말을 참조하십시오. https://developers.google.com/bigquery/docs/import#import –

Windows 서비스를 통해 BigQuery 테이블에 레코드 삽입

답변

관련 문제