2014-02-13 2 views
2

Google API를 사용하여 Google Big Query에 CSV 파일을로드합니다. 로드 할 때 열을 감지하고 적절한 스키마 유형을 자동으로 선택하는 방법이 있습니까?Google BigQuery - CSV 파일의 스키마 구문 분석

예를 들어 특정 열에 float 만있는 경우 BigQuery는 열을 float로 할당하고 숫자가 아닌 경우 열을 string으로 할당합니다. 이 작업을 수행 할 수있는 방법이 있습니까?

로터리 방식은 CSV를로드 할 때 기본적으로 각 열을 문자열로 할당하는 것입니다.

그런 다음 각 열에 대한 쿼리를 수행 -

수 (럼 이름) SELECT - dataset.table 로부터 수 (플로트 (럼 이름을)) (나는 열을 분리에만 관심이 가정이 내 응용 프로그램에서 수학 함수에 사용할 수있는 "부동 소수점 값"이 있음)

다른 어떤 방법으로이 문제를 해결할 수 있습니까? 당신이 제안 있도록

답변

1

이 지금의 BigQuery는, 스키마 추론을 지원하지 않습니다, 옵션은 다음과 같습니다 데이터를로드 할 때

  1. 명시 적으로 스키마를 제공합니다.
  2. 문자열 형식을 사용하여 모든 데이터를로드하고 쿼리 할 때 캐스팅/변환합니다. 당신이 allowLargeResults을 사용할 수 있습니다

주 정리하고 가져온 데이터를 재 작성 기능 (하지만 당신은 당신의 데이터 섭취 비용을 증가 쿼리, 청구됩니다 참고).