2012-05-04 4 views
3

다음은 예상대로 작동합니다.여러 파일로드 중

./bq --nosync 부하 -F '^'--max_bad_record = 30000 myvserv.xa IP one.txt : 문자열, CB : 문자열, 국가 : 문자열, telco_name : 문자열, ...

1)하지만 같은 명령에서 두 개의 CSV 파일 인 one.txt와 two.txt를 보내는 방법은 무엇입니까?

2) 파일을 cat 한 다음 파이프 처리 할 수 ​​없습니다. bg 명령으로?

3) nosync는 무엇을 의미합니까?

답변

5
  1. 불행히도, 같은 명령으로 두 파일을 업로드 할 수는 없습니다. bq를 두 번 실행해야합니다. 그러나 Google Cloud Storage에서 데이터를로드하는 경우 쉼표로 구분 된 여러 개의 gs : // URL을 지정할 수 있습니다.

  2. 아니요, bq는 (비록) 아직 표준 입력에서 업로드 데이터 읽기를 지원하지 않지만 그것은 미래 버전을위한 좋은 아이디어입니다.

  3. "bq load"를 실행하면 bq가 서버에서로드 작업을 작성한 다음 완료를 폴링합니다. --nosync 플래그를 지정하면로드 작업을 생성 한 다음 폴링하지 않고 종료합니다. (원하는 경우, 완료 별도로 "BQ 대기"를 사용하기위한 폴링 할 수 있습니다.)의 경우 1

0

을), 제레미가 언급 한 바와 같이, 동일한 명령에서 한 번에 두 로컬 파일을 가져올 수 없습니다. 그러나 동일한 테이블에 대해 두 개의 병렬로드를 시작할 수 있습니다.로드는 기본적이며 추가는 기본적이므로 추가 작업은 원하는 작업을 수행해야하며 업로드가 병렬로 수행되므로 단일 작업으로 두 가지를 모두 가져 오는 것보다 빠를 수 있습니다.