bq + 백엔드 오류가있는 삽입 속도가 느림

Question

데이터를 BigQuery에 삽입하는 데 문제가 있습니다. 우리는 네덜란드에 있습니다.

명령 :
ADM @의 la478의 ads_csv의 $ 시간 BQ 부하 --debug_mode 1 --max_bad_records 100 --project_id 197553342340 ad_monitoring.ad의 ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz을 --skip_leading_rows 로드 작업에
BigQuery에 오류 : 백엔드 오류

메트릭 :
실제 4m35.997s
사용자가
에 sys 0m0.169s

012 0m0.963s

3,516,파일 크기 :
-rw-RW-rw-을 1 ADM 관리 39M 7월 10일 17시 2분 ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz
2백메가바이트 압축

당신이 할 수있는하시기 바랍니다 조언은 무엇을해야 하는가?

Answer 1

Google 백엔드에서 문제를 조사 중이지만 Google 스토리지를 통해 가져 오기를 수행하면 더 많은 행운을 빕니다 (특히 유럽에서). 당신이 gsutil cp ad_monitoring.ad ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz gs://your_bucket/ad_monitoring.ad ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz를 실행하면 다음에 BQ 명령 줄 변경할 수 있습니다 : 나는 우리의 로그에 일자리를 찾고 있어요

bq load --debug_mode --skip_leading_rows 1 --max_bad_records 100 --project_id 197553342340 ad_monitoring.ad gs://your_bucket/ad_bd9a6230-2d34-4cf1-8553-04d9c2f8c52b.csv.gz

을, 실패 최근로드 작업의 무리가 있었다 것 같습니다 'TOO_MANY_ERRORS'와 (과) 일치합니다. bq ls -j 및 bq show -j <job_id>을 사용하는 경우 이에 대한 자세한 정보를 얻을 수 있습니다.