2014-11-20 4 views
2

내 사이트의 실제 트래픽 (일일 80M 이상)으로 bigquery 플랫폼을 테스트 중입니다. 삽입 작업을 사용하여 Java API를 사용하여 gz 파일을 업로드합니다. 어떤 경우에는, 나는이 메시지가 나타납니다했습니다 : 입력 데이터bigquery - 입력 된 데이터가 없습니다.

{ 
"kind": "bigquery#job", 
"etag": "\"******************\"", 
"id": "*********", 
"selfLink": "********", 
"jobReference": { 
    "projectId": "********", 
    "jobId": "**************" 
}, 
"configuration": { 
    "load": { 
    "schema": { 
     "fields": [ 
     { 
      "name": "tms", 
      "type": "TIMESTAMP" 
     }, 
     { 
      "name": "page", 
      "type": "STRING" 
     }, 
     { 
      "name": "user_agent", 
      "type": "STRING" 
     }, 
     { 
      "name": "print_id", 
      "type": "STRING" 
     }, 
     { 
      "name": "referer", 
      "type": "STRING" 
     }, 
     { 
      "name": "gtms", 
      "type": "TIMESTAMP" 
     }, 
     { 
      "name": "cookies", 
      "type": "STRING" 
     }, 
     { 
      "name": "ip", 
      "type": "STRING" 
     }, 
     { 
      "name": "site", 
      "type": "STRING" 
     }, 
     { 
      "name": "call_params", 
      "type": "STRING" 
     }, 
     { 
      "name": "domains", 
      "type": "RECORD", 
      "mode": "REPEATED", 
      "fields": [ 
      { 
       "name": "name", 
       "type": "STRING" 
      }, 
      { 
       "name": "ads", 
       "type": "RECORD", 
       "mode": "REPEATED", 
       "fields": [ 
       { 
        "name": "id", 
        "type": "STRING" 
       }, 
       { 
        "name": "type", 
        "type": "STRING" 
       }, 
       { 
        "name": "position", 
        "type": "STRING" 
       }, 
       { 
        "name": "strategy", 
        "type": "STRING" 
       }, 
       { 
        "name": "score", 
        "type": "STRING" 
       }, 
       { 
        "name": "cpc", 
        "type": "STRING" 
       }, 
       { 
        "name": "site", 
        "type": "STRING" 
       }, 
       { 
        "name": "categ", 
        "type": "STRING" 
       }, 
       { 
        "name": "cust", 
        "type": "STRING" 
       }, 
       { 
        "name": "campaign", 
        "type": "STRING" 
       } 
       ] 
      } 
      ] 
     } 
     ] 
    }, 
    "destinationTable": { 
     "projectId": "**********", 
     "datasetId": "*******", 
     "tableId": "********" 
    }, 
    "createDisposition": "CREATE_IF_NEEDED", 
    "writeDisposition": "WRITE_APPEND", 
    "sourceFormat": "NEWLINE_DELIMITED_JSON" 
    } 
}, 
"status": { 
    "state": "DONE", 
    "errors": [ 
    { 
     "reason": "invalid", 
     "message": "Input contained no data" 
    } 
    ] 
}, 
"statistics": { 
    "creationTime": "1416491042309", 
    "startTime": "1416491061440", 
    "endTime": "1416491076876", 
    "load": { 
    "inputFiles": "1", 
    "inputFileBytes": "0", 
    "outputRows": "0", 
    "outputBytes": "0" 
    } 
} 
} 

그리고 이런, 내 모든 작업이 같은 응답을 반환을 포함하지 않습니다. 아무도 나에게이 행동의 이유가 무엇인지 말해 줄 수 있습니까? 감사합니다 !!!!

+0

가끔 데이터가 수집되지만 때로는 그렇지 않습니다. 그렇지 않은 경우 다시 시도 할 때 일관성이 있습니까? 아니면 스스로 해결할 수 있습니까? 작업 ID를 사용하면 BigQuery 팀이 문제를 분명히 알릴 수있는 충분한 정보를 포함하지 않는 한 디버그하는 데 도움이됩니다. 그러면 커뮤니티도 도움이됩니다. –

+0

통계에서 gzip 파일이 비어있는 것 같습니다. 데이터를로드하지 않는다는 의미입니까? –

답변

2

작업 성공 : 상태에 "errorResult"필드가 없습니다.

먼저, 나는 실수를 이해한다 : 일 api에서의 오류 및 경고의 반환은 솔직히 진흙처럼 명확하다.

다음은 간략한 개요입니다 : 작업 오류가보고되는 경우

  • status.errorResult이다. errorResult가보고되지 않으면 작업이 성공한 것입니다.
  • status.errors은 개별 오류 및 경고이보고되는 곳입니다.

문서 https://cloud.google.com/bigquery/docs/reference/v2/jobs를 참조하고 status.errorResultstatus.errors을 찾으십시오.

경고가 발생하는 작업은 매우 드물기 때문에 대부분의 사람들이이 문제에 부딪치지 않습니다.

0

좋아, 문제는 아주 간단했다 : gz 파일. 감사합니다.

관련 문제