"예기치 않은"오류로 데이터로드 작업이 실패 함

오류 : 예기치 않은 오류입니다. 다시 시도하십시오."예기치 않은"오류로 데이터로드 작업이 실패 함

작업 ID : aaaaaaaaa.com:bbbbbbbbb:job_F1GjqdmJj3JZWDToxh_xav9hwsg

시작 시간 : 11:10 오전 2014년 4월 14일

종료 시간 : 오후 1시 10분, 2014년 4월 14일

대상 테이블 : aaaaaaaaaaa .COM : bbbbbbbbb : monte.ledger2

이 실패 왜 생각 - 일부는 일부는하지 않습니다, 성공 ...

이

가져 오기 작업이 타입니다 왕은 너무 오래 처리 할 수 없으므로 살해 당하고 있습니다. Google은이 문제를 내부 오류로보고하고 대신 사용자에게 친숙한 오류를보고하도록 수정해야합니다.

타임 아웃 (현재 작업자 당 2 시간)도 고려할 것입니다.

데이터를 더 작은 파일로 분할하거나 압축되지 않은 입력 파일을 사용하여 문제를 해결하십시오. 후자는 놀랄 것 같지만 압축되지 않은 파일은 청크로 분할되고 병렬로 처리 될 수 있지만 gzipped 파일은 처리 할 수 없습니다.

2014-04-14 22:40:33

감사합니다. 100 개가 아닌 10 개의 파일을 처리하는 것을 보았습니다. 그러나 상황을 개선하기 위해 시간 제한을 보았습니다. 개별 파일이 병렬 또는 순차적으로 처리됩니까? 나는 4GB .json.gz를 업로드하고있다. –

파일은 병렬로 처리됩니다. 문제는 파일의 개수가 아니라 크기입니다. 압축 JSON은 큰 요인으로 확장 될 수 있으며 한 명의 작업자가 2 시간 안에 4GB 파일을 처리하는 데 문제가 있습니다. –

좋아요, 고마워요. 제가 파일을 작은 조각으로 나누기 시작할 것입니다. –

답변