Google 드라이브 나머지 API - 파일 만들기 - 할당량

Question

Google 드라이브에 약 50 만 개의 파일을 다른 폴더에 복사해야하는 프로그램이 있습니다. 나는 Google 드라이브 v3 nodejs api를 사용합니다. 나는 초당 약 2 개의 업로드 (450ms마다)를 발행한다. 잠시 후 ECONNRESET을 받거나 API에서 소켓이 끊어집니다.

console.cloud.google.com에서 할당량을 볼 때. 나는 내 쿼터 근처에 없다. 왜 실패 하는가?

킥의 경우 Google 파일 스트림을 시도했지만 사용자 계정의 드라이브에 문제가 없습니다. 약 5 배 빠릅니다.

누구에게이 문제가 발생 했습니까?

Answer 1

할당량 자체가 문제가 아닌 것 같습니다. 이것은 짧은 시간 내에 많은 양의 데이터를 쓸 때 발생합니다. 속도를 늦추고 여러 사용자 계정에서 요청을 분할 해보십시오. 이것은 수행중인 많은 요청이 무거워 지도록 도와줍니다. 또한 4xx 오류 재 시도를 위해 exponential backoff을 구현하는 것을 잊지 마십시오. 내 두 센트.

Answer 2

이는 스트림 전달을 호출 할 때 발생합니다. developers.google.com에는 경고가 없지만 github repository에 경고가 표시됩니다.

media.body를 읽기 가능 스트림으로 지정하여 미디어를 업로드 할 수도 있습니다. 이렇게하면 메모리에 저장할 수없는 매우 큰 파일을 업로드 할 수 있습니다.

참고 : 읽을 수있는 스트림이 불안정 할 수 있습니다. 자신의 책임하에 사용하십시오.

일단 스트림을 사용하지 않도록 변경하면 상태 코드 403과 같은 적절한 오류 메시지가 나타나 속도 제한을 초과합니다.

나는 곧바로 버퍼를 사용하도록 코드를 변경했습니다. 호출 전에 fs.readFileSync를 통해 버퍼를 읽습니다.

media: { 
    mimeType: 'text/plain', 
    body: buf 
}