Google App Engine 대량 다운로드

Question

대량 다운로드를 사용하여 데이터 저장소에서 1GB 이상의 데이터를 다운로드하고있었습니다. 갑자기 내 인터넷이 작동을 멈추고 중간에 다운로드 프로세스가 중단되었습니다. 내가 멈춘 곳에서 다시 시작하고 싶다. 내가하려고하면,이 데이터 문제를 해결하는 방법

appcfg.py download_data --config_file=bulkloader.yaml --batch_size=200 --filename=final80_2.csv 
--kind=TasksTime1 --url=http://abc.appspot.com/_ah/remote_api --rps_limit=40 
--db_filename=bulkloader-progress-20110429.141103 --result_db_filename=bulkloader-results-20110429.141103 

를 다운로드하려면 코드가

File "/Users/FYP/GoogleAppEngineLauncher.app/Contents/Resources/GoogleAppEngine-default.bundle/Contents/Resources/google_appengine/google/appengine/api/datastore_types.py", line 156, in ValidateString 
    (name, value, typename(value))) 
BadArgumentError: kind should be a string; received 3 (a int): 
[INFO ] [WorkerThread-2] Backing off due to errors: 1.0 seconds 
[INFO ] An error occurred. Shutting down... 
[ERROR ] Error in WorkerThread-0: kind should be a string; received 3 (a int): 

다음과 같은 오류를 얻을?

Answer 1

동일한 명령을 다시 실행하기 만하면됩니다. the docs 당 : 전송이 중단되면

, 당신은 그것은 가 --db_filename = ... 인수를 사용하여 중단 된 곳에서 전송을 재개 할 수 있습니다. 값은 도구에 의해 생성 된 진행 파일의 이름입니다. 은 전송을 시작할 때 에 --db_filename 인수를 제공 한 이름이거나 타임 스탬프가 포함 된 기본값 인 입니다. 이 은 sqlite3이 설치되어 있다고 가정하고 이고 --db_filename = skip으로 진행 파일 을 비활성화하지 않았습니다.

첫 실행시에는 db_filename을 지정 했으므로 명령을 다시 실행하면 기존 파일을 찾아서 중단 한 부분을 찾아야합니다.

Error in WorkerThread-0: kind should be a string; received 3 (a int) 

모든 * .sql3과 * .CSV 파일이 오류가 발생 중지 제거 :

Answer 2

저도 같은 문제를 했어. 물론, 예, 재개가 깨졌지만 다시 대량 다운로드 할 수있게하려면 사용을 중지해야합니다.

물론 우리는 일반적으로 이러한 파일을 미리 정리하는 기능으로 bulkloader 명령을 래핑합니다.