2010-05-31 2 views
1

GAE 애플리케이션이 있습니다. 새로운 기능은 일부 기능을 위해 많은 항목을 저장하는 거대한 데이터베이스를 갖는 것입니다.데이터베이스에 GAE 업로드 - 또는 - GAE에서 큰 사전을 만드는 방법?

데이터베이스는 매주마다 채워 져야합니다. 그리고 채우는 작업은 전체적으로 1-2 시간 정도 걸리는 많은 외부 링크를 쿼리하여 수행됩니다. 그래서 GAE Cron을 통해이 작업을 수행하는 것은 현재 의문입니다.

내가 생각한 또 다른 옵션은 외부 서버에서 생성 한 다음 GAE DB에 업로드하는 것입니다. 외부에서 생성 된 데이터를 바로 GAE DB에 업로드 할 수 있습니까? 문제는 10M에 가까운 항목이 있기 때문에 DB에 항목을 개별적으로 추가하는 것이 30 초 제한으로 인해 작동하지 않는다는 것입니다.

감사

K

답변

2

당신의 작업에 대한 bulk loader를 사용하는 것도 가능하다. 또는 단순히 새 데이터를 채우는 외부 cron 스크립트에서 직접 대화를 작성하십시오.

2

task queues을 사용하여 외부 사이트를 폴링하고 데이터를로드 할 수 있습니다.

관련 문제