2
App Engine 데이터 스토어로 가져 오려는 XML 데이터 (약 200MB)가 상당히 많습니다.많은 양의 XML 데이터를 Google App Engine으로 가져 오기
지금까지 모델을 생성하고 cElementTree 파서를 사용하여 엔티티를로드하려고 시도했지만 오랜 시간이 걸립니다.
또한 데이터 저장소가이 많은 데이터를 얼마나 잘 처리하는지, 그리고 더 좋은 방법이 있는지에 대해서도 염려합니다.
내 질문에 XML을 App Engine으로 파싱하는 가장 빠른 방법은 무엇이며, 수십만 개의 엔티티/레코드 저장을 처리하는 더 나은 백엔드가 있습니다.
App Engine의 데이터 저장소는 많은 양의 데이터를 확실히 처리 할 수 있습니다. 불필요한 인덱스는 쓰기 속도를 늦추고 스토리지 요구 사항을 부 풀리기 때문에 데이터 색인에 필요한 사항을 고려해야합니다. 로컬 호스트의 데이터 저장소 (dev_appserver) 또는 원격 데이터 저장소에 편지를 쓰고 있습니까? sqllite 옵션을 사용하지 않으면 로컬 데이터 저장소가 매우 느릴 수 있기 때문입니다. – Calvin
알아두면 좋을 것 같습니다. 현재 로컬 dev 서버를 사용하고 있으므로 왜 그렇게 느린지 보겠습니다. –