데이터 저장소에 대한 요청 수를 줄이는 방법

Question

아래의 200 개의 Documents and 1 DocUser를 실행하면 스크립트는 AppStats에 따라 약 5000ms가 소요됩니다. 마지막으로 6-51ms 걸리는 lastEditedBy (datastore_v3.Get)의 잠금이 발생할 때마다 데이터 저장소에 요청이 있음을 알 수 있습니다.

내가 뭘 하려는지는 다른 엔티티에서 파생 된 여러 속성을 가진 많은 엔티티를 표시하는 것을 가능하게 만드는 것입니다. 많은 엔티티 (<000)가있을 수 없으며 관리자 인터페이스 이상의 것이므로 동시 사용자가 절대 없을 것입니다.

DocUser 엔티티를 캐싱하여 최적화하려고 시도했지만 데이터 저장소에 새로운 요청을하지 않고 위 쿼리에서 DocUser 키를 가져올 수 없습니다.

1) 이것이 의미있는가요? 내가 겪고있는 대기 시간이 정상입니까?

2) 데이터 저장소에 대한 추가 요청없이이 작업을 수행 할 수있는 방법이 있습니까?

models.py

class Document(db.Expando): 
    title = db.StringProperty() 
    lastEditedBy = db.ReferenceProperty(DocUser, collection_name = 'documentLastEditedBy') 
... 

class DocUser(db.Model): 
    user = db.UserProperty() 
    name = db.StringProperty() 
    hasWriteAccess= db.BooleanProperty(default = False) 
    isAdmin = db.BooleanProperty(default = False) 
    accessGroups = db.ListProperty(db.Key) 
... 

main.py

$out = '<table>' 
documents = Document.all() 
for i,d in enumerate(documents):   
    out += '<tr><td>%s</td><td>%s</td></tr>' % (d.title, d.lastEditedBy.name) 
$out = '</table>' 

Answer 1

키를 docuser.key()로, 값을 docuser.name으로 사용하여 모든 사전 작성자를 사전 검색하여 조회 사전을 작성하십시오.

docusers = Docuser.all().fetch(1000) 
    docuser_dict = dict([(i.key(), i.name) for i in docusers]) 

그런 다음 코드에서, 당신은 데이터 저장소에서 개체를 끌어없이()을 docuser.key를 얻을 수 get_value_for_datastore를 사용하여 docuser_dict에서 이름을 얻을 수 있습니다.

documents = Document.all().fetch(1000) 
    for i,d in enumerate(documents): 
     docuser_key = Document.lastEditedBy.get_value_for_datastore(d) 
     last_editedby_name = docuser_dict.get(docuser_key) 
     out += '<tr><td>%s</td><td>%s</td></tr>' % (d.title, last_editedby_name) 

Answer 2

이것은 일반적인 안티 패턴이다. 이 문제를 해결하려면 다음을 수행하십시오.

• 모든 참조를 미리 가져 오기. 자세한 내용은 Nick's blog entry을 참조하십시오.
• ndb를 사용하십시오. 이 모듈에는 ReferenceProperty가 없습니다. 그것은 2 automatic caching layers, asynchronous mechanism called tasklets, 등등과 같은 다양 한 케이크가 있습니다. 자세한 내용은 see the ndb documentation.

Answer 3

는 인스턴스 시간을 절감하려는 경우, 당신은 당신이 다른 일을하면서 결과를 프리 페치 할 수있는 여러 비동기 쿼리에 하나의 동기 쿼리를 중단 할 수 있습니다. Document.all(). fetch()를 사용하는 대신 Document.all(). run()을 사용하십시오. 반복하는 첫 번째 쿼리를 차단해야 할 수 있지만 완료 될 때까지 다른 모든 쿼리의 결과로드가 완료됩니다. 200 개의 엔티티를 가져 오려면 한 번에 5 개의 쿼리를 사용해보십시오.

q1 = Document.all().run(prefetch_size=20, batch_size=20, limit=20, offset=0) 
q2 = Document.all().run(prefetch_size=45, batch_size=45, limit=45, offset=20) 
q3 = Document.all().run(prefetch_size=45, batch_size=45, limit=45, offset=65) 
q4 = Document.all().run(prefetch_size=45, batch_size=45, limit=45, offset=110) 
q5 = Document.all().run(prefetch_size=45, batch_size=45, limit=45, offset=155) 
for i,d in enumerate(q1):   
    out += '<tr><td>%s</td><td>%s</td></tr>' % (d.title, d.lastEditedBy.name) 
for i,d in enumerate(q2):   
    out += '<tr><td>%s</td><td>%s</td></tr>' % (d.title, d.lastEditedBy.name) 
for i,d in enumerate(q3):   
    out += '<tr><td>%s</td><td>%s</td></tr>' % (d.title, d.lastEditedBy.name) 
for i,d in enumerate(q4):   
    out += '<tr><td>%s</td><td>%s</td></tr>' % (d.title, d.lastEditedBy.name) 
for i,d in enumerate(q5):   
    out += '<tr><td>%s</td><td>%s</td></tr>' % (d.title, d.lastEditedBy.name) 

나는 내 crummy python을 사과합니다. 그러나 아이디어는 간단합니다. prefetch_size = batch_size = limit를 설정하고 모든 쿼리를 한 번에 시작하십시오. q1은 먼저 블록을 차단하기 때문에 크기가 작으므로 블로킹은 시간 낭비입니다. q1이 완료 될 때까지는 q2가 완료되거나 거의 완료되며, q3-5에서는 지연 시간이 0이됩니다.

자세한 내용은 https://developers.google.com/appengine/docs/python/datastore/async#Async_Queries을 참조하십시오.