가 주기적으로 objectify의 항목을 삭제합니다.

Question

Objectify와 함께 Google App Engine을 사용 중이며 5 분마다 db의 항목을 삭제하고 싶습니다. 이것을 달성하는 가장 좋은 방법은 무엇입니까? Google App Engine의 ThreadManager 또는 cron 작업을 사용해야합니까? 아니면 다른 방법이 있습니까?

Answer 1

Cron 여기에 맞는 요구 사항이 있지만 삭제해야하는 항목의 크기가 걱정됩니다. (의견에 따라 5 분마다 수십만 개까지). 많은 엔티티를 삭제하는 데는 5 분 이상의 시간이 소요될 수 있으며 프론트 엔드 cron 핸들러의 마감 시간 인 10 분 이상이 될 수도 있습니다.

백엔드가 마감 기한없이 실행될 수 있으므로 가능한 해결책은 backend instance에서 삭제하는 것입니다. Cron은 삭제 될 엔티티를 쿼리하고, 키 전용 쿼리를 사용하여 키를 가져온 다음 background threads의 엔티티를 삭제하는 프로세스를 시작하는 데 사용될 수 있습니다.

프로세스가 무기한 실행될 수 있으므로 삭제가 완료되었다고 스레드가보고 한 후에 즉시 다시 쿼리하고 다음 엔티티 집합을 삭제할 수 있습니다. 백엔드에서 전역 인 메모리 잠금을 사용하여 후속 cron 요청이 별도의 프로세스를 시작하지 않도록 할 수 있지만 프로세스가 이미 실행되었음을 감지하면 자동 종료됩니다. 그래서 여기서 cron은 삭제 과정에서 keep-alive 신호로만 사용됩니다.

부수적으로이 엔티티를이 스케일에서 자주 쿼리하고 삭제하면 데이터 저장소 운영 비용이 엄청나게 비쌉니다. 당신이 원하는 것처럼

Answer 2

는에, 5 분마다 소리 :

• 엔티티의 수천
• 집계 수백
• 수백 개체의 수천을 삭제 수백 개체의 수천을 쓰기

map/reduce를 사용하여이 작업을 수행 할 수 있습니다. 그러나 비용이 많이 들고 (하루에 수백 달러가 소요될 것입니다.) 특히 작업 큐가 백업 될 때 타이밍 문제가 발생할 것입니다.

이 데이터를 GAE 외부에 저장하는 것이 좋습니다. Google Compute Engine 계정을 만들고 여기에 mongodb 또는 redis 인스턴스를 설정하십시오. 또는 AWS에서 호스팅 할 수도 있습니다. GAE는 이러한 종류의 작업 부하에 적합하지 않지만 "전부 또는 아님"이 아닙니다. 클라우드의 다른 부분에서 서비스로 쉽게 작업 할 수 있습니다.