Django + SQLite3를 사용한 메모리 사용

Question

저는 약 15 개의 열 (주로 수레)이있는 500,000 개 이상의 행이있는 매우 큰 SQLite 테이블을 가지고 있습니다. SQLite DB에서 Django 응용 프로그램으로 데이터를 전송하고 싶습니다. (많은 RDBM에서 지원할 수 있지만 Postgres에서는 가능합니다.) 모든 것이 정상적으로 작동하지만 반복이 계속되면 메모리 사용량이 파이썬 프로세스에 대해 초당 2 ~ 3 메가 씩 증가합니다. 나는 'del'을 사용하여 각 반복 끝에 EVEMapDenormalize 및 행 개체를 삭제하려고 시도했지만 부풀기가 계속됩니다. 발췌입니다, 어떤 아이디어?

class Importer_mapDenormalize(SQLImporter): 
def run_importer(self, conn): 
    c = conn.cursor() 

    for row in c.execute('select * from mapDenormalize'): 
     mapdenorm, created = EVEMapDenormalize.objects.get_or_create(id=row['itemID']) 
     mapdenorm.x = row['x'] 
     mapdenorm.y = row['y'] 
     mapdenorm.z = row['z'] 

     if row['typeID']: 
      mapdenorm.type = EVEInventoryType.objects.get(id=row['typeID']) 

     if row['groupID']: 
      mapdenorm.group = EVEInventoryGroup.objects.get(id=row['groupID']) 

     if row['solarSystemID']: 
      mapdenorm.solar_system = EVESolarSystem.objects.get(id=row['solarSystemID']) 

     if row['constellationID']: 
      mapdenorm.constellation = EVEConstellation.objects.get(id=row['constellationID']) 

     if row['regionID']: 
      mapdenorm.region = EVERegion.objects.get(id=row['regionID']) 

     mapdenorm.save() 
    c.close() 

이 SQLite DB를 Django ORM으로 감싸는 데 관심이 없습니다. 난 정말 내 RAM을 모두 빠지게하지 않고 데이터를 전송하는 방법을 알아 내려고하고 싶습니다.

Answer 1

어리석은 일, 이것은 Django FAQ에서 처리되었습니다.

DEBUG 모드에서 DB 쿼리 캐시를 지우는 데 필요합니다.

from django import db 
db.reset_queries() 

Answer 2

나는 select * from mapDenormalize라고 생각하고 결과를 메모리에로드하는 것은 항상 나쁜 생각입니다. 내 조언은 - 청크로 스크립트를 퍼뜨리는 것입니다. 부분적으로 데이터를 얻으려면 LIMIT을 사용하십시오.

첫 번째 부분을 가져 와서 커서를 닫은 다음 다음 부분을 가져옵니다.