django 쿼리 세트를 천천히 반복하십시오.

Question

어디서나 500-1000 개 오브젝트가 포함 된 장고 쿼리 세트를 반복합니다. 해당 모델/테이블에도 7 개의 필드가 있습니다. 문제는 응용 프로그램에서 수행해야하는 다른 모든 데이터 처리를 고려할 때 너무 길게 반복되는 데 약 3 초가 걸리는 것입니다. 편집

: 여기 내 모델 :

class Node(models.Model): 
     node_id = models.CharField(null=True, blank=True, max_length=30) 
     jobs = models.TextField(null=True, blank=True) 
     available_mem = models.CharField(null=True, blank=True, max_length=30) 
     assigned_mem = models.CharField(null=True, blank=True ,max_length=30) 
     available_ncpus = models.PositiveIntegerField(null=True, blank=True) 
     assigned_ncpus = models.PositiveIntegerField(null=True, blank=True) 
     cluster = models.CharField(null=True, blank=True, max_length=30) 
     datetime = models.DateTimeField(auto_now_add=False) 

이 매우 빠르게 내 초기 쿼리입니다 :

timestamp = models.Node.objects.order_by('-pk').filter(cluster=cluster)[0] 
    self.nodes = models.Node.objects.filter(datetime=timestamp.datetime) 

그러나, 나는 반복 가서 3 초 정도 걸립니다,

def jobs_by_node(self): 
    """returns a dictionary containing keys that 
     are strings of node ids and values that 
     are lists of the jobs running on that node.""" 
    jobs_by_node = {} 

    #iterate over nodes and populate jobs_by_node dictionary 
    tstart = time.time() 
    for node in self.nodes: 
     pass #I have omitted the code because the slowdown is simply iteration 
    tend = time.time() 
    tfinal = tend-tstart 
    return jobs_by_node 

다른 방법 :

012 아래와 같이 나는 두 가지 방법을 시도했습니다

all_nodes = self.nodes.values('node_id') 
    tstart = time.time() 
    for node in all_nodes: 
     pass 
    tend = time.time() 
    tfinal = tend-tstart 

this 게시물을 참조하여 두 번째 방법을 시도했지만, 여전히 내 반복이 한 비트 빨라지지 않았습니다. 나는 웹을 아무 쓸데없이 닦았다. 이 프로세스를 최적화하는 데 큰 도움이 될 것입니다. 고맙습니다.

참고 : 나는 장고 버전 1.5을 사용하고 파이썬 2.7.3

Answer 1

확인 발급 된 SQL 쿼리하고있다. 당신은 print 문을 사용할 수 있습니다 :

SELECT id, jobs, ... FROM app_node 

그런 EXPLAIN SELECT id, jobs, ... FROM app_node를 실행하고 정확히 무엇이 잘못되었는지 알 : 당신에게 뭔가를 제공해야

print self.nodes.query # in general: print queryset.query 

.

---

당신이 예에 대해 생각할 수있는, 당신은 문제가 EXPLAIN 실행 한 후 무엇인지 알고 있다고 가정하고, 인덱스를 추가하는 등의 간단한 솔루션은 충분하지 않습니다 Cron 작업 또는 Celery 작업에서 X 분마다 관련 테이블을 별도의 테이블로 가져 와서 응용 프로그램에서 해당 테이블을 사용합니다.

PostgreSQL을 사용하는 경우 materialized views을 사용하고 unmanaged Django model에 "포장"할 수도 있습니다.