셀러리 - 대량 큐 작업

Question

내가 예를 위해서, 셀러리 많은 작업 (1000)를 큐에 일부 코드의이이 말할 수 있도록 한 :

for x in xrange(2000): 
    example_task.delay(x) 

가 대기열의 더 나은/더 효율적인 방법이 있나요 한 번에 많은 수의 작업이 필요합니까? 그들은 모두 다른 주장을 가지고 있습니다.

Answer 1

많은 수의 작업을 호출하면 샐러리 작업자가 건강하지 못합니다. 또한 호출 된 작업 결과를 수집하려는 경우 코드가 최적이되지 않습니다.

특정 크기의 일괄 처리로 작업을 분류 할 수 있습니다. 아래 링크에서 언급 한 예를 고려하십시오.

http://docs.celeryproject.org/en/latest/userguide/canvas.html#chunks