장고 샐러리 작업 수 제한 문제

Question

셀프 작업자가 동일한 작업을 여러 번 병렬로 실행하는 데 문제가 있습니다.

나는 3 명의 작업자를두고 모든 작업자에 대해 --concurrency를 2로 설정했습니다.

하지만 3 명의 작업자 모두에게 3 개의 작업 만 실행합니다.

저는 약 10 명의 근로자를 추궁하고 싶습니다.

celery -A my_app worker -l info -c 2 -n worker1 
celery -A my_app worker -l info -c 2 -n worker2 
celery -A my_app worker -l info -c 2 -n worker3 

한 번에 3 개 이상의 작업을 실행할 수 있는지 여부를 알려주십시오.

Answer 1

최대 작업 수 당 인수를 사용하여 해결했습니다.

내 해결책은 다음과 같습니다.

celery -A my_app worker -l info -c 10 --max-tasks-per-child 10 -n worker1 

실행 후 동시에 10 개의 동일한 작업을 병렬로 실행할 수 있습니다.

희망이 있으면 도움이됩니다.