셀러 리의 모든 작업에 대한 프로세스 포크

Question

현재 파이썬 용 C 확장 라이브러리를 사용하고 있지만 메모리 누수가있는 것으로 보입니다. 내 celeryd에서 실행되는 작업은이 C 확장 라이브러리를 사용하여 작업을 수행하며 celeryd은 약 1 시간 후에 많은 메모리를 사용합니다. 여러 가지 이유로이 C 확장 라이브러리를 패치 할 수는 없지만 Celery의 모든 태스크에 대해 프로세스를 포크하고자합니다. 셀러리에 대한 그런 옵션이 있습니까?

Answer 1

CELERYD_MAX_TASKS_PER_CHILD 옵션 또는 --maxtasksperchild celeryd 스위치를 사용할 수 있습니다.

는 모든 작업 후 작업자 프로세스를 다시 시작하려면 모든 새 작업 분기의 잠재적 인 단점은 무엇

CELERYD_MAX_TASKS_PER_CHILD=1

https://celery.readthedocs.org/en/latest/userguide/workers.html#max-tasks-per-child-setting