의존성이있는 작업을위한 파이썬 멀티 스레딩/프로세싱 모듈

Question

잠재적으로 서로 종속적 인 처리 작업을 동시에 처리 할 수있는 스레드 (또는 프로세스) 풀을 제공하는 Python 모듈을 구현하는 중입니다. 예를 들어 주문 관리 시스템의 경우 주문을하고 다른 주문을하고 2 번째 주문을 취소하고 3 번째 주문을 한 다음 첫 번째 주문을 취소 할 수 있습니다. 모든 주문의 게재 위치는 동시에 처리 할 수 ​​있으며, 그러나 취소는 각 주문과 동시에 발생할 수 없으며 주문 배치가 완료된 후에 이루어져야합니다. 이런 문제에 대한 좋은 범용 솔루션을 생각해 내 첫 오픈 소스로 사용하고 싶었습니다.

너무 많은 시간을 소비하기 전에이 같은 것이 있는지 이미 알고 싶었습니다. 누구든지이 작업을 수행하는 기존 Python 패키지를 알고 있습니까? 이것은 누구에게나 유용할까요?

Answer 1

예, dask을 살펴보십시오. 스레드와 프로세스를 각각 TaskPool 및 Pool까지 재사용하는 멀티 스레딩, 멀티 프로세싱 및 분산 컴퓨팅을위한 다른 스케줄러가 있습니다. 임의의 작업 종속성 (직접 비순환 그래프 - DAG)을 구축 할 수 있습니다. 하지만 취소 지원에 대해서는 잘 모르겠지만 직접 작업에 구현할 수는 있습니다.