Apache Mesos 워크 플로우 - 이벤트 중심 스케줄러

Question

우리는 현재 Marathon 및 Chronos와 함께 Apache Mesos를 사용하여 장기 실행 및 일괄 처리를 예약합니다.

Oozie와 같이 더 복잡한 워크 플로우를 만들 수 있다면 좋을 것입니다. 예를 들어 파일이 특정 위치에 나타나거나 특정 응용 프로그램이 완료되거나 API를 호출 할 때 작업을 시작한다고 가정 해보십시오.

우리는 Marathon/Chronos 또는 Singularity를 ​​사용하여이 작업을 수행 할 수 있지만이 인터페이스는 쉽게 사용할 수있는 것으로 보이지 않습니다.

Answer 1

Chronos '/scheduler/dependency 끝점을 사용하여 "이 작업을 실행하기 전에 적어도 한 번 이상 실행해야하는 모든 작업"을 지정할 수 있습니다. 각 Chronos 작업에서이 작업을 수행하고 임의로 복잡한 워크 플로 DAG를 작성할 수 있습니다. 시간이나 의존성 트리거를 기반으로

https://airbnb.github.io/chronos/#Adding%20a%20Dependent%20Job

크로노스 현재는 작업을 스케줄합니다. 파일 업데이트, git push 또는 email/tweet와 같은 다른 이벤트는 대상 작업이 의존 할 X 대기 작업으로 모델링 될 수 있습니다.