Google 데이터 흐름을위한 워크 플로우 오케스트레이션

Question

Google 데이터 흐름을 사용하여 배치 데이터를 처리하고 Azkaban이 Hadoop을 위해 수행하는 것과 유사한 워크 플로 통합 도구에 대한 옵션을 찾고 있습니다. 우리가 찾고있는

키 가지 것들,

• 구성 워크 플로우
• 예약 워크 플로우
• 모니터링 및 경고 실패 워크 플로우 실패한 작업

을 다시 실행

능력 우리 Pentaho를 평가했지만, 이러한 기능은 expensiv 인 엔터프라이즈 판에서 사용할 수 있습니다. 이자형. javaprocess 작업 유형을 지원하므로 현재 Azkaban을 평가 중입니다. 그러나 Azkaban은 주로 Hadoop 작업을 위해 만들어 졌으므로 Hadoop 인프라와의 심층적 인 통합을 수행 한 다음 일반 javaprocesses를 사용합니다.

opensource 또는 매우 저렴한 솔루션에 대한 몇 가지 제안을 감사하십시오.

Answer 1

필요에 따라 Apache Airflow (https://github.com/apache/incubator-airflow)가 필요하며 이제는 데이터 흐름 연산자 (https://github.com/apache/incubator-airflow/blob/master/airflow/contrib/operators/dataflow_operator.py)가있는 것 같습니다.