공기 흐름 CI 설정 DAG

Question

공기 흐름 DAG를 git repo에 푸시 한 다음 jenkins 작업을 Webhook을 사용하여 실행하려면 공기 흐름을 위해 새 DAG를 선택하려면 어떻게해야합니까?

git repo에서 dagbag를 채울 유틸리티/연산자가 있습니까? 그렇지 않은 경우 다른 사람이 새 DAG를 사용하여 dagbags를 채우는 방법을 공유 할 수 있습니까?

Answer 1

필자의 경우에는 supervisord을 사용하여 기류 스케줄러와 웹 서버를 계속 사용하고 있습니다.

내 Jenkins 작업의 마지막 명령은 모두 Airflow 프로세스를 새로 고치는 supervisord restart airflow_scheduler;supervisord restart airflow_webserver입니다.

공기 흐름은 프로세스의 현재 상태를 데이터베이스에 보관하므로 스케줄러 또는 웹 서버를 재설정하기 때문에 중단되지 않아야합니다.

이것이 최고의 기류 일지 확실하지 않지만 지금까지 저를 위해 일해 왔습니다.