2017-12-21 6 views
2

저는 작업 스케줄러에 익숙하지 않고 큰 데이터 클러스터에서 작업을 실행하기 위해 하나를 찾고있었습니다. 나는 선택 가능한 것들과 꽤 혼동을 느꼈다. Oozie는 TWS, Autosys 등과 같은 기존의 것보다 많은 제한이 있음을 발견했습니다.어느 것이 Apache Oozie 또는 Apache Airflow를 선택합니까? 비교가 필요합니다

공기 흐름과 장단점에 대한 비교가 필요합니다.

감사합니다.

답변

3

제 경험상 에어 플로우는 현재 현재 최고의 데이터 파이프 라인입니다. 복잡하고 장기간에 걸친 워크 플로우를 관리하는 데 가장 적합합니다. UI 및 modality가 최상위에 있습니다.

  • +는 모든 주요 서비스/클라우드 제공 업체를위한 커넥터
  • + 더 다양한
  • + 고급 통계
  • + 더 나은 UI 등을 가지고 DAG에 대한

    공기 흐름

    • + 파이썬 코드 API
    • + 매우 복잡한 워크 플로를 만들 수 있습니다.
    • + 신사 템플릿 생성
    • = HDFS, HIVE, 돼지 등을
    • = 기본 연결 ..
    • = 그래프로 DAG

    Oozie

    • 를 병렬 수 있습니다 --- DAG 용 Java 또는 XML
    • - 복잡한 파이프 라인을 만들기가 어렵습니다.
    • - 작고, 덜 활발한 커뮤니티
    • - 더 웹 GUI
    • - 자바 API
    • =
    • = 그래프로 .. HDFS, HIVE, 돼지 등을
    • = 기본 연결을 병렬 수 있습니다 DAG

    에어 플로우는 Ozie보다 더 다양하고 강력한 옵션 인 (특히 대규모 heteregenoeus 팀에서) 사용하기 쉽습니다.

    다음과 같이 말합니다. 기류로 이동하십시오.

    Article you may find interesting

  • 관련 문제