자동화 된 Spark 작업 제출 시스템/프로그램을 만들고 싶습니다. 물론 시스템은 Spark 작업을 제출하기 전에 HDInsight를 먼저 프로비저닝해야합니다. 또한 시스템이 일정 기준에 따라 불꽃 작업을 제출합니다 (예 : 7PM 제출 작업 1, 9PM 제출 작업 2)Schedule에서 HDInsight Spark 프로비저닝 및 제출 작업을 자동화 하시겠습니까?
이를 달성하는 가장 좋은 방법은 무엇입니까? 내가 파워 쉘
푸른 데이터 공장이 당신의 필요에 맞는 것처럼 소리와 함께 불꽃의 작업을 제출할 수 있습니다 무엇
c.f). 자신의 웹 사이트에서 :
"데이터 팩토리를 사용하면 Azure HDInsight 및 Azure Data Lake Analytics와 같은 컴퓨팅 서비스를 사용하여 온 - 프레미스 및 클라우드 데이터 저장소와 데이터를 처리/변환하는 데이터 기반 워크 플로를 만들 수 있습니다. 필요한 작업을 수행하는 파이프 라인을 만든 후에는 정기적으로 (매시간, 매일, 매주 등) 실행되도록 예약 할 수 있습니다. "
자료 : 당신이 일정에 따라 자동으로 스파크 작업을 실행하려면 같은 https://docs.microsoft.com/en-us/azure/data-factory/data-factory-faq
소리가 난다. 따라서 Oozie 사용은 현재 시나리오에 매우 적합하다고 생각합니다. Azure 공식 튜토리얼 Windows 또는 Linux을 참조하여 Oozie에 대한 개념을 파악하십시오. 한편, 튜토리얼 Use time-based Oozie coordinator with Hadoop in HDInsight to define workflows and coordinate jobs은 시간 트리거를 통해이를 수행하는 방법을 소개합니다. 참고로 hortonworks 스레드는 HDP에서 Oozie Workflow (Azure HDInsight는 HDP를 기반으로 함)에서 Spark 작업을 실행하는 데 필요한 세부 단계를 보여줍니다.
희망이 있습니다.
정말 도움이됩니다. 나는 Oozie가 spark job scheduling에 좋다고 생각하지만 HDInsight를 먼저 만들어야합니다. 그렇다면 HDInsight Spark 클러스터 일정 기반을 만드는 가장 좋은 방법은 무엇입니까? – ShootingStar
.Net SDK 또는 Powershell을 사용하여 HDInsight 인스턴스의 프로비저닝을 자동화 할 수 있습니다.
here이 푸른 데이터 공장 내 필요에 맞게처럼 보인다 설명한 바와 같이
나는 스파크 작업을 제출 리비 (Livy)를 사용합니다. 나는 DF와 놀고 대답을 표시 할 것입니다. – ShootingStar