Azure Process Orchestration

Question

오케스트레이션을 처리하는 것과 관련하여 모범 사례에 대한 조언을 찾고 있습니다. 일부 컨텍스트를 제공하기 위해 나는 다음과 같은 작업을 조율해야한다 : 푸른 일괄 풀

1. 스케일 업
2. 이 작업의 목록을 검색 할 수있는 서버를 호출하는 사용자 정의 닷넷 코드를 실행 적절한 노드를 제공합니다. 이러한 작업은 매일 변화합니다. 이러한 작업을 배치 풀로 대기열에 넣습니다.
3. 배치 풀에서 각 태스크 (사용자 정의 .Net 코드)를 실행하십시오. 각 작업은 Azure 저장소 계정 내에 데이터를 생성합니다.
4. 더 이상 필요하지 않으므로 배치 풀을 축소합니다.
5. 데이터웨어 하우스 시작/확장
6. 대량 데이터를 데이터웨어 하우스로 가져옵니다 (PolyBase와 BCP의 조합을 사용하는 것으로 가정).
7. 데이터를 집계하고 Azure 저장소 계정에 출력을 생성하십시오.
8. 일시 정지/I 현재 위를 수행 할 규범집에 데이터웨어 하우스를 비교하고있어 데이터웨어 하우스

을 확장 할 수 있습니다.

Runbooks는 디자인 및 런타임 중에 시각적으로 매우 원시적이라는 것을 알게되었습니다.

데이터웨어 하우스가 시각적으로 훨씬 더 효과적이라는 것을 알았습니다. 그러나 데이터 슬라이싱은 엄청난 과잉으로 보인다. 나는 매일 아침 8시에이 프로세스를 실행하기 만하면된다. 예를 들어 템플리트를 수정하는 경우 며칠 동안 그것을 실행하지 않으려 고합니다. 데이터웨어 하우스가 활동의 파이프 라인을 따라 더 잘 실패/재개를 처리 할 것으로 기대합니다.

여기에서/권장 사항을 고려해야하는 다른 방법이 있습니까? 이 목록에 필요한 확실히 대부분의 작업을 수행 할 수 있습니다 그래서 넓은 틱 대답을 제공합니다 상당히 광범위한 질문

감사 데이비드

Answer 1

...

푸른 데이터 공장 (ADF) 위의 몇 가지 예외/비틀기를 제외하고 위와 같습니다.

배치 컴퓨팅 풀 확장. 자동 스케일 기능을 사용하고이를 처리하기위한 명령을 전달하면 서비스에서 로컬로 처리해야합니다. 직접 설정하는 ADF 활동이 없습니다.

포인트 3과 4에서 언급 한 사용자 정의 .Net 코드. 실행을 위해 배치 서비스로 전달되는 ADF 사용자 정의 활동으로 작성할 수 있습니다. 따라서 ADF가 일괄 작업을 생성하고 ADF가 실행하는 다른 작업을 수행하는 대신 이러한 DLL의 처리를 허용하십시오. ADF는이 모든 것을 처리 할 것입니다.

여기에 사용자 지정 작업을 만드는 방법에 대한

더 많은 정보 : 데이터웨어 하우스 ADF를 들어 https://www.purplefrogsystems.com/paul/2016/11/creating-azure-data-factory-custom-activities/

를 들어, 쿼리를 실행하고 저장 프로 시저의 매개 변수의 통과 등

마지막을 허용하는 박스 기능에서이있다 DW 스케일링과 일시 정지 나는 Azure Automation을 여기 사용할 필요가 있다고 생각한다. ADF에서 .Net을 다시 깨기 전까지는 그 수준의 제어 기능을 제공 할 수있는 기능을 인식하지 못합니다.

희망 사항을 통해 진행 방법을 안내 할 수 있습니다.