0

AWS 데이터 파이프 라인을 사용하여 데이터 처리 프로세스를 자동화하고 싶습니다. 처리 과정에서 주로 CSV 파일을 S3 버킷으로 복사하고 100 개 이상의 서로 다른 테이블에 대해 하이브 쿼리를 실행합니다.AWS 데이터 파이프 라인을 사용하여 여러 하이브 활동을 병렬로 실행하는 방법은 무엇입니까?

우리는 모든 100 개의 테이블을 처리 할 수있는 하나의 파이프 라인을 만들고 싶습니다.

여러 하이브 활동과 S3 복사 작업을 동시에 실행할 수 있는지 알고 싶습니다. 파이프 라인 활동이 연속적으로 또는 병렬로 실행되는 경우 AWS 문서에서이 정보를 찾을 수 없습니다.

답변

관련 문제