aws Glue 스크립트에서 저장 프로 시저 호출

Question

ETL 작업이 완료된 후 AWS Glue 스크립트에서 저장 프로 시저를 호출하는 가장 좋은 방법은 무엇입니까?

나는 S3에서 데이터를 가져 와서 스테이징 테이블에 저장하기 위해 PySpark를 사용하고 있습니다. 이 프로세스가 끝나면 저장 프로 시저를 호출해야합니다. 이 저장 프로시 저는 스테이징 테이블의 데이터를 적절한 MDS 테이블로로드합니다.

ETL 작업이 완료된 후 저장 프로 시저를 호출해야하는 경우 가장 좋은 방법은 무엇입니까? AWS 람다를 고려해 보면 람다가 ETL 이후에 통보받을 수있는 방법이 있습니까?

Answer 1

boto sdk를 사용하여 접착제 ETL 작업이 끝날 때 람다를 발사 할 수 있습니다. 스테이징 테이블에 쓰고 있으므로 boto 호출이 작동하려면 연결 서브넷에 NAT 게이트웨이가 있어야합니다. 이 링크의 예제는 boto를 사용하여 유사한 프로세스 인 ECS 작업을 실행합니다 : https://github.com/full360/glue-sneaql-demo/blob/master/Glue-Job-Script.