AWS에서 데이터베이스 자격 증명 관리 EMR 스팟 문제

Question

정기적으로 다양한 작업을 수행하기 위해 EMR 클러스터를 스핀 업/셧다운합니다. 이러한 작업에는 원격 데이터베이스에 연결하고 데이터를 읽거나 쓰는 작업이 포함됩니다. 이러한 데이터베이스 (주소, 사용자 이름, PW 등)에 연결하려면 다양한 연결 매개 변수가 필요합니다.

자동화 된 작업에서 부트 스트래핑하는 동안 EMR 클러스터에 이러한 데이터베이스 자격 증명을 얻는 안전한 방법을 찾고 있습니다. 다른 모든 AWS 서비스에 액세스 할 수 있습니다.

Answer 1

emr 클러스터를 시작할 때 Bootstap Actions 섹션에서 각 노드에서 실행할 사용자 정의 스크립트를 추가 할 수 있습니다. S3 버켓의 구성 파일을 인스턴스로 복사하고 코드를 사용하여 conf 파일을 읽거나 bash 스크립트를 실행하여 환경 변수로 구성을 전파 할 수 있습니다.