추가 작업이 업데이트 될 때 AWS EMR에서 부트 스트랩 작업을 다시 실행하는 방법은 무엇입니까?

Question

EMR 클러스터에 일부 Python 패키지를 설치해야하고 AFAIK, 클러스터를 만들 때 EMR의 부트 스트랩 작업에 일부 pip install blabla... 명령을 기록 할 수 있으며 클러스터에 대한 시스템을 할당 할 때 해당 설치 명령이 실행됩니다.

이제 클러스터가 생성되고 나중에 부트 스트랩 작업에 기록되지 않은 다른 새로운 패키지를 설치해야합니까? 이런 경우에 대한 방법을 찾지 못했습니다. 새 부트 스트랩 작업으로 새 클러스터를 다시 만들어야합니까?

Answer 1

클러스터를 만든 후에 불행히도 EMR은 모든 노드에서 명령을 실행하는 API를 제공하지 않습니다.

EMR에는 STEP API가 있으며 여기서는 단지 마스터 노드에서만 스크립트를 실행할 수 있습니다.

STEP API를 사용하여 모든 노드에서 스크립트를 실행하거나 직접 스크립트를 실행하여 스크립트를 실행할 수 있습니다.

Ansible , pdsh or simply SSH 등과 같은 몇 가지 옵션이 있습니다. YARN -list

을 사용하여 EMR 노드 목록과 해당 호스트 이름을 찾을 수 있습니다.