전적으로 Amazon Elastic MapReduce를 처음 사용합니다. Hadoop 용량 스케줄러를 기반으로 구현 된 사용자 정의 스케줄러를 사용하여 Amazon Elastic MapReduce에서 작업을 예약해야 할 필요가 있습니다.Amazon Elastic MapReduce의 용량 스케줄러
이것을 달성하기 위해 작업 흐름에서 단 하나의 단계 만 정의하고 SSH 연결을 통해 사용자 정의 jar 파일을 마스터 노드에 제출할 수 있습니다. 그러나 master 노드의 capacity-scheduler.xml과 같은 xml 구성 파일을 편집 할 수있는 방법을 찾을 수 없습니다. 누구든지 그렇게하는 법을 알고 있습니까?
또한 동적 크기 조정 속성을 추가하려면 작업이 현재 실행 중일 때 동적으로 클러스터의 태스크 노드 수를 조정할 수 있습니까? 또는 단계별로 클러스터 크기가 동일하게 유지되어야합니까? 정말 고맙습니다.
Hadoop 구성을 변경하려면 부트 스트랩 조치를 사용해야합니다.
다음 AWS 문서는 Hadoop 구성 부트 스트랩 작업을 위해 참조 할 수 있습니다.
http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-bootstrap.html#PredefinedbootstrapActions_ConfigureHadoop
내가 즐겨 찾기에 추가 한이 블로그 기사에는 몇 가지 정보가 있습니다. http://sujee.net/tech/articles/hadoop/amazon-emr-beyond-basics/
클러스터 크기를 동적으로 변경하려면 AWS SDK를 사용하는 것이 좋습니다.
http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/calling-emr-with-java-sdk.html
다음 인터페이스를 사용하여 인스턴스 그룹의 인스턴스 수를 수정할 수 있습니다. http://docs.aws.amazon.com/AWSJavaSDK/latest/javadoc/com/amazonaws/services/elasticmapreduce/AmazonElasticMapReduce.html
첫 번째 링크의 경우 "capacity-scheduler.xml"이 xml 파일의 편집 가능 범위 내에 있지 않은 것으로 보입니다. 또한 다음 문서는 작업이 실행되는 동안 메모를 추가 할 수 있는지 언급하지 않습니다. Amazon EMR이 위의 작업을 수행 할 수 있다면 여전히 혼란 스럽습니다. – jyxlcd