EC2 스팟 인스턴스 (Ruby CLI)를 사용하도록 Amazon EMR 스트리밍 작업을 구성하는 방법은 무엇입니까?

Question

Amazon Elastic MapReduce (Amazon EMR)를 사용하여 Ruby 명령 줄 인터페이스를 사용하여 스트리밍 작업을 만들 때 EC2 지점 인스턴스 만 사용하도록 지정할 수 있습니까 (마스터 제외)? 네, 아래의 명령은 작동하고 있지만 "힘"저를 임대 한 핵심 인스턴스에서 사용하는 ...

./elastic-mapreduce --create --stream   \ 
--name n2_3        \ 
--input s3://mr/neuron/2    \ 
--output s3://mr-out/neuron/2   \ 
--mapper s3://mr/map.rb   \ 
--reducer s3://mr/noop_reduce.rb \ 
--instance-group master --instance-type m1.small --instance-count 1 \ 
--instance-group core --instance-type m1.small --instance-count 1 \ 
--instance-group task --instance-type m1.small --instance-count 18 --bid-price 0.028 

감사

Answer 1

CORE 및 작업을 모두 실행 TaskTrackers는 있지만 CORE 노드 그렇게되는 DataNode를 실행하는 노드 적어도 하나의 CORE 노드가 필요합니다.

그래서 스팟 코어 노드를 실행할 수 있습니까?

./elastic-mapreduce --create --stream \ 
... 
--instance-group master --instance-type m1.small --instance-count 1 \ 
--instance-group core --instance-type m1.small --instance-count 19 --bid-price 0.028 

p.s. 당신 또한은 하나의 CORE와 많은 TASK 노드를 실행할 수 있습니다.하지만 얼마나 많은 읽기/쓰기 작업을 하느냐에 따라 18 개의 노드가 1 개의 노드에서 읽고 쓸 수 있기 때문에 고통을 느끼게됩니다.

# expect problems.... 
./elastic-mapreduce --create --stream \ 
... 
--instance-group master --instance-type m1.small --instance-count 1 \ 
--instance-group core --instance-type m1.small --instance-count 1 --bid-price 0.028 
--instance-group task --instance-type m1.small --instance-count 18 --bid-price 0.028