spark 스크립트를 통해 AWS EC2 Cluster에 역할 할당

Question

spark 스크립트 spark/ec2/spark-ec2를 통해 ec2 클러스터에 역할을 할당 할 수 없습니다. 다음 명령을 사용하여 클러스터를 시작합니다. 여기서 myprofile은 충분한 권한이있는 테스트 프로필입니다.

./spark-ec2 -k <key name> -i <aws .pem file> -s 2 -r eu-west-1 launch mycluster --instance-type=m4.large --instance-profile-name=myprofile 

정확한 역할이 지정된 ec2 콘솔의 인스턴스를 볼 수 있습니다. 나는 그와 함께 마스터 인스턴스에 ssh를 진행 :

./spark-ec2 -k <key name> -i <aws .pem file> login mycluster 

및

curl http://169.254.169.254/latest/meta-data/iam/security-credentials/myprofile 

로 내 임시 보안 키, 액세스 키와 보안 토큰을 볼 수 있습니다. 그러나,에 .. '403 권한이 거부'

암의 I를 제공

aws s3 list-buckets 

반환

"Message": "The AWS Access Key Id you provided does not exist in our records." 

컬 명령을 통해 키를 검색 및 중 하나가 작동하지 않습니다 BOTO에 전달할

를 실행 무언가를 놓침?

아래의 매우 유사한 질문을 참조하십시오. 그러나 나는 거기에 대해 언급 할 수 없기 때문에 그것에 대한 답을 얻지 못하고 새로운 질문을 던졌습니다. 어쩌면 누군가 내 질문에 대한 링크와 함께 그 사람에게 말할 수 있습니다. 감사.

sudo yum update 

는 AWS의 CLI를 업데이트하고 그 역할 후에 작동하는 것 같다 것이다 : 나는 3 일 동안이 문제를했고 지금은 질문을 게시 후 ... 이렇게 직접 해결

Running Spark EC2 scripts with IAM role

Answer 1

확인 . 파이썬에서도 할 수 있습니다.

from boto.s3.connection import S3Connection 
conn = S3Connection() 
bucket = conn.get_bucket('my_bucket') 
keys = bucket.list()