Amazon (EMR)에서 사용하는 Hadoop 버전은 무엇입니까?

Question

Hadoop 작업을 만들고 EC2 Map Reduce에서 실행하려고합니다. 또한 EC2에 업로드하기 전에 작업을 로컬로 실행하고 싶습니다.

로컬로 가져야 할 Hadoop의 버전/유형은 무엇입니까? Cloudera VM을 사용할 수 있습니까? Amazon에서 사용하는 Hadoop 버전은 무엇입니까?

Answer 1

Amazon Elastic MapReduce는 Hadoop 0.18, 0.20 및 0.20.205 (http://docs.amazonwebservices.com/ElasticMapReduce/latest/DeveloperGuide/EnvironmentConfig_AMIVersion.html#ami-versions- supporteded)를 지원합니다.

실행할 실행 파일을 지정할 수 있습니다. Cloudera는 선택할 수 없습니다. EC2에서 원시 인스턴스를 실행하고 내가 생각하는 자신의 Cloudera 클러스터를 설정할 수 있습니다.

로컬로 실행하는 것은 EMR과 관련이 없습니다. 테스트를 위해 가상 분산 모드로 Hadoop 클러스터를 설정하기 만하면됩니다.

http://aws.amazon.com/elasticmapreduce/mapr/ 당신은 다음 링크에서 MapR 바이너리를 다운로드 할 수 있습니다

:

http://www.mapr.com/products/download/download-mapr-on-premise

뻔뻔 플러그 : Axemblr.com에서 우리가

는

Answer 2

최근 아마존은 또한 MapR M3와 M5에 대한 지원을 추가 여러 클라우드에서 Cloudera Manager 대상을 기반으로 Amazon EMR의 대안을 구축합니다. 조기에 acceess를 원한다면 hello@axemblr.com으로 전화하십시오.

Answer 3

아마존 EMR은 이제 Hadoop 2.4.0을 사용합니다. 업데이트 된 정보 : http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/ami-versions-supported.html