hadoop 설치없이 Hadoop 프로그램을 컴파일

Question

hadoop을 설치하지 않고 어떻게 hadoop 예제 프로그램 (예 : 단어 수)을 컴파일 할 수 있습니까?

아마존 EMR에서 프로그램을 실행할 계획이므로 로컬 컴퓨터에서 프로그램을 실행할 필요가 없습니다.

Answer 1

클래스 경로에 hadoop 및 map reduce client jar를 추가해야합니다.

예를 들어,이 두

하둡 - 공통 2.2.0.jar에게

하둡 맵리 듀스 클라이언트 코어-2.2.0.jar

를 컴파일 단어 수 예를 얻어야한다

hadoop-common은 XxxWritable, Text 클래스에 필요한 org.apache.hadoop.io 패키지가 있습니다. hadoop-mapreduce-client-core에는 맵 축소 프로그램 (Mapper, Reducer) 및 작업에 필요한 기본 클래스에 필요한 org.apache.hadoop.mapreduce이 있습니다. 필자는 Amazon EMR을 사용한 적이 없으므로 작동 방식을 알지 못하고 패키지 된 다른 병이 필요한지 여부를 알지 못합니다 (또는 특정 버전이 필요한 경우). 그러나 이것들은 컴파일하기위한 간단한 map reduce 프로그램을 얻을 것이다. 당신이 받는다는을 사용하는 경우

, 당신은 이러한 종속성

<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-common</artifactId> 
    <version>2.2.0</version> 
</dependency> 
<dependency> 
    <groupId>org.apache.hadoop</groupId> 
    <artifactId>hadoop-mapreduce-client-core</artifactId> 
    <version>2.2.0</version> 
</dependency>