2014-01-23 2 views
1

단일 작업에서 여러 입력 형식을 사용하고 싶습니다. 그러나 org.apache.hadoop.mapreduce.lib.input.MultipleInputs를 사용했지만이 유틸리티는 HDFS (경로가 있음)에있는 입력에 대해서만 설계된 것 같습니다.여러 입력을 통한 Hadoop MapReduce

서로 다른 소스의 여러 입력 형식을 사용할 수있는 방법이 있습니까? 내 특정 필요 다음과 같다

...

는 I는 측면을 감소 수행 한 작업을하고 싶은

시퀀스의 집합 (https://github.com/elasticsearch/elasticsearch-hadoop 의해 제공된 ESInputFormat 사용) 기존 탄성 검색 색인 참여할 인덱싱 할 정보가 들어있는 파일 이 다중 입력을 읽어서 병합 단계를 축소하고 나중에 사용하기 위해 다른 색인에 삽입하십시오.

제안 사항?

답변

0

여전히 MultipleInputs를 사용할 수 있으며 null이 아닌 경로를 전달할 수 있습니다. 유효한 위치를 가리 키지 않아도 작동 할 수 있습니다. null 일 수 없습니다.

이것은 괜찮습니다.

관련 문제