Hadoop : 사용자 정의 출력 파일 이름을 생성하는 방법은 무엇입니까?

Question

이제 MultipuleOuputs를 사용합니다. "xxxx- [r/m] -00001"과 같은 축소 자의 출력 파일 이름에서 "-00001"접미어 문자열을 제거하고 싶습니다.

어떤 아이디어가 있습니까?

감사합니다.

Answer 1

일하는 사람이 할 수 있다고 생각합니다. 작업이 완료되면 파일 이름을 변경하십시오. 또한 터미널 명령을 통해이 작업을 수행 할 수도 있습니다. Hadoop javadoc to the write() method of MultipleOutputs에서

Answer 2

:

출력 경로는 namedOutput에 대해 생성 된 고유 한 파일입니다. 예를 들어, {namedOutput} - (m | r) - {part-number}

따라서 이러한 파일의 이름을 바꾸거나 HDFS에서 병합해야합니다.