hadoop RC 파일 형식 : hdfs의 작은 파일 병합

Question

지도 축소 프로그램에서 생성 한 작은 RC 파일을 결합하는 방법을 모색 중입니다. 작은 RC 파일을 큰 RC 파일에 병합하는 것이 가장 좋은 방법은 무엇입니까?

Answer 1

getmerge 명령을 사용해보십시오. 이것은 소스 디렉토리와 대상 파일을 입력으로 취해 소스 디렉토리에있는 파일을 대상 파일에 연결합니다.

예를 들어 하이브 테이블 이름이 search_combined_rc 인 경우 결합 된 rc 파일을 단일 파일로 가져올 수 있습니다.

하둡 FS -getmerge /user/hive/warehouse/dev.db/search_combined_rc//localdata/다음과 같이 DestinationFileName

rcfile에의 전형적인 시퀀스 파일을 열려면 도구를 열 수 없습니다 때문에

, 당신은 rcfilecat를 사용하여 시도 할 수 있습니다 도구를 사용하여 RCFiles의 내용을 표시합니다. 로컬 디렉토리에서 HDFS로 파일을 되돌려 야합니다.

하이브 - 서비스 rcfilecat/hdfsfilelocation