하이브의 레코드 이름 가져 오기

Question

하이브에서 레코드의 파일 이름을 가져올 수 있습니까? 그것은 디버깅에 엄청난 도움이 될 것입니다.

내 경우에는 크기가 큰 파일이 100 개 이상인 폴더에 매핑 된 테이블의 값이 잘못되었습니다. grep을 사용하는 것은 매우 비효율적입니다.

Answer 1

HIVE은 INPUT__FILE__NAME과 같은 가상 열을 지원합니다. mapper 태스크에 대한 입력 파일의 이름을 제공합니다.

here 문서를 살펴보십시오. 이를 수행하는 방법에 대한 몇 가지 예를 제공합니다.

불행히도 지금은 테스트 할 수 없습니다. 이것이 작동하는지 여부를 알려주십시오.