하이브 구문 프로세스 제어

Question

하나의 스크립트가 다른 스크립트에 필요한 테이블을 생성한다는 의미에서 관련 하이브 스크립트 파일 (+350 .hql)이 여러 개 있습니다. 문제는 항상 스크립트가 생성하지 않는 테이블이나 열을 사용하는 것과 관련된 많은 버그가 나타나는 것입니다. 그래서 질문 : 하이브의 구문 검사기를 실행하거나 스크립트를 가져 와서 대신 모든 테이블 (오랜 시간이 걸림) 대신 스크립트의 관계가 제대로 작동하는지 테스트 할 수있는 방법이 있습니까?

Answer 1

나는 해결책을 생각하고 있었지만 최적의 해결책이 무엇인지 확신 할 수 없었다. 주 입력이 sqoop 테이블로부터 주어진다는 가정하에, 첫 번째 아이디어는 메타 테이블을 생성하기 위해 dummy sqoop 테이블에 대한 참조 또는 몇 개의 행이나 행이없는 입력 테이블로 참조를 대체 할 수 있습니다. 이후 모든 후속 스크립트는 빈 테이블을 입력 (또는 몇 개의 행이있는 테이블) 대신 사용하여 전체 중첩 테이블을 처리합니다.