0
HIVE 테이블을 조사한 HBase 테이블에 4GB의 데이터가 모두있는 유스 케이스가 있습니다.HIVE 테이블에서 5k 파일을 추출하는 방법
이제 저는 HIVE에서 만든이 30 개의 테이블 중에서 5 개의 k 개의 파일을 추출하려고합니다.
이 5K 파일은 미리 정의 된 5K 개의 쿼리로 생성됩니다. 누군가 내가 이것을 위해 따라야 할 접근법을 제안 할 수 있습니까? 소요 시간은 15 시간입니다.
이 모든 파일을 생성하는 자바 코드를 작성해야합니까?
파일 생성 속도가 빠릅니다. 5k 텍스트 파일 중 50 개 파일에 약 35 분이 소요되며 나머지는 매우 빠릅니다.
저는 압축 파일을 생성해야하고 ftp를 사용하여 클라이언트로 보내야합니다.