다른 테이블을 쿼리 할 때 데이터를 하이브 테이블로 내보내기

중복 ID가 여러 개인 table1이 있습니다. 필자의 목표는 Table1에서 Table2로 형식화 된 데이터 (중복 레코드 제거시)를 이동하는 것입니다. 표 1의 스키마 & 표 2는 동일합니다.다른 테이블을 쿼리 할 때 데이터를 하이브 테이블로 내보내기

여기서 두 가지 방법 중 하나를 사용하면 형식이 지정된 데이터로 Table1을 업데이트하거나 Table2로 데이터를 이동할 수 있습니다.

누군가 나를 도와주세요.

이다 구비 제거

ALTER TABLE yourTable ADD CONSTRAINT idx_name UNIQUE (columnwithduplicates)

EDIT? 만약 그렇다면'table1을 덮어 쓰는 것만으로 table1에서 다른 f1, f2, ..., fn을 선택하십시오 ' – dimamah

ALTER IGNORE TABLE yourTable ADD UNIQUE INDEX idx_name (columnwithduplicates)

이 중복 행

INSERT INTO table2 
SELECT column1,column2,etc 
FROM table1

구조 HIVE` '의 테이블 같은

2013-09-06 21:16:50 Mihai

중복을 제거하는 첫 번째 명령이 작동하지 않습니다. 그것은 "무시 무시 근처에서 구문 분석하지 못했습니다 ...."오류를 내고 있습니다. –

하이브의 구문이 고유 인덱스를 만드는 경우 다른 지 알 수 없습니다. – Mihai

답변