하이브 테이블과 Netezza 테이블 간의 일치하는 레코드

Question

여기는 내 첫 번째 질문이며 모두가 나를 도울 수 있다면 정말 감사 할 것입니다.

Netezza에서 Hive로 테이블을 전송하기 위해 sqoop 가져 오기를 실행했습니다. 이제 모든 레코드가 하이브로 성공적으로 가져 왔는지 확인하기 위해 Netezza 테이블의 레코드를 하이브 테이블에 일치시켜야합니다. 한 테이블의 각 레코드가 다른 레코드와 일치하는지 확인하고, 일치하지 않는 레코드가있는 경우 해당 레코드를 찾아야합니다. 프로젝트 리더는 스크립트를 사용하여 필적 할 수없는 레코드를 필터링하고 새 테이블에 삽입 할 것을 제안했습니다. (고유 한 키로 두 표를 결합하고 일치하지 않는 레코드를 필터링하려면 'where'를 사용하십시오.) 문제는 Hadoop이 처음인데 문제가되는 방법을 모르는 것입니다.

누군가 도와 줄 수 있습니까?

Answer 1

첫 번째로 SELECT 쿼리를 실행하여 가져온 하이브 테이블의 레코드 수를 계산할 수 있습니다.

select count(*) from hive_table; 

카운트가 네티 테이블과 하이브 테이블 사이에 일치하지 않는 경우

는 먼저 Sqoop을 가져 오기 중에 생성 된 로그를 확인해야합니다. 그러면 recs가로드되지 않은 이유에 대한 통찰력을 얻을 수 있습니다.