sqoop의 증분 업데이트

Question

안녕하세요 sqoop 커넥터를 통해 MySQL의 데이터를 hdfs에로드했습니다. 이제 기존 데이터 사이의 행이 업데이트되면 sqoop의 기존 행의 데이터 값을 업데이트하는 쿼리가 생깁니다. 증분 업데이트 알고 있습니까? 증분 업데이트 윌 또한 기존 행을 업데이트 할? 나는 sqoop을 처음 사용합니까?

Answer 1

예, 증분 가져 오기를 수행 할 때는 lastmodified 모드를 사용해야합니다. documentation에 따르면 Sqoop을 지원

대체 테이블 업데이트 전략은 LASTMODIFIED 모드라고합니다. 소스 테이블 의 행이 갱신 될 수 있으며, 이러한 각 갱신은 최종 수정 된 열의 값을 현재 시간 소인으로 설정합니다. 열의 확인 행이 - last-value로 지정된 시간 소인보다 최근의 시간 소인을 보유하는 행.

증분 가져 오기가 끝나면 화면에 후속 가져 오기를 위해 --last-value로 지정된 의 값이 인쇄됩니다. 후속 가져 오기를 실행하는 경우 새 데이터 또는 업데이트 된 데이터 만 가져 오도록이 방법으로 --last-value를 지정해야합니다. 이는 증분 가져 오기 을 저장된 작업으로 생성하여 자동으로 처리됩니다. 이는 반복 점진적 가져 오기를 수행하기위한 기본 메커니즘입니다. 자세한 내용은 이 문서의 저장된 작업 섹션을 참조하십시오. 이 모드는 날짜 값 (예 date, time, datetime 및 timestamp)를 가지고 열을 필요로한다는 염두

베어.

This answer은 merge-key을 사용하여 기존 값에 대한 대체 가져 오기 전략을 보여줍니다.