SQOOP INCR로드

Question

날짜 열을 기준으로 점진적으로 가져 오는 경우 이전 날짜를 하드 코딩하지 않고 업데이트 된 새 레코드를 추출하는 방법 예 : 이름 나이 업데이트 - 날짜 ABC DEF 22 2016년 4월 3일 32 2016년 1월 1일 GHI 77 2016년 2월 2일

I 전에 부하 Sqoop을 사용하여 날짜를 2016년 1월 1일을 갖는 제 레코드를로드한다고 가정 이젠 필요 SQOOP 문에 날짜 값 (2016-01-01)을 하드 코딩하지 않고 다음 2 레코드를로드하십시오.

Answer 1

아마도 조금 늦었 겠지만 마지막 가져 오기 값을 매번 도입하지 않으려면 내장 된 Sqoop 메타 스토어를 사용하고이를 위해 Sqoop job을 만들 수 있습니다.

예를 들어, 테이블 updates의 dt 열을 사용하여 새 레코드를 확인하는 작업을 생성 할 수 있습니다.

sqoop job 
    --create update_job 
    --import 
    --connect jdbc:mysql://whatever/database 
    --username foo 
    --password bar 
    --table updates 
    --incremental lastmodified 
    --check-column dt 

일단 당신이 그것을 이전 수입에서 기록 된 마지막 dt부터 레코드를 가져옵니다 작업과이 실행될 때마다 실행할 수 있습니다 생성 :

sqoop job --exec update_job 

Here 좀 더 상세한를 확인하실 수 있습니다 예.