oozie에서 캡처 sqoop 출력

Question

나는 X 분마다 실행해야하는 Oozie 워크 플로우를 가지고 있습니다. HBase 테이블에서 값을 읽습니다. 이 후 Sqoop 동작은 이전 단계에서 HBase에서 읽은 값을 기반으로 (증분) 실행됩니다. 워크 플로우가 작동하도록하려면 HBase에 다시 쓰여지기 위해 Sqoop Oozie 액션의 새로운 --last-value를 캡쳐하고 다음에 워크 플로우를 다시 읽으려면 실행해야합니다 ... 등등.

어떻게하면됩니까? 아니면 더 좋은 방법이 있을까요?

조나스는

Answer 1

나는 블로그 http://www.tanzirmusabbir.com/2013/05/chunk-data-import-incremental-import-in.html 당신에게 몇 가지 힌트를 줄 것 같아요.

기본적으로 startindex와 chunksize는 job.properties에 유지되고 startindex는 Sqoop 작업의 where 조건에 사용 된 다음 sqoop 작업 후에 쉘 스크립트를 통해 startindex를 변경합니다.