은 <strong></strong> CSV 형식 <strong>HDFS</strong> (푸른 <strong>HDInsight</strong>)의 I 데이터를 돼지, 하이브 Sqoop을

Question

과정을 자동화. 나는 사용하고있다 돼지 to 과정이 데이터. 처리 후 돼지요약 데이터가 하이브에 저장됩니다. 그리고 하이브 테이블은 Sqoop을 사용하여 RDBMS로 내보내집니다. 지금 나는 이 모든 과정을 자동화해야합니다. 이 모든 가능한 3 가지 작업에 대한 특정 메서드를 MapReduce에 작성한 다음 MapReduce 작업을 실행하면 이러한 작업이 하나씩 실행됩니다. MapReduce 작성 작업의 경우 사용하고 싶습니다. 네트. 그래서 내 질문은 가능하며, 예보다 약간의 단계를 제안하고 참조이 질문에 대해서는입니다. 감사합니다.

Answer 1

이러한 작업을 주기적으로 실행해야하는 경우 Oozie을 사용하는 것이 좋습니다. 기존 example을 확인하십시오. 상당히 좋은 문서가 있습니다.

클라우드에이 프레임 워크가 없으면 자신 만의 MR을 작성할 수 있지만 Oozie를 사용하면 그래프의 각 작업이 수행 할 수있는 DAG 플로우를 작성할 수 있습니다. 돼지/bash/hive/hdfs 등.

그것은 모든 X 일/시간/분을 실행할 수 있습니다 실패