Apache Flume에 원시 SQL 소스가 있습니까?

Question

간단한 데이터웨어 하우스를 만들어야합니다. 데이터웨어 하우스의 데이터 소스는 이기종이므로, 데이터 수집을 위해 Apache Flume과 같은 Frameworks를 실험하고 있습니다. 나는 문서를 훑어 보았지만 SQL에 대해서는 아무것도 찾지 못했습니다. (http://flume.apache.org/FlumeDeveloperGuide.html 및 http://flume.apache.org/FlumeUserGuide.html#flume-sources)

질문 :는 SQL 서버에 아파치 수로 소스를 연결할 수있는 (기본) 가능성이 있습니까?

Answer 1

봐 : 당신이 SQL 데이터베이스에서 많은 양의 데이터를 이동하는 것을 고려하는 경우에

는 아파치 Sqoop을 좀 봐. 다음은 몇 가지 예입니다.

1. http://www.toadworld.com/platforms/oracle/w/wiki/11093.streaming-oracle-database-logs-to-hdfs-with-flume

2. http://www.toadworld.com/platforms/oracle/w/wiki/11100.streaming-mysql-table-data-to-oracle-nosql-database-with-flume

Answer 2

Apache Flume은 로그 데이터를 수집하고 집계하여 HDFS로 이동하도록 설계되었습니다. 이 프로젝트 flume-ng-sql-source에 http://sqoop.apache.org/