Apache kafka를 사용하는 Oracle 복제 데이터

Question

Oracle 데이터베이스에서 데이터 테이블을 노출하고 apache kafka에 노출하고 싶습니다. 기술적으로 가능한가? 또한 데이터를 내 Oracle 테이블에서 스트리밍하고 Kafka에 알려야합니다. 이 사용 사례에 대한 훌륭한 문서를 알고 계십니까? 감사합니다.

Answer 1

Kafka Connect을 사용하여 카프카로 데이터를 가져 오거나 내보낼 수 있습니다. Kafka Connect를 사용하면 코드를 작성할 필요가 없기 때문에 매우 간단합니다. 커넥터를 구성하기 만하면됩니다.

커넥터를 사용할 수없고 자신의 커넥터를 제공하려는 경우에만 코드를 작성하면됩니다. 이미 50 개 이상의 커넥터를 사용할 수 있습니다.

Answer 2

1. https://www.confluent.io/product/connectors/ 당신은 Oracle 데이터베이스에서 데이터를로드 할 수 카프카 연결 JDBC 소스 커넥터가 필요합니다 플루 Inc의에서 Oracle 용 커넥터 ("골든 게이트")이

   . Confluent의 오픈 소스 번들 커넥터가 있습니다. 이 패키지는 스키마 레지스트리를 포함하여 나머지 Confluent Platform으로 패키징되어 테스트되었습니다. 이 커넥터를 사용하는 것은 간단한 커넥터 구성을 작성하고 독립형 Kafka Connect 프로세스를 시작하거나 Kafka Connect 클러스터에 REST 요청을하는 것처럼 쉽습니다. 이 커넥터에 대한 문서는 다음에서 찾을 수 있습니다 here

2. Oracle 트랜잭션 데이터베이스에서 Kafka로 실시간으로 변경 데이터를 이동하려면 오라클과 같은 상업용 라이센스 구매가 필요한 변경 데이터 캡처 (CDC) 독점 도구를 먼저 사용해야합니다. 골든 게이트, Attunity Replicate, Dbvisit Replicate 또는 Striim. 그런 다음 제공하는 Kafka Connect 커넥터를 활용할 수 있습니다. 모두 나열되어 있습니다 here

3. Redhat의 오픈 소스 CDC 도구 인 Debezium은 Oracle Golden Gate 라이센스에 의존하지 않는 커넥터에서 작업 할 계획입니다. 관련 JIRA는 here입니다.