카프카를 oracle과 elasticsearch 간의 메시징 서비스로 사용할 수 있습니까?

Question

카프카를 Oracle과 신축 검색 간의 메시징 서비스로 사용할 수 있습니까? 이 접근법의 단점은 무엇입니까?

Answer 1

오라클 대신 Sql 서버를 사용해 보았지만 훌륭하게 작동했습니다. 아래 설명 할 logstash JDBC 플러그인을 알기 때문에 오라클과 동일한 접근 방식을 시도해 볼 수있을 것이라고 확신합니다. Oracle DB를 지원합니다.

기본적으로 Oracle DB 인스턴스를 가리키는 Logstash JDBC 입력 플러그인 https://www.elastic.co/guide/en/logstash/current/plugins-inputs-jdbc.html이 필요하며 Kafka 출력 플러그인 https://www.elastic.co/guide/en/logstash/current/plugins-outputs-kafka.html을 사용하여 행을 Kafka로 푸시합니다.

이제 카프카에서 다른 Logstash 인스턴스 (은 인덱서입니다)를 읽고 Kafka 입력 플러그인 https://www.elastic.co/guide/en/logstash/current/plugins-inputs-kafka.html을 사용하십시오. 마지막으로 Logstash 인덱서 구성 파일에서 Elastic 검색 출력 플러그인을 사용하여 이벤트를 Elastic Search로 푸시합니다.

그래서 파이프 라인은, 다음과 같이 오라클을 보일 것이다 -> Logstash 발송 -> 카프카 -> Logstash 인덱서 -> 탄성 검색.

전반적으로 이것은 DB에서 탄성 검색으로 이벤트를 푸시 할 수있는 확장 가능한 방법이라고 생각합니다. 이제, 단점을 보았을 때 파이프 라인에 너무 많은 구성 요소가 있다는 것을 느낄 수 있으며 특히 오류가 발생하면 실망 할 수 있습니다. 따라서 위에서 설명한 모든 기능을 갖춘 데이터 집계 파이프 라인을 갖추려면 모든 수준에서 적절한 컨트롤과 모니터링을 수행해야합니다. 시도해보고 행운을 비네!

Answer 2

Kafka Connect은 JDBC Source과 Elasticsearch Sink을 제공합니다.

서비스 유지 보수 이외에 제가 알고있는 약점이 없습니다.

대신 Logstash를 사용해도되지만, Kafka provides better resiliency 및 확장 성이 있습니다.