카프카 스트리밍 데이터베이스 쿼리 아키텍처?

Question

많은 양의 간단한 이벤트 레코드가 시스템에 들어 와서 카프카 (Kafka) 주제에 게시됩니다.

이벤트에 응답하고 각 이벤트에 대해 Postgresql 쿼리를 수행하고, 새 ID를 가져 오거나/생성하고, 레코드에 주석을 추가하고, 출력 항목에 게시하는 스트리밍 응용 프로그램이 있습니다.

들어오는 모든 단일 이벤트 레코드에 대해 postgresql 작업을 수행하면 성능 문제가 발생할 것으로 생각됩니다.

이 시나리오에서 더 좋거나 다른 디자인은 무엇입니까?

Answer 1

짧은 길이의 창을 사용하여 n 초 동안 레코드를 누적 한 다음 방출 된 레코드를 일괄 적으로 처리 할 수 ​​있습니다. 이렇게하면 더 많은 레코드 집합을 처리 할 수 ​​있으며 jdbc 배치를 사용하여 성능을 향상시킬 수 있습니다.