Distributed Kafka Connect 주제 구성

Question

노드를 다시 시작한 후 Kafka Connect 작업자 구성이 손실되었다는 문제점이있었습니다. (http://broker:port/connectors/ -> 빈 배열)

이제는 "retention.ms"구성과 관련이 있다고 생각합니다. 연결 설정은 "config.storage.topic"에도 저장되어 있으므로 "retention.ms"다음에 삭제됩니다. 그래서 저는 매우 높은 "retention.ms"를 설정해야합니다. 이것이 맞습니까? 아니면 카프카가 자동으로 관리합니까? (자신이 주제를 직접 작성하는 경우)

다른 두 주제는 어떻습니까? status.storage.topic - 현재 상태 정보 만 중요하지는 않습니까? offset.storage.topic

Answer 1

예.

"config.storage.topic", "status.storage.topic"및 "offset.storage.topic"은 모두 'cleanup.policy = compact'로 구성되어야합니다 (기본적으로 'delete'가됩니다) . 이 정책을 사용하면 유지 시간이 아무런 효과가 없습니다. 각 커넥터에 대한 최신 구성을 항상 유지합니다.