0
나는이 문제를 파악하려고합니다. 현재 elasticsearch 클러스터를 업그레이드 중이며 카프카 큐를 통해 파이프/생성/업데이트/삭제 요청을 받고 있습니다. 소비자 그룹 A가 이러한 요청을 구독한다고 가정합시다. 나는 소비자 그룹 A를 일시 중지하고 소비자 그룹 B를 회전시키고 소비자 그룹 A와 B가 A가 중단 된 곳에서 다시 시작하게하고 싶습니다.다른 소비자가 중단 한 지점에서 카프카 소비자 시작하기
기본적으로 A와 B는 A가 이전에 일시 중지 된 지점에서 대기열의 데이터 사본을 가져옵니다. 이것이 카프카에게 가능한가?
문제는 겹침 정도를 조정할 수 없다는 것입니다. 우리가 가지고있는 2 가지 옵션은 큐의 끝 또는 큐의 시작에서부터 시작한다고 생각합니다. B가 처음부터 소비되기 시작하면 오버랩이 발생하지만 중복되면 잠재적으로 몇 주가 걸릴 수 있습니다. – sanz
나는 본다. 시간 소인이 주어진 오프셋을 선택하는 자체 기능을 구현할 수 있습니다. Kafka 0.10에서는 https://cwiki.apache.org/confluence/display/KAFKA/KIP-32+-+Add+timestamps+to+Kafka+mageage를 사용하면 훨씬 편리합니다. 그러나 이전 버전을 사용하는 경우 타임 스탬프 매핑을 유지 관리하는 서비스를 실행하는 것이 그리 어렵지 않습니다. 나는 또한 당신이 소비자 A로부터 생산할 생산자를 만들고, 소비자 B가 그 생산자로부터 소비하도록 만들 수 있다고 생각했다. –