Kafka 소비자가 (Re-) 가입 그룹에 걸려 있음

kafka (버전 0.10) 소비자가 소비자 그룹에 다시 가입하려고하면 기본 동작이 어떻게됩니까? 소비자 그룹에 단일 소비자를 사용하고 있지만 다시 가입하는 것처럼 보입니다. 매 10 분마다 소비자 로그에 다음 줄이 인쇄됩니다.Kafka 소비자가 (Re-) 가입 그룹에 걸려 있음

2016년 8월 11일 13 : 54 : 53,803 INFO oakcciConsumerCoordinator [풀 -5- 스레드 1] **** 해지 이전에 할당 된 파티션 **** [] 그룹 화상 소비자 그룹

2016년 8월 11일 13 : 54 : 53,803 oakcciAbstractCoordinator INFO [풀 -5- 스레드 1] (재) 결합 그룹 화상 소비자 그룹

2016년 8월 11일 14 : 04 : 53,992 정보 oakcciAbstractCoordinator [pool-5-thread-1] 그룹 image-consumer-group에 대한 코디네이터를 표시 함

2016-08-11 14 : 04 : 54,095 정보 o.a.k.c.c.i.AbstractCoordinator [pool-5-thread-1] 그룹 image-consumer-group에 대해 발견 된 코디네이터입니다.

2016년 8월 11일 14 : 04 : 54,096 oakcciAbstractCoordinator INFO [풀 -5- 스레드 1] (재) 결합 그룹 화상 소비자 그룹

재시작 소비자 응용 도움이되지 않습니다.

출처

2016-08-11 Bharat Bhagat

복잡한 장기 실행 파이프 라인을 완료 할 수 있도록 session.timeout.ms를 매우 큰 값으로 설정하면 정확히 동일한 문제가 발생합니다. 이것에 대한 해결책을 찾았습니까? – Deeps

예, 1. 몇 개의 레코드를 가져온 후 소비자에게 pause를 호출해야합니다. 2. 루프에서 poll (0)을 호출하여 kafka에 하트 비트를 반복적으로 보낸 배경 스레드를 만듭니다. 그 동안에 귀하의 주요 소비자 스레드가 처리됩니다. 3. 처리 후 배경 스레드를 주 소비자 스레드 4에서 중지하도록 알립니다. 이제 주제 파티션에서 이력서를 호출 할 수 있습니다. –

그룹에 소비자 인스턴스가 하나만있는 경우 수동 assignment 전략을 사용합니다. (단순 소비자).

수동 주제 지정은 소비자의 그룹 관리 기능을 사용하지 않으므로 하트 비트가 필요하지 않습니다.

출처

2016-08-11 11:13:48

Kafka 소비자가 (Re-) 가입 그룹에 걸려 있음

답변

관련 문제