카프카 소비자가 모든 파티션에서 메시지를 소비하지 않습니다.

10 개의 파티션이 있고 카프카 소비자 한 명을 통해 메시지를 소비하려고하는 카프카 항목을 만들었습니다. 그러나 카프카 소비자는 모든 파티션에서 메시지를 읽지 않습니다. 특히, 5 개의 특정 파티션에서만 메시지를 사용합니다. 예 : 소비자가 [0,1,2,3,4]에서만 메시지를 소비합니다. 다시 시작한 후 [5,6,7,8,9]에서 메시지를 소비하기 시작하면이 파티션의 메시지 만 소비합니다. 여기 는 kafka-consumer-offset-checker.sh 명령의 출력카프카 소비자가 모든 파티션에서 메시지를 소비하지 않습니다.

Group|Topic | Pid | Offset | logSize| Lag  | Owner 
GRP1 | topic1 | 0 | 128  | 175 | 47  | none 
GRP1 | topic1 | 1 | 117  | 146 | 29  | none 
GRP1 | topic1 | 2 | 62  | 87  | 25  | none 
GRP1 | topic1 | 3 | 101  | 143 | 42  | none 
GRP1 | topic1 | 4 | 104  | 145 | 41  | none 
GRP1 | topic1 | 5 | 118  | 118 | 0   | none 
GRP1 | topic1 | 6 | 111  | 111 | 0   | none 
GRP1 | topic1 | 7 | 161  | 161 | 0   | none 
GRP1 | topic1 | 8 | 144  | 144 | 0   | none 
GRP1 | topic1 | 9 | 171  | 171 | 0   | none

그 일이 일어나고 왜

사람이 알고 있나요 ..?

출처

2016-12-27 Manu

소비자의 예를 보여주십시오. 'kafkacat'을 사용하여 예상되는 동작을 검증 할 수도 있습니다. – objectuser

비슷한 문제가 있습니다.하지만 32 개의 파티션이 있고 7 번 파티션에서만 읽는 중입니다. –

spark streaming을 사용하여 32 개의 파티션이있는 카프카 항목에서 읽는 동안 비슷한 문제가있었습니다. 특히 우리는 아파치 org.apache.spark.streaming.kafka010.*에서 제공하는 스파크 카프카 스트리밍 클래스를 사용하고있었습니다.

우리는 하나의 파티션에서만 사용할 수있었습니다. 문제는 카프카 버전 0.10.1.0을 우리 병에 포함 시켰기 때문입니다. 클러스터가 0.10.1.0인데도 0.10.0.1으로 되 돌렸습니다.

출처

2017-03-21 19:09:35

몇 가지 배포 문제로 인해 생성되는 소비자의 두 인스턴스로 인해이 문제가 발생했습니다. 내가 파일을 수정하면 해결 됐어. 0.9.x jar를 사용하고 있습니다. – Manu

그래, 우리 문제가 실제로 같지 않은 것처럼 들립니다. 다행스럽게 생각 했어. –

@ NathanLoyer 또한 카프카 브로커 버전이 0.10.2이고 카프카 병 버전이 0.10.2 인 동일한 문제에 직면하고 있습니다. 이전 Kafka jar 버전을 사용해야합니까? 문제가 해결 될 때까지 또는 다른 것을 시도해야합니까? – Abhimanyu

카프카 소비자가 모든 파티션에서 메시지를 소비하지 않습니다.

답변

관련 문제