2016-06-09 3 views
1

저는 Kafka 0.9.1 새로운 소비자 API를 사용하고 있습니다. 소비자는 파티션에 수동으로 할당됩니다. 이 소비자에게는 그 진전 (지연을 의미)을보고 싶습니다. 내가 속성으로 그룹 ID 소비자 튜토리얼을 추가하기 때문에, 내가 (여기 설명) 내가Kafka : 파티션에 할당 된 소비자에 대한 지연 모니터링 주제

불행하게도, 내 소비자 그룹의 세부 사항이 사용 표시되지 않습니다 명령

bin/kafka-consumer-groups.sh --new-consumer --describe --group consumer-tutorial --bootstrap-server localhost:9092

를 사용할 수 있다고 가정 위의 명령. 따라서 나는 소비자의 진전 상황을 모니터 할 수 없다. 위에서 설명한 시나리오 (수동으로 할당 된 파티션)에서 지연을 모니터링하려면 어떻게합니까?

코드는 다음 kafka-consumer-groups.sh 명령에서

Properties props = new Properties(); 
props.put("bootstrap.servers", "localhost:9092"); 
props.put("group.id", "consumer-tutorial"); 
props.put("key.deserializer", StringDeserializer.class.getName()); 
props.put("value.deserializer", StringDeserializer.class.getName()); 
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props); 


     String topic = "my-topic"; 
     TopicPartition topicPartition = new TopicPartition(topic, 0); 
     consumer.assign(Arrays.asList(topicPartition)); 
     consumer.seekToBeginning(topicPartition); 
try { 
    while (true) { 
    ConsumerRecords<String, String> records = consumer.poll(1000); 
    for (ConsumerRecord<String, String> record : records) 
    System.out.println(record.offset() + ": " + record.value()); 
    consumer.commitSynch(); 
    } 
} finally { 
    consumer.close(); 
} 

답변

4

그냥 경우에 당신이 코드를 작성하지 않으려는 잘못된 것입니다 이 정보를 얻거나 커맨드와 같은 도구/쉘 스크립트를 임시로 실행하면, 소비자 지연을 포함하여 Kafka 메트릭을 캡처 할 N 개의 도구가 있습니다. 내 머리 꼭대기에서 떨어져 : BurrowSPM for Kafka 좋은 직장. 카프카 오프셋, 소비자 지연 및 카프카가 JMX를 통해 노출하는 것으로부터 얻은 몇 가지 메트릭에 대한 배경 지식이 있습니다. HTH.

+1

배경 정보는 어디에 있습니까? 링크가 보이지 않습니다. – PhillipAMann

0

, 당신의 그룹 이름이 --group consumer-tutorial하지 소비자 튜토리얼 그룹

+0

안녕! 관찰에 감사드립니다. 그룹 이름을 변경했지만 언급 한 명령을 사용할 수 없습니다. 게시물에서 수정하겠습니다. – florins

1

당신이 소비자 그룹 지연의 JMX 노출에 관심이 여기에 내가 쓴 에이전트 인 경우 : https://github.com/tierhetze/kafka9.offsets

당신은 어떤 카프카 노드에서이 에이전트를 실행하고 외부 독자들에게 오프셋 지연 통계를 노출 할 수 있습니다가.

Telegraf와 함께이 상담원을 사용하는 방법의 예가 (https://influxdata.com/time-series-platform/telegraf/)입니다.

결국 (예 : telegraf, influxdb 및 grafana 결합) 여러 소비자 그룹에 대한 오프셋 지체 그래프를 볼 수 있습니다.

관련 문제