logstash를 사용하여 kafka 주제를 소모하는 방법

Question

kafka에서 logstash로 메시지를 소비하기 시작했으며 전체 주제를 elasticSearch로 보내고 싶지만 logstash에서 메시지가 표시되지 않습니다. kafka에서 볼 수 있습니다. 메시지가 오지만, 카프카 측에서는 아무것도 보이지 않습니다. 구성하는 올바른 방법은 무엇입니까?

input { 
    kafka { 
    zk_connect => "localhost:2181" 
    topic_id => "event" 
    } 
} 

output{ 
    stdout{ 
    codec => rubydebug 
    } 
    elasticsearch{ 
    index => "event-%{+YYYY.MM.dd}" 
    hosts => ["localhost:9201"] 
    codec => json 
    } 
} 

curl localhost:9201 
{ 
    "name" : "Flex", 
    "cluster_name" : "elasticsearch", 
    "version" : { 
    "number" : "2.3.4", 
    "build_hash" : "e455fd0c13dceca8dbbdbb1665d068ae55dabe3f", 
    "build_timestamp" : "2016-06-30T11:24:31Z", 
    "build_snapshot" : false, 
    "lucene_version" : "5.5.0" 
    }, 
    "tagline" : "You Know, for Search" 
} 

명령 :

/kafka-console-consumer.sh --zookeeper localhost:2181 --topic event 

이 수시로 결과를 얻을 수 있습니다.

Answer 1

는 auto_offset_reset 및 reset_beginning과 같이하십시오 :

kafka { 
    topic_id => "event" 
    zk_connect => "localhost:2181" 
    group_id => "event-group" 
    auto_offset_reset => "smallest" 
    reset_beginning => true 
    consumer_threads => 1 
    }