1

카프카에서 데이터를 가져 와서 ElasticSearch로 보내려고합니다. 여기logstash kafka 입력이 작동하지 않습니다.

나는 logstash 구성을 사용하고 있습니다 :

input { 
kafka { 
zk_connect => "localhost:2181" 
topic_id => "beats" 
} 
} 
output { 
elasticsearch { 
hosts => ["localhost:9200"] 
index => "elasticse" 
} 
} 

사람이 logstash 구성 여기 도와 드릴까요? 이걸 실행하면 잘못된 구성 오류가 발생합니다.

D:\logstash-5.0.0\bin>logstash -f log-uf.conf 
Sending Logstash logs to D:\logstash-5.0.0\logs\logstash-plain.txt which is now 
configured via log4j2.properties. 
[2016-11-11T16:31:32,429][ERROR][logstash.inputs.kafka ] Unknown setting 'zk_ 
connect' for kafka 
[2016-11-11T16:31:32,438][ERROR][logstash.inputs.kafka ] Unknown setting 'top 
ic_id' for kafka 
[2016-11-11T16:31:32,452][ERROR][logstash.agent   ] fetched an invalid c 
onfig {:config=>"input {\n kafka {\n zk_connect => \"localhost:2181\"\n to 
pic_id => \"beats\"\n consumer_threads => 16\n }\n}\noutput {\nelasticsearch 
{\nhosts => [\"localhost:9200\"]\nindex => \"elasticse\"\n}\n}\n", :reason=>"Som 
ething is wrong with your configuration."} 

아무도 도와 드릴 수 있습니까?

답변

7

Logstash 5를 Logstash 2.4 용 구성으로 실행 중입니다.

zk_connect (사육사 호스트)

5.0

topics에 의해 bootstrap_servers (카프카 브로커)와 topic_id에 의해 대체되었다 대신이 설정을 시도해보십시오

input { 
    kafka { 
    bootstrap_servers => "localhost:9092" 
    topics => ["beats"] 
    } 
} 
output { 
    elasticsearch { 
    hosts => ["localhost:9200"] 
    index => "elasticse" 
    } 
} 
+0

발, 나는 또 하나의 도움이 필요합니다. 입력 { 카프카 { bootstrap_servers이 => "로컬 호스트 : 9092" 주제 => [ "beatsab"] } } 내가 출력으로 카프카를 원한다면 내가 아래에 언급 한 대답처럼 언급하는 경우, 미세 그것을이다 출력 : 출력에 없음 –

+2

을 { 카프카 { bootstrap_servers이 => "로컬 호스트 9092" 주제 => } 를 [ "소리"]}, 당신은'대신'topics'의 topic_id' 필요 – Val

관련 문제