Logstash Elasticsearch 스트리밍 데이터 입력 플러그인

예 : 스트리밍 데이터에 logstash-input-elasticsearch 플러그인을 사용할 수 있는지 알고 싶습니다. 예 : 데이터베이스에서 데이터를 사용할 수 있고 ElasticSearch 입력 플러그인을 실행하면 데이터를 출력으로 가져 오지 만, ElasticSearch 데이터베이스의 데이터가 더 오랜 시간이 지나면 ElasticSearch 입력 플러그인은 로그 스타트를 다시 시작하지 않고 해당 데이터를 인덱싱 할 수 있습니까?Logstash Elasticsearch 스트리밍 데이터 입력 플러그인

관심과 도움에 감사드립니다.

출처

2016-08-23 Yassir S

기본적으로 elasticsearch 입력은 ES 인스턴스에서 스크롤 쿼리를 실행하고 쿼리와 일치하는 문서를 펌핑하여 출력물로 스트리밍하며 완료되면 Logstash가 종료됩니다.

그러나 Logstash 파이프 라인을 정기적으로 시작하고 ES에있는 새 문서를 쿼리하는 cron 작업을 설정하면됩니다.

출처

2016-08-23 10:23:41 Val

다시 감사드립니다. Val! 나는 네가 나에게 추천 한 것을 개발하고있다. 그러나, 이전 실행에서 처리 된 마지막 문서에서 시작하여 모든 elasticsearch 데이터베이스를 스크롤하지 않도록 logstash를 지정하려면 어떻게해야합니까? –

예를 들어 날짜와 같이 조회를 확인할 수있는 일종의 필드가 있어야합니다. 파이프 라인을 마지막으로 실행 한 날짜보다 큰 모든 문서를 쿼리해야 할 때마다 – Val

Logstash Elasticsearch 스트리밍 데이터 입력 플러그인

답변

관련 문제