이 아키텍처에는 Logstsh 발송 인 인스턴스와 redis가 필요합니까?

Question

Logstash, redis, elastic search 및 kibana를 사용하여 데모 환경을 만들었습니다. (http://indico.cern.ch/getFile ..... 여기에서

는 logstash 화주 내가의 syslog-ng에. Loogstash 선적을 사용하여 중앙 집중식 한 로그 파일에서 읽는 로그는 다음 Elasticsearch에 마지막으로 Logstash 인덱서 (필터)와 레디 스에 전달하기입니다.

이제 logstash shipper를 건너 뛰고 싶습니다. 좋은 생각입니까? 아니면 redis가 필요합니다. 또는 무거운 짐을 처리해야합니다. 잘 모르겠습니다.

위의 pdf 링크에서 LogStash는 버퍼링이 낮고 redis는 redis가 사용되는 로그의 흐름을 관리합니다 .Redis는 메모리에 데이터를 저장하기 때문에 메모리가 꽉 차면 무엇을 보냅니 까? 또한 Logstash와 Elasticsearch는 상당히 혼란 스럽습니다. RAM 사용량 측면에서 JVM 옵션을 올바르게 조정해야합니다. 그렇다면 JVM을 조정하는 방법은 무엇입니까?

elasticsearch 데이터/색인을 제거/회전해야합니까?

과부하에 가장 적합한 것은 어느 것입니까? syslog, 웹 서버 로그 (Apache, Lighttpd), 응용 프로그램 서버 로그 (tomcat), 데이터베이스 서버 로그 (mysql) 및 일부 응용 프로그램 로그 (로그 파일을 통해)와 같은 로그를 구문 분석하고 싶습니다.

개선을위한 제안 사항을 알려주십시오. 감사 !!!.

IMAGE에 다음 링크를 찾으십시오. 에서

(http://a.disquscdn.com/uploads/mediaembed/images/709/3604/original.jpg)

Answer 1

당신은 여러 화주를 사용하는 경우 레디 스 같은 목적을 제공 로그 파일을 중앙 집중화의 syslog-ng에를 사용하여, 레디 스이 필요하지 말아야 설명 설정합니다.
디스크 공간 요구 사항을 줄이기 위해 elasticsearch 색인을 제거해야 할 수도 있습니다. 이것은 elasticsearch 데이터의 증가 속도, 사용 가능한 디스크 공간의 양 및 로그를 검색 할 수있는 기간에 따라 달라집니다.

JVM 튜닝에 관해서는 조언 할 수 없습니다.