배송 업체 노드의 Logstash/Redis를 사용하여 로그 전달 보증

로그 전달을 보장하기 위해 각 Logstash 배송 업체 노드에 Redis를 배치하는 것에 대해 어떻게 생각하십니까?배송 업체 노드의 Logstash/Redis를 사용하여 로그 전달 보증

2014-08-28 Ben

질문을 더 명확하게 설명 할 수 있습니까? 지금까지는 redis가 인덱서 노드에 놓을 수 있다고 권장하고 있습니다. –

Logstash는로드 균형 조정을 위해 인덱서 노드에 redis를 권장합니다. – Ben

내 걱정은 안정적인 운송에 관한 것이므로 고전적인 RELP/rsyslog를 사용하고 싶지 않습니다. 로그 손실을 방지하기위한 제안? – Ben

logstash 또는 logstash-forwarder를 발송자로 사용하여 중앙 집중식 로그 대시로 사용하는 경우 대개 redis와 같은 중개인이 필요하지 않습니다. Shipers는 logstash가 더 많은 이벤트를 수락 할 수 없을 때이를 감지합니다. 현재 로그 위치에 대한 포인터를 유지하고 병목 현상이 제거되면 계속 진행합니다.

버퍼가없는 로그 (syslog, snmptrap 등)가있는 경우 브로커가 적합합니다.

출처

2015-05-30 00:32:18

Elasticsearch 또는 Hadoop에 저장 지점까지 처리 지점 (다운 스트림 이벤트 생성)을 형성한다는 보장은 없습니다. 이것은 많은 실패 지점을 가진 분산 시스템입니다. 불행히도 안정성과 복구를 처리하는 것은 사용자의 몫입니다. 현재 상황을 개선하기 위해 logstash와 함께 보류중인 CR이 있습니다.

https://github.com/elastic/logstash/issues/2609

그럼에도 송신자 또는 다운 스트림 시스템 이벤트 수집기로서 logstash 작용한다. 시스템 설계 및 SLA를 기반으로 안정성을 해결해야합니다. Splunk와 같은 스택 제품을 사용하고 있다면 문제는 공급 업체가 처리하게됩니다. (적어도 나에게 들었지만 아직 테스트하지 않았습니다.)

출처

2016-01-03 18:47:56 YaRiK

배송 업체 노드의 Logstash/Redis를 사용하여 로그 전달 보증

답변

관련 문제