logstash shipper -> redis -> logstash 인덱서 -> elastricsearch -> kibanaLogstash 인덱서는 확장 가능합니까?
나는 redis와 elastricsearch가 확장 가능하도록 설계된 것으로 알고 있습니다. 어떨까요 logstash 인덱서, 나는 단지 logstash 메인 사이트에서 단일 logstash 인덱서를 사용하는 예를 보여줍니다.
모든 로그를 처리하기에 충분합니까? 그리고 logstash 인덱서의 많은 인스턴스를 갖는 것에 대한 귀하의 제안은 무엇입니까?
인덱서가 실제로 그러한 설정의 병목 일 경우 동일한 구성으로 두 번째 시스템에 두 번째 Logstash 인덱서를 쉽게 추가 할 수 있습니다. 여기서 Redis 소스 호스트와 elasticsearch 대상 호스트 만 변경할 수 있습니다. 동일한 redis 인스턴스에서 읽을 때 블로킹 읽기를 사용하여 정확히 하나의 인덱서에서 하나의 redis 항목을 읽습니다.
모든 구성 요소와 마찬가지로 수평 확장 (더 많은 컴퓨터)이 특히 뛰어나지 만 인덱서를 더 큰 시스템으로 확장 할 수도 있습니다.
단일 로그 이벤트 처리가 너무 오래 걸리면 인덱서에서 작업하지 못하게 할 수 있습니다. 이것은 예를 들어. Shipper 측에서 (Logstash 필터를 사용하여) 일부 작업을 수행하거나 "일반"로그 라인 대신 JSON 로그를 작성하도록 할 수 있습니다.
'더 큰'머신을 배치 할 때 시스템의 코어 수와 동일한 수의 작업자를 설정하십시오. 명령 행 플래그를 사용하여이를 설정할 수 있습니다.
은에서 :
당신이 당신을 위해 최적의 값이 있는지 확인하기 위해 몇 가지 검사를 수행 할 수있는 : http://logstash.net/docs/1.4.2/flags
-w, COUNT 실행 COUNT 필터 근로자 (1 기본값) --filterworkers 내 사건이 그랬어. 하나의 시스템에 추가 인스턴스가 필요하지 않습니다.
보통 일반적으로 여러 인덱서 인스턴스가 필요하며 여러 인덱서 인스턴스가 필요한 경우 얼마나 큰 규모입니까? –
초당 수천 개의 로그가있는 경우 왜 여러 인덱서를 사용하지 않습니까? 당신이 질문을했기 때문에 그에 따라 대답했습니다 :-) –
네, 맞습니다. 나는 이제 막 사용하기 시작했으며 인덱서 확장성에 대해 궁금해하고 있으며 인덱서의 여러 인스턴스가 필요할 때도 있습니다. 나는 모든 답을 얻었다. 감사 :) –