임계 값을 초과하면 이메일 경고가 표시됩니다.

Question

로그를 분석하려면 logstash, elasticsearch 및 kibana을 사용하고 있습니다. 특정 문자열이 올 때 나는 logstash에 email 출력을 통해 로그에 이메일을 통해 경고하고있다 :

email { 
     match => [ "Session Detected", "logline,*Session closed*" ] 
........................... 
} 

이 잘 작동합니다. user 필드 인 경우

예, 나는 고유의 사용자 수보다 더 갈 때 경고 할 :

지금, 나는 (임계 값을 교차 ) 필드의 수에 경고 할 5.

email 로그 아웃으로 출력 할 수 있습니까 ??
도와주세요.

편집 : 는 @Alcanzar 내가 이런 짓을 이렇게 말했다 :

설정 파일 :

if [server] == "Server2" and [logtype] == "ABClog" { 

     grok{ 
     match => ["message", "%{TIMESTAMP_ISO8601:timestamp} %{HOSTNAME:server-name} abc\[%{INT:id}\]: 
\(%{USERNAME:user}\) CMD \(%{GREEDYDATA:command}\)"]  
     } 

     metrics { 
       meter => ["%{user}"] 
       add_tag => "metric" 
      } 

     } 

그래서 위의에 따라, server2 및 abclog을 위해 내가 구문 분석에 대한 grok 수 패턴이 내 파일 및 user 필드에 grok에 의해 구문 분석 된 메트릭 적용됩니다.

나는 위와 같이 설정 파일에서 그랬지만 logstash console을 -vv으로 확인할 때 이상한 동작을 보입니다. 파일의 9 개 로그 라인이있는 경우는 통계 부분을 시작하지만 message 필드는 로그 파일에 logline이 아니라 내 PC의 사용자 이름의 그 후

은 그래서 먼저 9 구문 분석 따라서 _grokparsefailure이됩니다. 다음과 같이 입력하십시오 :

output received { 
    :event=>{"@version"=>"1", "@timestamp"=>"2014-06-17T10:21:06.980Z", "message"=>"my-pc-name", 
    "root.count"=>2, "root.rate_1m"=>0.0, "root.rate_5m"=>0.0, "root.rate_15m"=>0.0, 
    "abc.count"=>2, "abc.rate_1m"=>0.0, "abc.rate_5m"=>0.0, "abc.rate_15m"=>0.0, "tags"=>["metric", 
    "_grokparsefailure"]}, :level=>:debug, :file=>"(eval)", :line=>"137" 
    } 

도움이 되었습니까?

Answer 1

내가 필요한 것은 http://logstash.net/docs/1.4.1/filters/metrics입니다.

당신은 이벤트의 속도를 계산하는 metrics 태그를 사용하고 이메일 출력 주위 if 문에서 thing.rate_1m 또는 thing.rate_5m을 사용할 것

. 예를 들어

:

filter { 
    if [message] =~ /whatever_message_you_want/ { 
    metrics { 
     meter => "user" 
     add_tag => "metric" 
    } 
    } 
} 

output { 
    if "metric" in [tags] and [user.rate_1m] > 1 { 
    email { ... } 
    } 
} 

Answer 2

logstash 측 집계는 상당히 제한된다. 또한 상태 크기가 증가하므로 메모리 소비가 증가 할 수 있습니다. Elasticsearch 레이어에서 실행되는 경고는 더 많은 자유와 가능성을 제공합니다. http://logz.io/blog/introducing-alerts-for-elk/