logstash/kibana와 동일한 메시지가 여러 개 있습니다.

Question

로컬 파일 시스템에서 ELK 스택을 실행하고 있습니다. 다음과 같은 구성 파일을 설정했습니다 :

input { 
    file { 
    path => "/var/log/rfc5424" 
    type => "RFC" 
    } 
} 

filter { 
    grok { 
    match => { "message" => "%{SYSLOG5424LINE}" } 
    } 
} 

output { 
    elasticsearch { 
    hosts => ["localhost:9200"] 
    } 
} 

나는 kibana 인스턴스가 실행 중입니다. 나는 /var/log/rfc5424에 한 줄 쓰기 :

$ echo '<11>1' "$(date +'%Y-%m-%dT%H:%M:%SZ')" 'test-machine test-tag f81d4fae-7dec-11d0-a765-00a0c91e6bf6 log [nsId orgID="12 \"hey\" 345" projectID="2345[hehe]6"] this is a test message' >> /var/log/rfc5424 

을 그리고 키바에 나타납니다. 큰! 그러나, 이상하게, 그것은 나타 여섯 번 : 지금까지 이러한 메시지는 동일에 대해 내가 모든 것을 말할 수 있고, 나는 단지 logstash/키바 실행의 한 인스턴스가없는, 그래서 더를 가지고

이 복제를 일으킬 수있는 아이디어.

Answer 1

1. 구성에 conf 디렉토리 아래에 .swp 또는 .tmp 파일이 있는지 확인하십시오. 문서에

2. 추가 문서 ID : 도움을

   이

   output { 
       elasticsearch { 
        hosts => ["localhost:9200"] 
        document_id => "%{uuid_field}" 
       } 
   }