일부 통계를 사용하여 로그 파일을 모니터링합니다. 내보내기 + Prometheus + Grafana

Question

오류, 성공 상태 등을 위해 매우 다른 로그 파일을 모니터링해야합니다. 그리고 Prometheus를 사용하여 해당 메트릭을 가져 와서 Grafana +에서 경고를 표시해야합니다. Prometheus + Grafana는 괜찮습니다. 이미 node_exporter 나 mysql_exporter와 같은 다른 수출 업체에서 많이 사용하고 있습니다. 새로운 Grafana 4.x에서 경고하는 것이 좋습니다.

그러나 나는 "비행 중"로그 파일을 분석하고 그로부터 메트릭을 추출 할 수있는 적절한 내보내기/프로그램을 찾는 데 꽤 문제가 있습니다.

지금까지 시도 :

• mtail (https://github.com/google/mtail) - 작동하지만 쉽게 더 많은 파일을 모니터링 할 수 없습니다 버전을 기존 - 일반적으로는 일부 특정 로그 파일 + I 특정 mtail 프로그램 (분석을위한 영수증) 바인딩 할 수 없습니다
• grok_exporter (https://github.com/fstab/grok_exporter) - groff_exporter (https://github.com/fstab/grok_exporter) - 작동하지만 제한된 정보 만 추출 할 수 있습니다. 하나의 인스턴스가 하나의 로그 파일 만 모니터링 할 수 있습니다. 즉, 더 많은 포트에서 더 많은 인스턴스를 내보내고 모두 구성해야한다는 의미입니다. 너무 많은 새로운 실패 지점을 만드는 prometheus의 그들
• 가 Fluentd의 프로 메테우스 수출 (https://github.com/kazegusuri/fluent-plugin-prometheus) - 나는 매우 간단한 통계를 추출 할 수 있습니다 내가 로그 파일에서 라인 (들)의 고급 정규 표현식 분석을 할 수 없습니다처럼 작동하지만 보이는

어느 한 여기 정말을 가지고 있습니까 "일부 수출 업체"+ Prometheus + Grafana를 사용하여 로그 파일에서 고급 메트릭을 모니터링하는 실행 솔루션? 또는 수출 업체 대신 프로 메테우스 푸시 게이트웨이를 사용하여 결과를 얻을 수있는 일부 프로그램. 감사.

Answer 1

Telegraf을 살펴보십시오. 입력 플러그인 인 logparser과 tail을 사용하여 테일 로그를 지원합니다. Prometheus 끝점으로 메트릭을 내보내려면 prometheus_client 출력 플러그인을 사용하십시오. 비행 집계에 적용 할 수도 있습니다. grok_exporter 또는 mtail보다 여러 로그 파일을 구성하는 것이 더 간단하다는 것을 알게되었습니다.

Answer 2

이것들은 현재 Prometheus에 로그 데이터를 얻기위한 3 가지 대답입니다.

Prometheus 메트릭을 직접 노출하는 로그를 생성하는 방법을 살펴볼 수도 있습니다.