큰 데이터 분석. Elasticsearch, Logstash, Kibana, MRTG

Question

그래서 나는 많은 양의 데이터를 "읽기 쉽도록"만드는 방법을 고안해 냈고 누군가가 elasticsearch + kibana를 사용하는 접근 방식의 차이점을 지적 할 수 있는지 궁금해했다. MRTG와 같은 것을 사용하는 것보다 추세에 더 중점을 둔 데이터 분석에 더 적합한 것은 무엇입니까?

Answer 1

두 가지 접근법은 근본적으로 다른 유형의 데이터에 대한 것입니다.

데이터가 라우터 인터페이스의 트래픽 속도 샘플 5 분 또는 온도 센서의 샘플 1 분 등 정기적 인 타임 스탬프가 적용된 일련의 메트릭 값으로 구성된 경우 MRTG (또는 오히려 RRDTool) 백엔드 데이터베이스입니다)이 일을 위해 우수합니다. 데이터가 불규칙한 경우에도 여전히 '알 수없는'큰 영역을 피하기 위해 RRDTool 데이터베이스 설정을 약간 사용자 정의해야하지만 여전히 가능합니다. RRDTool은 로깅중인 메트릭에 대한 추세 분석이 가능하지만 MRTG를 통해 수행되지는 않습니다. RRDTool 함수를 직접 호출해야합니다.

데이터가 불규칙한 텍스트 로그 항목 (이벤트)의 시퀀스 일 가능성이 있고 위치 데이터를 파싱 할 가능성이 있고 개별 이벤트를보기 위해 드릴 다운하기 전에 이벤트의 수나 비율에 관심이 있다면 Logstash/Kibana 가야할 길입니다. 시간 경과에 따른 이벤트 비율의 그래프를 제공하지만 추세 분석을 제공 할 수 있다고는 생각하지 않습니다. 또한 이벤트 로그 텍스트 내에 파싱 된 데이터의 그래프 분석을 제공하지 않습니다. Logstash/kibana는 Syslog, Eventlog, Apache 로그와 같은 응용 프로그램 로그 등과 같이 시간이 지남에 따라 특정 패턴과 일치하는 이벤트의 패턴을 보는 데보다 많은 관심을 가지고 있습니다.

데이터의 실제 특성이나 사용자가 필요로하는 '읽기 가능한'분석의 종류에 대한 정보를 충분히 제공하지 못했기 때문에 필연적으로 기능에 대한 수준 높은 요약 정보를 얻을 수 있습니다.

Answer 2

탄성 찾기는 텍스트와 같은 구조화 된 데이터를 저장하는 데 효과적입니다. Logstash의 유스 케이스는 효과적인 쿼리를 위해 데이터를 구조화하는 방법의 한 예입니다.

MRTG/RRD는 시간 간격 데이터를 측정하는 데 사용되는 도구입니다. 모든 X 시간 단위, 로그 값 Y. MRTG/RRD는 텍스트를 저장하는 데 효과적이지 않습니다. Elasticsearch의 유스 케이스에는 적용되지 않습니다.

Graphite는 이미 Logstash 설치가 실행 중인지 고려하기위한 도구 일 수 있습니다. Logstash는 이벤트를 Graphite 또는 Statsd로 시작하고 ElasticSearch에 이벤트 데이터를 저장할 수 있습니다. 흑연/탄소에 대한 좋은 점은 그것이 MRTG와 같은 시간 간격과 관련이 없다는 것입니다. Graphite에 정보를 원하는만큼 많이 또는 자주 출력하지 않아도됩니다.

다른 답변에서 제공 한 사용 사례는 Graphite 또는 유사한 도구를 사용하는 것이 좋습니다. Graphite에서 많은 가치 기반 이벤트를 그래프로 작성하고보고 한 다음 Elasticsearch를 사용하여 데이터를 이벤트와 다시 연관시킬 수 있습니다. (저는 ES와 Graphite와의 통합이 있다는 것을 의미하지 않습니다. Logstash를 사용하여 이벤트를 푸시하는 경우, 시간은 쉽게 찾을 수 있습니다.)