어떤 종류의 설정이 필요합니까? - 클라우드에 로그 파일 저장/집계 /보고

Question

여러 Windows 클러스터에 약 1000 개의 사이트가 있습니다. IIS 로그 파일 (텍스트 문서)은 서버의 설정된 위치에있는 각 사이트에서 사용할 수 있습니다. 내가 바라는 해결책은 다음과 같은 일을 할 수 있어야합니다.

1) 로그 파일을 클라우드로 푸시합니다. 2) 로그 파일을 읽고 방문, 조회수, 조회수와 같은 데이터를 URL로 집계하여보고하기 쉽도록 클라우드에 저장합니다. 3) 제 3 자보고 솔루션을 통해 집계 된 데이터에 액세스하십시오.

먼저, 내 옵션이 무엇이고 필요한 설정이 무엇인지 파악하려고합니다.

Answer 1

나는 당신과 비슷한 유스 케이스를 가지고있다. NXLog -> Logstash -> Elasticsearch -> Kibana (ELK 스택) 도구를 사용합니다. 이 솔루션은 사용하기 쉽고 확장 성이 뛰어납니다. 저의 사용은 규모 (> 40,000 logs/초)와 고 가용성 (중단 시간 없음)과 관련이 있으며 훌륭한 솔루션입니다. 귀하의 우려 사항을 제기 한 순서대로 해결해 드리겠습니다 :

1. NXLog를 사용하여 로그 파일을 발송합니다.

   • 로그를 수집 할 각 Windows 시스템에 NXLog를 설치하십시오. https://www.loggly.com/docs/logging-from-windows/
   • 구성 NXLog는 JSON https://www.loggly.com/docs/iis-web-server-logs/
   에

2. NXLog 선박 Logstash이 로그를 IIS 로그를 변환합니다.

   • Logstash를 설치하고 구성하십시오. Logstash는 모든 로그를 수집하고 (Logstash를 선택한 경우 추가 소스에서 전송할 수도 있음) 데이터를 표준화합니다. https://www.elastic.co/guide/en/logstash/current/installing-logstash.html
   • 방금 ​​설정 한 Logstash를 가리 키도록 NXLog를 구성하십시오.
   • Elasticsearch를 설치하고 구성하십시오. Elasticsearch는 대용량 데이터를 저장하고 분석 할 수있는 확장 성이 뛰어난 전체 텍스트 검색 엔진입니다. https://www.elastic.co/guide/en/elasticsearch/reference/current/_installation.html
   • 해당 Elasticsearch를 가리 키도록 Logstash를 구성하십시오. 다음은 샘플 구성이있는 블로그 게시물입니다. https://blog.sstorie.com/importing-iis-logs-into-elasticsearch-with-logstash/
   • 시각화를 위해 Kibana를 설치 및 구성하십시오. https://www.elastic.co/downloads/kibana
   • 사용 키바 만들고 집계 솔루션을보고 타사 https://www.elastic.co/blog/kibana-aggregation-execution-order-and-you
3. 를 시각화? 더 많은 정보를 주시겠습니까? 그리고 제가 도와 드릴 수 있습니까?로깅 유스 케이스 대한 ELK 스택을 사용하여 약

추가 자원 :

• http://logz.io/learn/complete-guide-elk-stack
• https://www.elastic.co/webinars/introduction-elk-stack

EDIT : Chartio integrates with Elasticsearch. 귀하는 "프로세스에서 데이터를 집계하고 저장할 수 있으므로보고 응용 프로그램으로 쉽게 소비 할 수 있습니까?"라고 물었습니다. Elasticsearch는 데이터 집계 및 저장을 수행합니다. 위에서 설명한 스택을 사용하여 Elasticsearch에 데이터를 저장 한 다음 Chartio와 같은보고 응용 프로그램을 통합 할 수 있습니다.