대용량 로그 파일을 줄이기위한 도구

Question

대용량 로그 파일 (1GB 정도)을 사용하여 하나의 세션에만 관심이있는 동안 많은 사용자 세션이 있습니다.

나는 보통 세션 ID (2 분 이상 소요)를 검색하여 관심있는 세션을 다루는 파일의 일반 영역을 좁힐 수 있습니다. 그런 다음 사용자 세션에서 발생한 이벤트 전후의 데이터를 제거하여 후속 검색을 더 빠르게 만들려고합니다 (관심 영역을 좁혀서).

거대한 로그 파일을 Google 크롬에로드하고 스크롤 막대의 마커가있는 관심 영역을 표시하는 검색 강조 표시 기능을 사용하지만 200MB보다 큰 파일에는 실제로 작동하지 않으며 나를 허용하지 않습니다. 로그의 관련없는 부분을 제거하여 후속 검색을 더 빠르게 수행 할 수 있습니다.

일반적인 문제라고 생각합니다. 그러한 도구를 찾을 수 있다면 엄청난 시간을 절약 할 수 있습니다.

감사합니다.

Answer 1

많은 유닉스 명령 줄 도구가 이런 종류의 도움이됩니다. 특히 grep은 문자열이나 패턴 (세션 ID)이 포함 된 행을 찾을 수 있습니다. 기본적으로 행을 반환하지만 전후에 n 개의 행을 반환 할 수도 있습니다.

Answer 2

Splunk은 로그 모니터링 및 분석을위한 훌륭한 도구입니다. 아마 당신이 필요로하는 것보다 조금 더 많은 것을 다루지 만, 확실히 살펴볼 가치가 있습니다. 무료 라이센스를 사용할 수 있습니다.이 라이센스는 500MB/일로 제한되며 엔터프라이즈 라이센스는 모두 나가기를 원하면 (license comparison table).