Unix의 로그 파서/분석기

Question

사람들이 유닉스에서 로그 파일을 분석/분석하기 위해 사용하는 인기 도구는 무엇입니까? 계산을하고, 고유하고, 특정 패턴을 가진 특정 선을 선택/복사하십시오. 일부 도구 또는 일부 키워드를 알려주십시오. 전에 비슷한 질문이 있어야한다고 생각하기 때문에 키워드에 대해 전혀 몰라요. 감사.

Answer 1

, syslog에 (웹 서버 물건, FTP 서버 물건 등이 관련된 물건 등을 sshd)이. 기본 설치를 사용하면 대부분의 기능을 사용할 수 있지만 사용자가 직접 스크립트를 작성하거나 작성하는 것처럼 활성화/비활성화 할 수 있습니다. multitail가보고 실시간

.

Answer 2

는 here 나와있는 일반적인 로그 파서의 일부를 살펴 보자. syslog과 같은 것을 사용한다면 커스텀 파서/분석기를 사용할 수 있습니다. 그렇지 않으면 간단한 검색을 위해 perl, python 또는 심지어 awk과 같은 스크립트 언어이면 충분합니다. 야간 특정 물건을 확인 /usr/share/logwatch/scripts/services에서 여러 가지 스크립트가 logwatch이 검사를 정기적으로 들어

Answer 3

나는 그 많은 로그 형식은 적절한 고유의 필드 분리로 열을 구분하지 않는 거대한 실패로 찾을 수 있습니다. 이것이 최상이기 때문에가 아니라 테이블 데이터에서 작동하는 유닉스 textutils의 기본 전제이기 때문입니다. 대신 공백을 구분 기호로 사용하고 공백을 포함 할 수있는 필드를 인용하는 경향이 있습니다. 나는 웹 로그 분석에 만들어진 가장 실용적인 간단한 변경의

한

대신 필드 구분자로 탭을 사용하려면, nginx를 웹 서버에 의해 생성 된 기본 NCSA 로그 형식을 떠나 있었다.

은 갑자기 빠른 조회에 원시적 인 유닉스 textutils을 모두 사용할 수 있지만, 특히 AWK! 사용자 에이전트 필드가 Google 검색을 포함하는 경우에만 라인을 인쇄 :

awk 'BEGIN {FS="\t"} $7 ~ /Googlebot/ { print; }' < logfile 

특정 방문자를 찾을 수

awk 'BEGIN {FS="\t"} { print $4; }' < logfile | sort | uniq -c | sort -n 

그리고 조합의 코스를 많이의 각각의 고유 한 요청에 요청의 수를 찾습니다.

Answer 4

Perl, Python, (g) awk, Ruby, PHP, 심지어 자바 등 문자열/텍스트 조작을 사용할 수있는 모든 프로그래밍 언어. 파일 형식의 모듈을 지원합니다. 당신은 등, 예 CSV, 구문 분석하는

Answer 5

당신은 lnav을 시도 할 수도하는 저주를 기반으로 로그 분석기. 로그 파서에서 기대할 수있는 대부분의 기능, 여러 로그 파일의 로그 메시지의 시간순 배열, 여러 로그 형식 지원, 오류/경고 메시지 강조 표시, 오류/경고 메시지 탐색을위한 단축키, SQL 지원 검색어 및 기타 정보를 제공합니다. 스크린 샷과 자세한 기능 목록은 프로젝트 website을 살펴보십시오.