3

AWS Elastic Beanstalk이 로그를 자동으로 회전 할 수 있다는 점이 좋습니다. 문제는 s3에서 한 번 GZip으로 처리되고 시간당 하나의 파일로 문제가 발생한다는 것입니다. 일정 기간 동안 모든 종류의 분석을 수행하려면 모든 개별 .gz 파일을 다운로드하고 압축을 풀어서 검색하는 수동 프로세스가 필요합니다. S3 폴더에서 가리킬 수있는 도구를 찾고 있는데 로그에서 텍스트 검색 기능을 사용할 수 있습니다.AWS Elastic Beanstalk에서 S3의 회전 로그를 쉽게 검색 할 수있는 도구가 있습니까?

답변

1
내가 S3 로그 파일에 대해 알고하지 않습니다

하지만, 서비스가있다는 Papertrail 전화 : (시스템 로그를 통해)

  • 캡처 로그를하고
  • 온라인 꼬리 -f 수 있도록 여러 그룹을 만들 수 있습니다 복수 기계
  • 은 검색
  • 에서 경고를 검색하고 관리 할 수 ​​있으며 하이브에 친화적 인 방식으로 S3로 내보낼 수도 있습니다.

개발자 관점에서 볼 때 내 Elastic Beanstalk 응용 프로그램은 syslog를 사용하여 papertrail에 기록하도록 패치됩니다. 나는 다른 것을 추천 할 수 없었다.

1

S3 액세스 및 Cloudfront 로그 파일을 집계하고 검색하는 데 비슷한 문제가있었습니다. 놀랍게도이 질문이 게시 된 지 수년이 지난 지금도 여전히 멋진 솔루션을 찾지 못해 S3 알림과 AWS Lambda를 사용하는 자체 솔루션을 작성했습니다. 앱에서 이벤트를 직접 papertrail에 게시하지 않고 S3에 기록 된 로그에만 의존하는 경우 https://github.com/qixotic/s3-to-logstore을 조정하여 로그 파일 형식을 구문 분석하고 papertrail (또는 다른 전송)으로 푸시 할 수 있습니다.

관련 문제