AWS Cloudwatch Log - 기존 로그 데이터를 내보낼 수 있습니까?

Question

AWS CloudWatch 로그 에이전트를 사용하여 응용 프로그램 로그를 AWS Cloudwatch로 푸시 할 수있었습니다. 그러나 ColudWatch 웹 콘솔은 로그 데이터를 다운로드/내보내기 할 수있는 버튼을 제공하지 않습니다.

어떻게하면이 목표를 달성 할 수 있습니까?

Answer 1

최신 AWS CLI는 JSON, 텍스트 파일 또는 AWS CLI에서 지원하는 다른 출력으로 로그를 다운로드 할 수있는 CloudWatch는 로그의 CLI가 있습니다. 이 명령은 현재 요청에 따라 000 개의 레코드의 최대 제한됩니다

aws logs get-log-events --log-group-name A --log-stream-name a \ 
    --output text > a.log 

을하고, 경우 예를 텍스트 파일에 그룹 A에 스트림 a에서 첫 번째 10000 개 로그 항목을 얻을 들어

, 실행 --next-token 매개 변수를 사용하여 페이지 스태핑 메커니즘을 직접 구현해야합니다. 앞으로 CLI는 단일 명령으로 전체 덤프를 허용 할 것으로 예상합니다.

목록 로그 그룹 : https://github.com/jorgebastida/awslogs

같은 것들이 있습니다

$ awslogs groups 

목록 주어진 로그 그룹에 대한 스트림

Answer 2

CloudWatchLogs를 다운로드 할 수있는 AWS Console의 아웃 오브 박스 방법이 없습니다. 아마도 SDK/API를 사용하여 CloudWatchLogs 가져 오기를 수행하는 스크립트를 작성할 수 있습니다.

CloudWatchLogs의 장점은 무한정 (Never Expire) 동안 로그를 유지할 수 있다는 것입니다. 단지 14 일 동안 로그를 보관하는 CloudWatch와는 다릅니다. 따라서 주문형이 아닌 월별/분기 별 빈도로 스크립트를 실행할 수 있습니다. CloudWatchLogs API에 대한

상세 정보, http://docs.aws.amazon.com/AmazonCloudWatchLogs/latest/APIReference/Welcome.html http://awsdocs.s3.amazonaws.com/cloudwatchlogs/latest/cwl-api.pdf

Answer 3

로그를 얻을 수 있도록, 또한 awslogs라는 파이썬 프로젝트가 :

$ awslogs streams /var/log/syslog 

모든 스트림에서 g 기록 :

$ awslogs get /var/log/syslog 

특정 스트림의 로그 기록을 얻을 :

$ awslogs get /var/log/syslog stream_A 

등을 (... 로그 스트림을보고 기간 동안 필터링

내가 생각

, 이 도구는 원하는 것을 할 수 있도록 도와줍니다.

Answer 4

AWS에서 전체 로그 그룹을 S3로 내보내는 기능이 추가 된 것 같습니다.

당신은 당신의 지역과 함께 지역을 대체 CloudWatch에서이 버킷 정책에 다음을 추가하여 버킷에 쓸 수 있도록 S3 버킷에 설치 권한이 필요합니다 버킷 이름을 버킷 이름으로 변경하십시오.

{ 
     "Effect": "Allow", 
     "Principal": { 
      "Service": "logs.us-east-1.amazonaws.com" 
     }, 
     "Action": "s3:GetBucketAcl", 
     "Resource": "arn:aws:s3:::tsf-log-data" 
    }, 
    { 
     "Effect": "Allow", 
     "Principal": { 
      "Service": "logs.us-east-1.amazonaws.com" 
     }, 
     "Action": "s3:PutObject", 
     "Resource": "arn:aws:s3:::tsf-log-data/*", 
     "Condition": { 
      "StringEquals": { 
       "s3:x-amz-acl": "bucket-owner-full-control" 
      } 
     } 
    } 

세부 Step 2 of this AWS doc

에서 찾을 수 있습니다