Google은 배지를 사용하여 추적하는 사용자 네트워크를 확장했습니다. 총 트래픽은 한 달에 6 천만 회의 노출 수입니다. 우리는 현재 Amazon S3 로그와 Splunk에 의존하는 간단한 로그 기반 대안으로, 비교적 느린 데이터베이스 기반 로깅 솔루션 (PHP의 난잡함에 맞춤형 빌드)을 전환하는 것을 고려 중입니다.Amazon S3 로그를 Splunk로 모니터링 하시겠습니까?
다른 분석 작업을 위해 Splunk를 사용한 후, 나는 그것을 정말로 좋아합니다. 그러나 시스템과 함께 S3와 같은 소스를 설정하는 방법은 명확하지 않습니다. 원격 출처에는 Universal Forwarder가 설치되어 있어야하며, 이는 옵션이 아닙니다.
이것에 대한 아이디어가 있습니까?
매우 늦은 대답이지만 똑같은 것을 찾고 있었고 원하는 것을하는 Splunk 앱을 발견했습니다. http://apps.splunk.com/app/1137/. 나는 아직 그것을 시도하지 않았다.
똑같이 늦게 추가 : 그 응용 프로그램은 잘 확장되지 않습니다. 그것은 1,000 개가 넘는 객체를 읽지 못하게하는 버그가 있습니다 (단순히 잘린 목록을 처리 할 코드가 없습니다). 또한 몇 가지 다른 결함이 있으며 인덱서간에 부하를 분산시킬 수있는 적절한 방법이없는 것으로 보입니다. – bstempi
j-son 전처리 된 데이터를 documentdb 데이터베이스에 로깅 할 것을 제안합니다. 예를 들어 하늘 대기열 또는 하늘색 documentdb와 함께 시나리오에 맞는 유사한 서비스 버스 메시징 기술을 사용합니다. 그래서 데이터베이스 기반 접근 방식을 유지하고 문서 기반 DB를 쉽게 확장 할 수있는 스키마가되도록 수정합니다.
AWS Marketplace의 http://www.insight4storage.com/을 사용하여 시간 경과에 따른 접두사, 버킷 또는 스토리지 클래스 별 AWS S3 스토리지 사용량 합계를 추적합니다. 게다가 접두사와 버킷별로 이전 버전 저장소를 보여줍니다. S3 데이터를 UI 및 웹 서비스 API뿐만 아니라 유스 케이스에서 사용할 수있는 스컹크 형식 로그로 저장하는 설정이 있습니다.
내가 갖고있는 유일한 질문은 로그가 S3에 어떻게 도착하고 있는가입니다. 당신은 X 분/시간 후에 거기에서 그들을 굴리십니까? 그렇다면 역사적인 비 실시간보기로만 제한됩니다. 우리가 할 수 있다면, 테스트 해보고 싶습니까? 그렇다면 ping을하십시오. –