Splunk 및 기타 DB 솔루션

Question

많은 양의 데이터를 구조화 및 비 구조화로 저장하는 시스템을 작성해야합니다. 내 검색어는 이진 정보뿐만 아니라 텍스트를 찾습니다.

저는 이러한 요구 사항에 맞는 솔루션을 찾고 있습니다. Splunk를 만났습니다. Splunk는 매우 사용자 친화적 인 것으로 보이고 멋진 API를 제공합니다. 그러나 이것은 매우 로그 지향적 인 것으로 보이며 텍스트 검색 (바이너리 없음) 만 지원하는 것처럼 보입니다.

이

1. 가 인 Splunk 내 문제에 대한 좋은 해결책이 될 수있다 : 내 데이터는
   그래서 내 질문은 ... 그것은 원시 텍스트/I가에서 검색 할 필요가 바이너리 데이터의 단지 많이있어, 로그 아닌가요? 바이너리 검색을 할 수있는 방법이 있습니까?
2. 더 나은 해결책이 있습니까? 어쩌면 하둡 (내가 조금 짚고 읽었을 때, 내가 다시 찾고 있는지 확실하지 않다)일까요?

고마워요!

Answer 1

Splunk는 모든 종류의 비정형, 반 구조화 및 구조화 된 머신 데이터를 지원합니다. 로그는 머신 데이터의 그러한 예입니다. 기타는 syslog 피드, JMX/SNMP 메트릭, OS 명령의 출력, 통화 세부 정보, 클릭 스트림 메트릭, 독점 관리/모니터링 인터페이스의 출력, 소셜 미디어 피드 등입니다. 목록은 방대합니다.

바이너리 데이터가 나오는 한, 우선 이것을 밖으로 굴려서 텍스트로 디코딩해야합니다. 많은 사람들은 독점적 인 프로토콜과 같이 네트워크의 바이너리 데이터를 캡처하여 디코딩합니다.

또한 Splunk는 데이터베이스를 사용하지 않고 디스크의 간단한 압축 파일 형식으로 데이터를 수집하고 색인을 생성합니다. 그리고 아키텍처를 통해이 모든 것을 수집하고 검색 할 수 있도록 확장 할 수 있습니다 데이터를 대규모로