큰 데이터 환경 용 Kibana, Logstash

큰 데이터 분석에는 Logstash 및 Kibana을 사용할 수 있습니까?큰 데이터 환경 용 Kibana, Logstash

데이터를 저장하기 위해 하둡을 사용합니다. 시도하기 전에 누군가가 이미 이것을 시도했는지 알고 싶습니다.

출처

2013-12-12 Jain Rach

데이터의 양은 얼마나됩니까?

현재 Logstash + ElasticSearch + Kibana를 사용하여 50GB가 넘는 로그 데이터를 분석합니다.

Elasticsearch 또한 Hadoop과 통합되어 있습니다.
이 링크를 확인하십시오 : http://www.elasticsearch.org/overview/hadoop/

출처

2013-12-13 08:02:35

약 100-125GB의 데이터가 내 서버에 1 주일 동안 누적 될 것이며, 동일한 데이터를 분석하려고합니다. 나는 당신이 공유 한 링크를 통해 갔다. 설정에 대한 시스템 성능 및 시스템 구성과 같은 몇 가지 추가 정보를 찾고 있습니다. 키바 나에 다양한 필터를 넣는 중에 지연이 발생합니까? –

실제로 하이브를 사용하여 HDFS + ElasticSearch + Kibana + Logstash를 작동 시켰습니다. 그것은 꽤 잘 작동합니다. 데이터 유형을 올바르게 선언하지 않고 ElasticSearch에서 Hive로 데이터를로드하려는 경우 데이터에 NULL 값을 가져올 수 있습니다.

--- 하이브 연결 ---
es-hadoop-hive-2.0.2.jar 및 es-hadoop-2.0.2.jar 파일이 하이브 디렉터리에 있는지 확인하십시오.

자세한 내용은 ElasticSearch 웹 사이트의 설명서를 참조하십시오.

출처

2015-03-11 16:32:48

일주일에 1GB 문서 (추측)가 125GB 인 문서는 약 200/초이며, 색인 생성을 위해 logstash/elasticsearch 구성에서 문제가되지 않습니다.

가서 자신에게 6 기계를 찾을 수 : RAM 각각 64GB의와

세 elasticsearch 데이터 노드.
elasticsearch 마스터 노드를 실행하는 세 대의 컴퓨터 (RAM 요구 사항이 훨씬 낮음). 클라이언트 노드 (인덱싱 및 검색 요청에 사용됨) 일 수도 있고 logstash를 실행할 수도 있고 kibana는 약간 강화할 수 있습니다.

출처

2015-12-31 16:30:46

큰 데이터 환경 용 Kibana, Logstash

답변

관련 문제