2016-07-11 3 views
0

카프카 서버에서 데이터를 수집하여 데이터를 처리 한 다음 ElasticSearch에 저장하는 분산 실시간 컴퓨팅 시스템을 검색하고 있습니다. 이미logstash와 apache storm/spark streaming의 주요 차이점은 무엇입니까?

  • 아파치 스톰
  • (더 추출은, 변환 (AN ETL로 descripted되고, 부하))
  • 및 Logstash 스트리밍
  • 아파치 스파크

: 난 이미 그들 중 일부를 선택 Storm과 Spark Streaming을 비교하는 몇 가지 자습서를 발견했습니다. 그러나 logstash를 폭풍과 스파크 스트리밍으로 비교하는 튜토리얼을 찾지 못했습니다. 이것은 이미 logstash에 익숙하기 때문에 나에게 매우 혼란 스럽지만 나는 나의 필요에 맞는 도구를 선택하고 싶습니다.

고맙습니다.

답변

2

Logstash는 실시간 기능이있는 데이터 수집 엔진입니다. 사전 정의 된 메트릭을 기반으로 분석, 보관, 모니터링, 경고를 지원합니다. -> Logstash는 특정 제품의 솔루션입니다. Apache Spark 및 Storm은 매우 일반적인 분산 실시간 컴퓨팅 시스템입니다. -> Apache Spark/Storm은 일반적인 목적을위한 프레임 워크/라이브러리입니다.

+1

감사합니다. 어떤 경우에 logstash는 폭풍과 스파크 스트리밍에 비해 충분하지 않을 수 있습니까? 또한, 배포되는 공연의 측면에서 더 나은 발전을 제공합니까? –

+0

나는 트위터를 좋아하는 몇몇 회사가 폭풍우를 사용하거나 스파크 스트리밍을 사용하고 logstash를 사용하지 않는 이유를 이해해야한다. 나에게 그것은 그들이 똑같은 일을하는 것처럼 보인다. –

+0

github에 대한 정의를 보자 : https://github.com/elastic/logstash. "Logstash는 이벤트 및 로그를 관리하는 도구로, 로그를 수집하고 구문 분석하고 나중에 사용할 수 있도록 저장 (검색 등) 할 수 있습니다.이를 Elasticsearch에 저장하면 Kibana를 사용하여 로그를보고 분석 할 수 있습니다 – NangSaigon

관련 문제