Apache flume과 Apache storm의 차이점은 무엇입니까?

폭풍우를 사용하여 로그 데이터를 Hadoop 클러스터로 가져올 수 있습니까?
두 가지 모두 스트리밍 데이터로 사용되므로 폭풍을 flume 대신 사용할 수 있습니까? 아파치 수로는 스트리밍 많은 양의 데이터를 수집하기위한 서비스입니다

2017-11-03 Hassam

는, 특히 logs.Flume는 데이터 싱크를 호출 메커니즘을 사용하여 소비자에게 데이터를 푸시합니다. Flume은 HDFS, HBase, Cassandra 및 일부 관계형 데이터베이스를 비롯하여 즉시 사용 가능한 많은 싱크대로 데이터를 전송할 수 있습니다.
Apache Storm에는 스트리밍 데이터가 포함됩니다. Storm은 일괄 처리와 스트림 처리 사이의 다리이며, Hadoop은 기본적으로 처리하도록 설계되지 않았습니다. Storm은 지속적으로 실행되어 들어오는 데이터의 스트림을 처리하고 일괄 적으로 다이 싱하므로 Hadoop은 더 쉽게 섭취 할 수 있습니다. 데이터 소스는 스파우트라고하며 각 처리 노드는 볼트입니다. 볼트는 출력을 데이터 저장소 및 기타 서비스로 푸시하는 것을 포함하여 데이터에 대한 계산 및 프로세스를 수행합니다.
상자에서 작동하는 것이 필요한 경우, 밀기 또는 당기기의 의미를 결정한 후 Flume을 선택하십시오. 현재 스트리밍 데이터가 이미 개발 된 Hadoop 환경의 작은 애드온이라면 Storm이 좋은 선택입니다.
그래, 우리가 수로에 대한 대안으로 폭풍을 사용할 수 있습니다
폭풍을 사용하여 하둡 클러스터에 로그 데이터를 섭취 할 수

2017-11-06 06:57:44

답변