이벤트 처리 프레임 워크 권장 사항

Question

이벤트 처리 도메인을 처음 사용했습니다. 내 요구 사항에 대한 자바 기반 이벤트 처리 프레임 워크를 찾고있다. 아파치 스톰 (Apache Storm), 아파치 카프카 (Apache Kafka), 래빗 맥스 (RabbitMQ)와 같은 전통적인 이벤트 중개인들과 같은 Myriad 프레임 워크에서 문서 및 튜토리얼 미로를 살펴 보았습니다. 나는 더 현명하지 않다.

나의 요구 사항은 다음과 같습니다. 나에게 푸시되는 이벤트 소스 (예 : 사용 추적)가 있습니다. 나는 그들과 함께 다음과 같은 일을 할 :

1. 버킷 팅 (예를 들어, 고객이 다른 버킷로 분할) 데이터베이스에 배치로
2. 삽입 모든 bucketed 이벤트.
3. 일종의로드 균형 조정/이벤트 우선 순위 지정을 수행합니다 (예 : 우선 순위가 낮은 고객이 거대한 번호를 누르지 않기를 바랍니다. 우선 순위가 낮은 고객을 몇 가지 이벤트로 굶어 죽이는 이벤트

나는 이벤트 순서에 대해 너무 많이 걱정하지 않는다, 그러나 나는 이러한 시스템의 고 가용성을 확인하고 싶습니다.

몇 가지 지침이 있습니다. 기술 인프라는 없지만 Java 기반의 것입니다. 귀하의 경우에는

• Storm
• Spark Streaming (마이크로 배치)
• Samza
• Flink

:

Answer 1

분산 데이터 처리를 실시간으로 수행하기위한 좋은 프레임 워크가있다 , 나는 그 프레임 워크 중 하나를 선택하는 것이 이케는 너트를 깨기 위해 망치를 가지고 간다. 카프카 클러스터 외에 마스터 노드와 슬레이브 노드가있는 클러스터를 배포하고 관리해야합니다.

아키텍처를 단순하고 확장 가능하며 고 가용성으로 유지하려면 KafkaStreams를 살펴 봐야합니다. KafkaStreams은 kafka 주제에 대한 실시간 계산을 수행하는 새로운 Java API (kafka 0.10부터 사용 가능)입니다.

KafkaStreams 응용 프로그램은 간단한 Java 응용 프로그램이므로 기존 응용 프로그램에 작업을 임베드 할 수 있습니다.

또한 Kafka Streams 작업은 java -jar라는 간단한 명령으로 배포 할 수 있습니다.